Co je Emrfs?

2024 Autor: Lynn Donovan | [email protected]. Naposledy změněno: 2023-12-15 23:44

Systém souborů EMR ( EMRFS ) je implementace HDFS, kterou všechny clustery Amazon EMR používají pro čtení a zápis běžných souborů z Amazon EMR přímo do Amazon S3. Šifrování dat umožňuje šifrovat objekty, které EMRFS zapisuje na Amazon S3 a umožňuje EMRFS pro práci se šifrovanými objekty v Amazon S3.

V této souvislosti, jaký je konzistentní názor Emrfs?

The Konzistentní pohled EMRFS vytváří a používá metadata v tabulce Amazon DynamoDB k údržbě a konzistentní pohled vašich objektů S3. Tato tabulka sleduje určité operace, ale neuchovává žádná vaše data.

jaký je rozdíl mezi s3 a s3a? To je rozdíl mezi strom: s3 je blokově založená překryvná vrstva nad Amazonem S3 , zatímco s3n/ s3a nejsou. Ty jsou založené na objektech. s3n podporuje objekty až do velikosti 5 GB, pokud jde o velikost s3a podporuje objekty do 5TB a má vyšší výkon.

Používá tedy EMR HDFS?

EMR Systém souborů (EMRFS) Vy může použít buď HDFS nebo Amazon S3 jako systém souborů ve vašem clusteru. Nejčastěji Amazon S3 je slouží k ukládání vstupních a výstupních dat a mezivýsledky se ukládají do HDFS.

Co je s3a?

S3A (Schéma URI: s3a ) Nástupce S3 Nativní, s3n fs, the S3a : systém používá k interakci s knihovnami Amazonu S3 . To dovoluje S3a pro podporu větších souborů (už žádný limit 5 GB), vyšší výkon operací a další.