Obsah:

Jaké jsou hlavní konfigurační parametry, které musí uživatel zadat, aby spustil úlohu MapReduce?
Jaké jsou hlavní konfigurační parametry, které musí uživatel zadat, aby spustil úlohu MapReduce?

Video: Jaké jsou hlavní konfigurační parametry, které musí uživatel zadat, aby spustil úlohu MapReduce?

Video: Jaké jsou hlavní konfigurační parametry, které musí uživatel zadat, aby spustil úlohu MapReduce?
Video: How to use configuration parameters l Workato in a Minute ft. Venn Technology 2024, Listopad
Anonim

Hlavní konfigurační parametry, které uživatelé musí specifikovat v rámci „MapReduce“, jsou:

  • Pracovní místa vstupní umístění v distribuovaném systému souborů.
  • Pracovní místa výstupní umístění v distribuovaném systému souborů.
  • Vstupní formát dat.
  • Výstupní formát dat.
  • Třída obsahující funkci mapy.
  • Třída obsahující funkci snížení.

Jaké jsou zde hlavní konfigurační parametry v programu MapReduce?

Hlavní konfigurační parametry v rámci „MapReduce“jsou:

  • Zadejte umístění úloh v distribuovaném systému souborů.
  • Výstupní umístění úloh v distribuovaném systému souborů.
  • Vstupní formát dat.
  • Výstupní formát dat.
  • Třída, která obsahuje funkci map.
  • Třída, která obsahuje funkci snížení.

Někdo se také může ptát, jaké jsou parametry mapovačů a reduktorů? Čtyři parametry pro mapovače jsou:

  • LongWritable (vstup)
  • text (vstup)
  • text (střední výstup)
  • IntWritable (střední výstup)

Otázkou také je, jaké jsou hlavní součásti úlohy MapReduce?

  • Hlavní třída ovladače, která poskytuje parametry konfigurace úlohy.
  • Třída mapovače, která musí rozšířit org. apache. hadoop. mapreduce. Třída Mapper a poskytuje implementaci pro metodu map ().
  • Třída redukce, která by měla rozšířit org. apache. hadoop. mapreduce. Třída reduktoru.

Co je to partitioner a jak pomáhá v procesu úlohy MapReduce?

Rozdělovač v Úloha MapReduce provádění řídí rozdělení klíčů mezilehlých mapových výstupů. s Pomoc hashovací funkce klíč (nebo podmnožina klíče) odvozuje rozdělit . Záznamy, které mají stejnou hodnotu klíče, jdou do stejné rozdělit (v rámci každého mapovače).

Doporučuje: