Jaké jsou hlavní konfigurační parametry, které musí uživatel zadat, aby spustil úlohu MapReduce?
Jaké jsou hlavní konfigurační parametry, které musí uživatel zadat, aby spustil úlohu MapReduce?
Anonim

Hlavní konfigurační parametry, které uživatelé musí specifikovat v rámci „MapReduce“, jsou:

  • Pracovní místa vstupní umístění v distribuovaném systému souborů.
  • Pracovní místa výstupní umístění v distribuovaném systému souborů.
  • Vstupní formát dat.
  • Výstupní formát dat.
  • Třída obsahující funkci mapy.
  • Třída obsahující funkci snížení.

Jaké jsou zde hlavní konfigurační parametry v programu MapReduce?

Hlavní konfigurační parametry v rámci „MapReduce“jsou:

  • Zadejte umístění úloh v distribuovaném systému souborů.
  • Výstupní umístění úloh v distribuovaném systému souborů.
  • Vstupní formát dat.
  • Výstupní formát dat.
  • Třída, která obsahuje funkci map.
  • Třída, která obsahuje funkci snížení.

Někdo se také může ptát, jaké jsou parametry mapovačů a reduktorů? Čtyři parametry pro mapovače jsou:

  • LongWritable (vstup)
  • text (vstup)
  • text (střední výstup)
  • IntWritable (střední výstup)

Otázkou také je, jaké jsou hlavní součásti úlohy MapReduce?

  • Hlavní třída ovladače, která poskytuje parametry konfigurace úlohy.
  • Třída mapovače, která musí rozšířit org. apache. hadoop. mapreduce. Třída Mapper a poskytuje implementaci pro metodu map ().
  • Třída redukce, která by měla rozšířit org. apache. hadoop. mapreduce. Třída reduktoru.

Co je to partitioner a jak pomáhá v procesu úlohy MapReduce?

Rozdělovač v Úloha MapReduce provádění řídí rozdělení klíčů mezilehlých mapových výstupů. s Pomoc hashovací funkce klíč (nebo podmnožina klíče) odvozuje rozdělit . Záznamy, které mají stejnou hodnotu klíče, jdou do stejné rozdělit (v rámci každého mapovače).

Doporučuje: