Obsah:

Jak spustím svůj spark History server?
Jak spustím svůj spark History server?

Video: Jak spustím svůj spark History server?

Video: Jak spustím svůj spark History server?
Video: Hadoop architecture | hdfs architecture | hadoop Учебник | hadoop architecture OnlineLearning... 2024, Prosinec
Anonim

Chcete-li povolit server historie Spark:

  1. Vytvořte adresář pro protokoly událostí v systému souborů DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Když je povoleno protokolování událostí, výchozí chování je ukládat všechny protokoly, což způsobí, že úložiště časem naroste.

Kromě toho, jak nastavím server historie Spark?

Chcete-li povolit server historie Spark:

  1. Vytvořte adresář pro protokoly událostí v systému souborů DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Když je povoleno protokolování událostí, výchozí chování je ukládat všechny protokoly, což způsobí, že úložiště časem naroste.

Podobně, jak najdu adresu URL serveru historie spark? Např. pro server historie , budou obvykle přístupné na server - url >:18080/api/v1 a pro spuštěnou aplikaci na https://localhost:4040/api/v1. V rozhraní API se na aplikaci odkazuje její ID aplikace, [app-id].

Podobně, co je server historie sparku?

The Server historie Spark je monitorovací nástroj, který zobrazuje informace o dokončených Jiskra aplikací. Tato informace je staženo z dat, která aplikace standardně zapisují do adresáře na Hadoop Distributed File System (HDFS).

Co je Sparkui?

Webové uživatelské rozhraní Spark vám umožňuje zobrazit seznam fází a úkolů plánovače, informace o prostředí, informace o běžících exekutorech a další. Podívejte se na toto 30minutové demo, kde se dozvíte o: Komponenty a životní cyklus programu Spark. Jak vaše aplikace Spark běží na clusteru Hadoop.

Doporučuje: