Co je jiskrové vysílání?
Co je jiskrové vysílání?

Video: Co je jiskrové vysílání?

Video: Co je jiskrové vysílání?
Video: POVÍDÁNÍ S JIRKOU JISKROU A HOSTEM Z ITÁLIE - VYSÍLÁNÍ 11 8 18 2024, Listopad
Anonim

Přenos proměnné v Apache Jiskra je mechanismus pro sdílení proměnných mezi exekutory, které jsou určeny pouze pro čtení. Bez přenos proměnné tyto proměnné by byly odeslány každému exekutoru pro každou transformaci a akci, což může způsobit režii sítě.

Stejně tak se lidé ptají, kdy mám vysílat jiskru?

Přenos Proměnné se většinou používají, když úlohy ve více fázích vyžadují stejná data nebo když je vyžadováno ukládání dat do mezipaměti v deserializované podobě. Přenos proměnné se vytvářejí pomocí proměnné v voláním SparkContext.

Také, co jsou akumulátory a vysílací proměnné v jiskře? Jiskra podporuje dva typy sdílených proměnné : vysílací proměnné , který lze použít k ukládání hodnoty do mezipaměti ve všech uzlech a akumulátory , což jsou proměnné které se pouze „přidají“, jako jsou počítadla a součty.

Vzhledem k tomu, co je to akumulátor jiskry?

Akumulátory jsou proměnné, které se pouze „přidávají“prostřednictvím asociativní operace, a lze je tedy efektivně podporovat paralelně. Mohou být použity k implementaci čítačů (jako v MapReduce) nebo součtů. Jiskra nativně podporuje akumulátory číselných typů a programátoři mohou přidat podporu pro nové typy.

Jak aktualizuji svou proměnnou vysílání v sparku?

  1. Přesuňte vyhledávání referenčních dat do forEachPartition nebo forEachRdd tak, aby bylo zcela uloženo na pracovnících.
  2. Restartujte kontext Spark pokaždé, když se změní refdata, s novou proměnnou vysílání.

Doporučuje: