Co je snížení klíčem?
Co je snížení klíčem?

Video: Co je snížení klíčem?

Video: Co je snížení klíčem?
Video: Ráčnové klíče - Tip mechanika #8 #shorts 2024, Duben
Anonim

Funkce Spark RDD reductionByKey sloučí hodnoty pro každou z nich klíč pomocí asociativu snížit funkce. To intuitivně znamená, že tato funkce produkuje stejný výsledek při opakované aplikaci na stejnou sadu dat RDD s více oddíly bez ohledu na pořadí prvku.

Jaký je tedy rozdíl mezi groupByKey a reductionByKey?

groupByKey () slouží pouze k seskupení datové sady na základě klíče. snížitKlíčem () je něco jako seskupování + agregace. snížitKlíčem lze použít, když běžíme na velkém souboru dat. AgregátByKey() je logicky stejný jako snížitKlíčem (), ale umožňuje vám vrátit výsledek odlišný typ.

Víte také, proč snížení je akce v jiskru? Snížení jiskry operace je akce druh operace a spustí úplné provedení DAG pro všechny seřazené líné instrukce. Jiskra RDD snížit Funkce redukuje prvky tohoto RDD pomocí zadaného komutativního a asociativního binárního operátoru. Snížení jiskry provoz je téměř podobný jako snížit metoda v Scala.

Kromě výše uvedeného, co je Pairrdd?

Spark poskytuje speciální operace na RDD obsahujících páry klíč/hodnota. Tyto RDD se nazývají párové RDD. Párové RDD jsou užitečným stavebním kamenem v mnoha programech, protože odhalují operace, které umožňují paralelně pracovat s každým klíčem nebo přeskupovat data v síti. Pár RDD jsou páry KEY/VALUE.

Je reductionByKey akce?

redukční() vydává kolekci, která se nepřidává k orientovanému acyklickému grafu (DAG), takže je implementována jako an akce . Nicméně, snížitKlíčem () vrací RDD, což je jen další úroveň/stav v DAG, jde tedy o transformaci.

Doporučuje: