Jakou verzi Pythonu používá spark?
Jakou verzi Pythonu používá spark?

Video: Jakou verzi Pythonu používá spark?

Video: Jakou verzi Pythonu používá spark?
Video: Become A Master Of SDXL Training With Kohya SS LoRAs - Combine Power Of Automatic1111 & SDXL LoRAs 2024, Smět
Anonim

Jiskra běží na Javě 8+, Krajta 2,7+/3,4+ a R 3,1+. Pro rozhraní Scala API, Jiskra 2.3. 0 používá Scala 2.11. budete muset použití kompatibilní Scala verze (2.11.

V souladu s tím, funguje jiskra s Pythonem 3?

Apache Jiskra je klastrový výpočetní rámec, v současnosti jeden z nejaktivněji vyvíjených v aréně velkých dat s otevřeným zdrojovým kódem. Od nejnovější verze 1.4 (červen 2015), Jiskra podporuje R a Python 3 (pro doplnění dříve dostupné podpory pro Java, Scala a Krajta 2).

Kromě výše uvedeného, jak změním spark verzi Pythonu? V případě, že jen chcete změna a verze python pro aktuální úlohu můžete použít následující příkaz pyspark start: PYSPARK_DRIVER_PYTHON=/home/user1/anaconda2/bin/ krajta PYSPARK_PYTHON=/usr/local/anaconda2/bin/ krajta pyspark --mistr..

Navíc, jaká je nejnovější verze sparku?

Apache Spark

Původní autoři Matei Zaharia
První vydání 26. května 2014
Stabilní uvolnění 2.4.5 / 8. února 2020
Úložiště Úložiště Spark
Zapsáno v Scala

Co je spark Python?

Zkrocení velkých dat pomocí Apache Jiskra a Krajta Py4J je populárně integrovaná knihovna PySpark to umožňuje krajta dynamické rozhraní s objekty JVM (RDD). Apache Jiskra přichází s interaktivním shellem pro krajta jako je tomu u Scaly. Skořápka pro krajta je známý jako PySpark ”.

Doporučuje: