Upravljanje pomnilnika Spark

To pomnilniško področje upravlja Spark. Ta je odgovoren za shranjevanje vmesnega stanja med izvajanjem naloge, kot so spoji, ali za shranjevanje spremenljivk oddajanja. Vsi predpomnjeni/trajni podatki bodo shranjeni v tem segmentu, zlasti v pomnilniku za shranjevanje tega segmenta.

1. Kako deluje iskra spomin??
2. Lahko zmanjka spomina?
3. Kako je spomin razdeljen na iskro??
4. Kako nastavim spomin na iskro?

Kako deluje iskra spomin??

Apache Spark je računalniška platforma za grozde, ki ponuja API za porazdeljeno programiranje, podobno modelu MapReduce, vendar je zasnovana tako, da je hitra za interaktivne poizvedbe in ponavljajoče se algoritme. To predvsem doseže s predpomnjenjem podatkov, potrebnih za izračun v pomnilniku vozlišč v gruči.

Lahko zmanjka spomina?

Pomanjkanje pomnilnika na ravni voznika

Gonilnik v Sparku je JVM, kjer teče glavni nadzorni tok aplikacije. Pogosteje kot ne pride do napake gonilnika z napako OutOfMemory zaradi nepravilne uporabe programa Spark.

Kako je spomin razdeljen na iskro??

On Heap Memory

Spark privzeto uporablja samo kopico v pomnilniku. Področje pomnilnika On-heap v programu Executor lahko grobo razdelimo na naslednje štiri bloke: Storage Memory: Uporablja se predvsem za shranjevanje predpomnilnika Spark, kot so predpomnilnik RDD, odvijanje podatkov itd.

Kako nastavim spomin na iskro?

Tukaj je nekaj načinov za to:

1. Če je velikost RAM -a manjša od 32 GB, je treba zastavico JVM nastaviti na –xx:+ UseCompressedOops. ...
2. Ugnezdenim strukturam se lahko izognemo z uporabo več majhnih predmetov in kazalcev.
3. Namesto nizov za ključe lahko uporabite številske ID -je in naštete predmete.