Apache Spark

Apache Spark volt a célja, hogy javítsa a feldolgozási sebességet az adatok elemzése és a manipuláció programok.

Azt Java nyelven írt és Scala és biztosítja funkciók nem találhatók meg más rendszerekben, leginkább azért, mert ők nem többségi, sem hasznosnak nem adatfeldolgozási alkalmazások.

Spark először létre a Berkeley AMP Lab és később adományozott az Apache Software Foundation.

Mi az új ebben a kiadásban:

• Unified Memory Management - Osztott memória végrehajtása és a cache helyett kizárólagos részlege a régióban.
• Parketta Performance - Javítani parketta beolvasási teljesítmény használatakor lapos sémák.
• Továbbfejlesztett lekérdezés tervező lekérdezések, egymástól elkülönülő, összeállítások - Kérdés tervei különböző összeállítások robusztusabb, amikor különböző oszlopok nagy számosságú.
• Adaptive lekérdezés végrehajtása - Kezdeti támogatás automatikusan kiválasztja a számát szűkítő join és csoportosulásai.
• elkerüljék a kétszeres szűrők adatforrás API - végrehajtása során egy adatforrást szűrő pushdown, a fejlesztők most mondani Spark SQL hogy elkerüljék a kettős értékelő tolt lefelé a szűrőt.
• Gyors null-safe csatlakozik - csatlakozik a null-safe egyenlőség (& # X3c; = & # x3e;) most végre a SortMergeJoin helyett kiszámítjuk cartisian termék.
• A memórián oszlopos gyorsítótár Performance - Jellemző (akár 14-szeres) gyorsítja, ha cache-adatokat tartalmazó összetett típusok in DataFrames vagy az SQL.
• SQL Execution használata Off-halom memória - Támogatás konfigurálásához lekérdezés végrehajtása előfordulnak segítségével off-kupacmemóriája elkerülése GC overhead

Mi az új verzió 1.5.2:

• A mag API már támogatja a többszintű összesítés fák felgyorsítása drága csökkenti műveleteket.
• Továbbfejlesztett hibajelentés került bizonyos gotcha műveleteket.
• Spark Móló függőség most árnyékos lehet kerülni a problémákat felhasználói programokat.
• Spark már támogatja az SSL titkosítást néhány kommunikációs végpont.
• Valós idejű GC mérőszámok és rekord számít bővült az UI.

Mi az új verzió 1.4.0:

• A mag API már támogatja a többszintű összesítés fák felgyorsítása drága csökkenti műveleteket.
• Továbbfejlesztett hibajelentés került bizonyos gotcha műveleteket.
• Spark Móló függőség most árnyékos lehet kerülni a problémákat felhasználói programokat.
• Spark már támogatja az SSL titkosítást néhány kommunikációs végpont.
• Valós idejű GC mérőszámok és rekord számít bővült az UI.

Mi az új verzió 1.2.0:

• PySpark a sort kezelő már támogatja a külső ömlik nagy adatbázisok .
• PySpark már támogatja adás változó nagyobb, mint 2 GB, és elvégzi a külső ömlik alatt rendezi.
• Spark hozzáteszi munkát szintű előrehaladás oldalt a Spark UI, stabil API előrehaladási jelentés, és dinamikus frissítése kimeneti mutatókat, ahogy a munkahelyek teljes.
• Spark most már támogatja az olvasás bináris fájlokat képek és más bináris formátumot.

Milyen új 1.0.0:

• Ez a kiadás kibővíti Spark szabványos könyvtárak, annak egy új SQL csomag (Spark SQL), amely lehetővé teszi a felhasználók integrálják SQL lekérdezések meglévő Spark munkafolyamatokat.
• MLlib, Spark gépi tanulás könyvtár, bővül gyér vektor, valamint számos új algoritmusok.

Mi az új verzió 0.9.1:

• Fix hash ütközés hiba külső ömlik
• Fix ütközik Spark log4j felhasználók függenek más naplózó backendekre
• Fix Graphx hiányzik Spark összeszerelés jar Maven épít
• Fix csendes hibák miatt térkép kimenet állapotát meghaladó Akka méret
• Az eltávolított Spark felesleges közvetlen függősége ASM
• Az eltávolított-mutatókat ganglionok az alapértelmezett építmények miatt LGPL licenc konfliktus
• Javítva eloszlásban a tar nem tartalmazó szikra összeszerelés jar

Mi az új verzió 0.8.0:

• Fejlesztés került az Apache Foundation Sowftware mint inkubátor projekt.

Milyen új verzió 0.7.3:

• Python teljesítmény: Spark mechanizmus ívás Python VM van javították erre gyorsabb, ha a JVM egy nagy kupac mérete, felgyorsítja a Python API.
• Mesos rögzíti: JAR hozzá a munkát most már a classpath amikor deserializing feladat eredményeit Mesos.
• Hibabejelentés: Jobb hibajelentés nem serializable kivételek és túl nagy feladat eredményeit.
• Példák: Hozzáadott példát állapotmegőrző patak feldolgozás updateStateByKey.
• épít: Spark Streaming már nem függ a Twitter4J repo, amely lehetővé teszi, hogy építsen Kínában.
• hibajavítások foldByKey, streaming száma, a statisztika módszerek, dokumentáció és webes felületen.

Mi az új verzió 0.7.2:

• Scala változat frissítve 2.9.3.
• Számos fejlesztések Bagel, beleértve a teljesítmény javítások és egy konfigurálható tárolási szintet.
• Új API módszerek: subtractByKey, foldByKey, mapWith, filterWith, foreachPartition, és mások.
• Egy új mutatókat szóló felület SparkListener, hogy információt gyűjtsön az egyes számítási szakasz: feladat hossza, bájtok csoszogott, stb.
• Több új példák a Java API, így a K-eszközök és számítástechnikai pi.

Mi az új verzió 0.7.0:

• Spark 0.7 hozzáad egy Python API nevű PySpark.
• Spark munkahelyek most elindítja a web műszerfal felügyeletéért memória használat eloszló adatbázisba (RDD) a programban.
• Spark most épült Maven mellett SBT.

Mi az új verzió 0.6.1:

• Fix agresszív üzenet időtúllépés, hogy okozhat a munkavállalók húzza ki a klaszter.
• Javítva egy hiba az önálló telepíthető mód, amely nem ki gazdagépnevekhez ütemező érintő HDFS helységben van.
• Továbbfejlesztett kapcsolat újrafelhasználás shuffle, ami nagyban felgyorsítja a kis megkeveri.
• Javítva néhány lehetséges holtpontok a blokkmenedzserben.
• Javítva egy hiba, egyre azonosítóit nem hosts Mesos.
• Több EC2 script fejlesztések, mint a jobb kezelését spot példányok.
• Készült a helyi IP-címet Spark kötődik szabható.
• Támogatás Hadoop 2 eloszlás.
• Támogatás helyének Scala Debian disztribúció.

Mi az új verzió 0.6.0:

• Egyszerűbb telepítés.
• Spark dokumentáció kibővült egy új, gyors üzembe helyezési útmutató, további telepítési utasításokat, konfigurációs útmutató, tuning útmutató, és a jobb Scaladoc API dokumentációt.
• Egy új kommunikációs menedzser aszinkron Java NIO lehetővé shuffle műveletek gyorsabban fut, különösen ha küld nagy mennyiségű adat, vagy ha munkahelyet sok feladat.
• Egy új Storage Manager támogatja a per-adatbázisba tárolás szintű beállítások (például e tartani az adatkészlet memóriában deserialized a lemezen, stb., Vagy akár az egész reprodukálni csomópontok).
• Továbbfejlesztett hibakeresés.