Apache Spark

Spark volt a célja, hogy javítsa a feldolgozási sebességet az adatok elemzése és a manipuláció programok.
Azt írták, a Java és a Scala és biztosítja funkciók nem találhatók meg más rendszerekben, leginkább azért, mert ők nem a mainstream sem, hogy hasznos a nem-adatfeldolgozási alkalmazások.

Mi az új Ebben a kiadásban:

• A mag API mostantól támogatja a multi-level összesítés fák felgyorsítása drága csökkenti műveleteket.
• Továbbfejlesztett hibajelentés adtak bizonyos gotcha műveletek.
• Spark Móló függőségi most árnyékos segíteni ütközés elkerülése érdekében a felhasználói programok.
• Spark most már támogatja az SSL titkosítást néhány kommunikációs végpont.
• Valós idejű GC mérőszámokat és rekord számít bővült a UI.

Mi az új a 1.3.0 verzió:

• A mag API mostantól támogatja a multi-level összesítés fák felgyorsítása drága csökkenti műveleteket.
• Továbbfejlesztett hibajelentés adtak bizonyos gotcha műveletek.
• Spark Móló függőségi most árnyékos segíteni ütközés elkerülése érdekében a felhasználói programok.
• Spark most már támogatja az SSL titkosítást néhány kommunikációs végpont.
• Valós idejű GC mérőszámokat és rekord számít bővült a UI.

Mi az új 1.2.1-es verzióban:

• PySpark a sort üzemeltető már támogatja a külső ömlik a nagy adatbázisok .
• PySpark már támogatja a broadcast változók 2GB-nál nagyobb, és végrehajtja a külső ömlik alatt rendezi.
• Spark hozzáteszi munkát szintű előrehaladás oldalt a Spark UI, stabil API előrehaladási jelentés, és dinamikus frissítése kimeneti mutatókat, mint a munkahelyek teljes.
• Spark most már támogatja az olvasás bináris fájlok a képek és más bináris formátumok.

Milyen új a 1.0.0-:

• Ez a kiadás kiterjeszti Spark szabványos könyvtárak, annak egy új SQL csomagot (Spark SQL), amely lehetővé teszi a felhasználók integrálják SQL lekérdezések meglévő Spark munkafolyamatokat.
• MLlib, Spark gépi tanulás könyvtár, bővül a gyér vektoros támogatást, és számos új algoritmusok.

Mi az új verzióban 0.9.1:

• Fix hash ütközés bug külső ömlik
• Fix konfliktus Spark log4j felhasználók függenek más naplózási backends
• Fix Graphx hiányzik Spark szerelvény jar maven épít
• Fix néma kudarcok miatt map kimenet állapotát meghaladó Akka méret
• Az eltávolított Spark felesleges közvetlen függősége ASM
• Az eltávolított mérőszámok-ganglionok az alapértelmezett építmények miatt LGPL licenc konfliktus
• Javítva az elosztási tarballokon nem tartalmazó szikra szerelvény jar

Mi az új verzióban 0.8.0:

• Fejlesztési költözött a Apache Sowftware Alapítvány mint inkubátor projekt.

Milyen új verzióban 0.7.3:

• Python teljesítmény: Spark mechanizmus ívás Python VM van javították erre gyorsabb, ha a JVM egy nagy kupac mérete, felgyorsítja a Python API.
• Mesos rögzíti: JAR hozzá munkád lesz most a osztályútvonalát amikor deserializing feladat eredményeit Mesos.
• Hibabejelentés: Jobb hibajelentés nem serializable kivételek és túl nagy feladat eredményeit.
• Példák: Hozzáadott példát állapottartó patak feldolgozás updateStateByKey.
• épít: Spark Streaming már nem függ a Twitter4J repo, amely lehetővé teszi, hogy építsen Kínában.
• hibajavítások foldByKey, streaming száma, statisztikai módszerek, a dokumentáció és webes UI.

Mi az új verzióban 0.7.2:

• Scala változat frissítve a 2.9.3.
• több fejlesztést Bagel, beleértve a teljesítmény javítások és egy konfigurálható tárolási szintet.
• New API módszerek: subtractByKey, foldByKey, mapWith, filterWith, foreachPartition, és mások.
• Egy új mérési jelentésekhez felület, SparkListener, hogy információt gyűjtsön az egyes számítási szakasz: feladat hosszúságú, bájtok csoszogott, stb.
• Több új példák a Java API, beleértve a K-eszközök és számítástechnikai pi.

Mi az új verzióban 0.7.0:

• Spark 0.7 hozzáteszi Python API nevű PySpark.
• Spark munkahelyeket teremteni indít web műszerfal nyomon követésére memória használat eloszló adatbázisba (RDD) a programban.
• Spark most épült Maven mellett SBT.

Mi az új verzióban 0.6.1:

• Fix túlzottan agresszív üzenetet időtúllépés, hogy okozhat munkavállalók húzza ki a cluster.
• Javítva egy hiba, az önálló deploy mód, hogy nem teszik ki a gépneveket ütemező, érintő HDFS településen.
• javított kapcsolat újrafelhasználás shuffle, ami nagyban felgyorsítja a kis megkeveri.
• Javítva néhány potenciális holtpontra a blokkmenedzserben.
• Javítva egy hiba, egyre azonosítói nem állomása Mesos.
• Több EC2 script fejlesztések, mint a jobb kezelése helyszínen esetekben.
• Made helyi IP-címet Spark kötődik testreszabható.
• Támogatás Hadoop 2 disztribúciók.
• Támogatás a helyüket Scala Debian disztribúció.

Mi az új verzióban 0.6.0:

• Egyszerűbb telepítés.
• Spark dokumentáció kibővült egy új üzembe helyezési útmutató, további telepítési utasításokat, konfigurációs útmutató, tuning útmutató, és a jobb Scaladoc API dokumentációt.
• Egy új kommunikációs menedzser aszinkron Java NIO segítségével shuffle műveletek gyorsabban futnak, különösen, ha küld nagy mennyiségű adat vagy ha munkahelyet sok feladat.
• Egy új Storage Manager támogatja a per-adatbázisba tároló szint beállításait (pl e tartani az adatbázisba a memóriában, deserialized, a lemezen, stb, vagy akár reprodukálni az egész csomópont).
• Továbbfejlesztett hibakeresés.