Apache Hadoop

Apache Hadoop által kifejlesztett egyedülálló Yahoo és a projekt egy kombináció között az előző Apache Hadoop Core és az Apache Hadoop közös repos.

A Hadoop projekt szerzett sok hírhedtté köszönhetően nagyszerű eredményeket végrehajtása több szerver elosztott számítási rendszer kezelése hatalmas mennyiségű adatot.

A projekt maga ténylegesen négy részből áll. Az egyik Hadoop közös, úgynevezett mag, amely lehetővé teszi az összes többi modul működik, a második pedig a nagyon saját fájlrendszer - HDFS (Hadoop Distributed File System), a harmadik pedig a Hadoop YARN ütemezési keretet, és végül ott van a Hadoop MapReduce rendszer támogató párhuzamos számítástechnika.

Ezekkel úttörő rendszer, az Apache sikerült létrehozni sok más oldalról projektek, mint például:

- Apache Ambari

- Apache Avro

- Apache Cassandra

- Apache HBase

- Apache Hive

- Apache Mahout

- Apache Pig

- Apache Spark

- Apache Tez

- Apache állatgondozó

Mindezek támaszkodnak Hadoop erőteljes adatfeldolgozó motorhoz vagy elosztott számítási funkciók, integráló egyik modul a mag egyik vagy a másik utat.

Mi az új ebben a kiadásban:

• támogatása archiválási
• Átlátszó adatok nyugalmi titkosítás (béta)
• Kezelési biztonságos DataNode nélkül root access
• Hot-swap meghajtó: támogatja hozzáadni / eltávolítani adatok csomópont kötetek újraindítás nélkül adatokat csomópont (béta)
• AES támogatása a gyorsabb vezeték titkosítás
• Támogatás a hosszú ideig futó szolgáltatások fonal
• Support node címkék ütemezés során
• Támogatás az idő-alapú forrás fenntartások Kapacitás Scheduler (béta)
• Global megosztott cache alkalmazási melléktermékek (béta)
• Támogatás futó alkalmazások natív Docker konténerek (alpha)

Mi az új verzió 2.7.1:

• támogatása archiválási
• Átlátszó adatok nyugalmi titkosítás (béta)
• Kezelési biztonságos DataNode nélkül root access
• Hot-swap meghajtó: támogatja hozzáadni / eltávolítani adatok csomópont kötetek újraindítás nélkül adatokat csomópont (béta)
• AES támogatása a gyorsabb vezeték titkosítás
• Támogatás a hosszú ideig futó szolgáltatások fonal
• Support node címkék ütemezés során
• Támogatás az idő-alapú forrás fenntartások Kapacitás Scheduler (béta)
• Global megosztott cache alkalmazási melléktermékek (béta)
• Támogatás futó alkalmazások natív Docker konténerek (alpha)

Mi az új verzió 2.7.0:

• támogatása archiválási
• Átlátszó adatok nyugalmi titkosítás (béta)
• Kezelési biztonságos DataNode nélkül root access
• Hot-swap meghajtó: támogatja hozzáadni / eltávolítani adatok csomópont kötetek újraindítás nélkül adatokat csomópont (béta)
• AES támogatása a gyorsabb vezeték titkosítás
• Támogatás a hosszú ideig futó szolgáltatások fonal
• Support node címkék ütemezés során
• Támogatás az idő-alapú forrás fenntartások Kapacitás Scheduler (béta)
• Global megosztott cache alkalmazási melléktermékek (béta)
• Támogatás futó alkalmazások natív Docker konténerek (alpha)

Mi az új verzió 2.6.0:

• támogatása archiválási
• Átlátszó adatok nyugalmi titkosítás (béta)
• Kezelési biztonságos DataNode nélkül root access
• Hot-swap meghajtó: támogatja hozzáadni / eltávolítani adatok csomópont kötetek újraindítás nélkül adatokat csomópont (béta)
• AES támogatása a gyorsabb vezeték titkosítás
• Támogatás a hosszú ideig futó szolgáltatások fonal
• Support node címkék ütemezés során
• Támogatás az idő-alapú forrás fenntartások Kapacitás Scheduler (béta)
• Global megosztott cache alkalmazási melléktermékek (béta)
• Támogatás futó alkalmazások natív Docker konténerek (alpha)

Mi az új verzió 2.5.0:

• A hitelesítés esetén fejlesztéseket egy HTTP proxy szerver.
• Egy új Hadoop mutatók mosogató, amely lehetővé teszi az írás közvetlenül grafit.
• specifikáció Hadoop Kompatibilis fájlrendszer erőfeszítés.
• Támogatás POSIX stílusú fájlrendszer kiterjesztett attribútumok.
• OfflineImageViewer böngészni egy fsimage keresztül WebHDFS API.
• támogathatóság fejlesztéseket és javításokat az NFS gateway.
• Korszerűsített web UI (HTML5 és a JavaScript) a HDFS démonokat.
• YARN pihenés API támogatás benyújtása és a gyilkos alkalmazás.
• Kerberos integrációja a fonalat ütemezését boltban.

Mi az új verzió 2.4.0:

• támogatása Hozzáférés-vezérlési listák HDFS
• natív támogatása gördülő frissítéseket HDFS
• Használat protokoll-pufferek HDFS FSImage sima működési frissítések
• A teljes HTTPS támogatás HDFS
• támogatása automatikus failover a fonal ResourceManager
• fokozott támogatása az új alkalmazások fonalat Application története Server és Application Server Timeline
• támogatása erős SLA fonal CapacityScheduler keresztül Preemption

Mi az új verzió 2.3.0:

• Támogatás Heterogén tároló hierarchiát HDFS.
• A memóriabeli gyorsítótárat HDFS adatok központosított adminisztráció és menedzsment.
• Egyszerűsített forgalmazása MapReduce bináris keresztül HDFS fonal Elosztott gyorsítótár.

Mi az új verzió 2.2.0:

• fonal - Egy általános célú erőforrás menedzsment rendszer Hadoop hogy MapReduce és egyéb más adatfeldolgozó keretek és szolgáltatások
• Magas a szabad HDFS
• HDFS Föderáció
• HDFS pillanatfelvételek
• NFSv3 hozzáférést az adatokhoz HDFS

Mi az új a verzió 2.1.0-beta:

• HDFS pillanatfelvételek
• futtatásának támogatása Hadoop Microsoft Windows
• YARN API stabilizáció

Mi az új a verzió 2.0.3-alpha:

• QJM az HDFS HA ​​NameNode
• Multi-erőforrás ütemezés (CPU és memória) a fonal számára
• YARN ResourceManager Újraindítás
• Jelentős stabilitás skála fonalból (több mint 30.000 csomópontok és 14 millió alkalmazások eddig a kibocsátáskor)

Mi az új 1.0.0:

• Nagyobb biztonság.
• HBase (append / hsynch / hflush, biztonság).
• webhdfs (teljes mértékben támogatja a biztonság).
• Performance továbbfejlesztett hozzáférés a helyi fájlok HBase.
• Egyéb teljesítmény fokozását, hibajavítást és jellemzői.

Mi az új verzió 0.20.2:

• Az RPC-kiszolgáló elküld puffer megtartja méretét legnagyobb válasz valaha küldött.
• C ++ könyvtárak nem építenek a Debian Lenny.
• Néhány c ++ parancsfájlok nem chmodded előtt hangya végrehajtását.
• streaming: eljárás, feltéve státusz üzenetek felülírják minden 10 seoncds.
• IllegalArgumentException amikor CombineFileInputFormat használunk munkát InputFormat.
• Több hibákat w / Hadoop levéltár.
• Hagyjuk cache-fájlrendszer esetben le kell tiltani a per-példány alapján.
• Hiányzó szinkronizálást defaultResources a Configuration.addResource.
• GzipCodec nem jelenthet BuiltInZlibInflater mint decompressorType.
• NameNode a HTTPServer nem példányosítunk InetSocketAddress: IllegalArgumentException dobják.
• HTTPServer alszik negatív értékeket.
• Namenode fut az out of memory miatt memóriavesztés IPC Server.
• IPC kliens hiba okozhatja RPC lógni.
• elmulasztása tesztek megakadályozzák a többi vizsgálati célokat a végrehajtás.
• Contrib vizsgálatok hiányában Clover'ed építeni.
• Tesztek nem futnak a 0,20 ága.
• TestStreamingStatus sikertelen a 0.20 ága.