Hadoopy

Ez alapvetően egy Python könyvtár MapReduce írt Cython.

Tulajdonságok :

• Hasonló felület, mint a Hadoop API (tervezési minták használhatóak között Python / Java interfészek)
• Általános kompatibilitás Dumbo, hogy a felhasználók váltani oda-vissza
• Használható a Hadoop klaszter nélkül Python vagy admin access
• Fast átalakítása és feldolgozása
• Legyen kicsi és jól dokumentált
• Legyen átlátható, mi folyik a
• Handle programok bonyolult .so-k, ctypes, és kiterjesztések
• Code írt hackelhetőség
• Egyszerű HDFS hozzáférést (pl, olvasás, írás, ls)
• Support (és nem megismételni) a nagyobb Hadoop ökoszisztéma (pl Oozie, zümmög)
• Automatizált feladat párhuzamosság "auto-oozie" rendelkezésre hadoopy flow projekt (fenntartott ki ág)
• Helyi végrehajtását módosítatlan MapReduce munkát launch_local
• Read / Write sorrendben fájlok TypedBytes közvetlenül HDFS re python (readtb, writetb)
• Lehetővé teszi a nyomtatást a stdout és stderr a Hadoop feladatokat anélkül, hogy problémák (használja a "cső ugráló" technikával, mind rendelkezésre állnak a feladat stderr)
• Működik a klaszterek nélkül extra telepítés, Python, vagy bármilyen Python könyvtárak (használ Pyinstaller, hogy benne van ez a forrás fa)
• Működik OS X
• Critical Path van Cython
• Egyszerű HDFS hozzáférés (readtb és ls) belül Python, belül is futó feladatok
• Unit teszt interfész
• A jelentések felhasználásával és számlálók (és nyomtatási utasításokat! Nem kell félni őket Hadoopy)
• Támogatja a tervezési minták a Lin & Dyer könyv
• Typedbytes támogatás (nagyon gyors)
• Oozie támogatás

követelmények :

• Cython 0,13 vagy magasabb