mrjob

mrjob egy Python modul, amely segít írni és futtatni Hadoop Streaming munkahelyet.
mrjob teljes mértékben támogatja az Amazon Elastic MapReduce (EMR) szolgáltatást, amely lehetővé teszi, hogy időt nyerjenek a Hadoop klaszter óránként. Úgy is működik a saját Hadoop klaszter.
Telepítés:
python setup.py telepíteni
beállítása EMR az Amazon
& Nbsp; * Egy Amazon Web Services fiók: http://aws.amazon.com/
& Nbsp; * regisztrálj Elastic MapReduce: http://aws.amazon.com/elasticmapreduce/
& Nbsp; * Hozd a hozzáférést és a titkos kulcsot (menni http://aws.amazon.com/account/ és kattintson a "Security Adatok"), és állítsa be a környezeti változók $ AWS_ACCESS_KEY_ID és $ AWS_SECRET_ACCESS_KEY megfelelően

Próbálja ki!
# Helyben
python mrjob / examples / mr_word_freq_count.py README.md> számít
# A EMR
python mrjob / examples / mr_word_freq_count.py README.md -r emr> számít
# A Hadoop cluster
python mrjob / examples / mr_word_freq_count.py README.md -r Hadoop> számít
Advanced Configuration
Hogy fut-e más AWS régiókban, töltsd fel a fát, futtassuk le a make, és egyéb fejlett mrjob funkciók, akkor be kell állítania mrjob.conf. mrjob keresi a conf fájlt:
& Nbsp; * ~ / .mrjob
& Nbsp; * mrjob.conf bárhol a $ PYTHONPATH
& Nbsp; * /etc/mrjob.conf
Lásd mrjob.conf.example talál.

Tulajdonságok :

• Futtatás munkahelyek EMR, saját Hadoop klaszter, vagy helyben (tesztelésre).
• Írja többlépcsős munkahelyek (egy map-csökkentésére lépést nyúljon bele a következő)
• Másolat a termelési környezet belsejében Hadoop
• Töltsd fel forrást és tedd a dolgod dolláros PYTHONPATH
• make parancsot és egyéb beállítási szkriptek
• Állítsa be a környezeti változók (pl $ TZ)
• Könnyen install python csomagokat tarballs (EMR csak)
• Beállítás kezeli átlátható a mrjob.conf config file
• Automatikusan értelmezni hibanaplókban a EMR
• SSH alagút Hadoop munkát tracker on EMR
• Minimális telepítés
• futni EMR állítsa $ AWS_ACCESS_KEY_ID és $ AWS_SECRET_ACCESS_KEY
• futtatni a Hadoop klaszter, állítsa $ HADOOP_HOME

követelmények :

• Python