Hadoopy

Het is eigenlijk een Python bibliotheek voor MapReduce geschreven in Cython

Eigenschappen .

• Vergelijkbaar interface als Hadoop API (design patterns bruikbaar tussen Python / Java interfaces)
• Algemeen compatibiliteit met dumbo om gebruikers in staat om heen en weer te schakelen
• Toepasbaar op Hadoop clusters zonder Python of admin toegang
• Snelle conversie en verwerking
• Blijf klein en goed gedocumenteerd
• Wees transparant met wat er gaande is
• Handle programma's met ingewikkelde .Zo's, ctypes en extensies
• Code geschreven voor hack-vermogen
• Simple HDFS toegang (bijvoorbeeld lezen, schrijven, ls)
• Ondersteuning (en niet repliceren) de grotere Hadoop ecosysteem (bv oozie, snorre)
• Geautomatiseerde baan parallellisatie 'auto-oozie' beschikbaar in het hadoopy stroom project (onderhouden van branch)
• Lokale uitvoering van ongewijzigde MapReduce baan met launch_local
• lezen / schrijven reeks dossiers van TypedBytes rechtstreeks aan HDFS van python (readtb, writetb)
• Hiermee kunt printen naar stdout en stderr in Hadoop taken zonder problemen (maakt gebruik van de 'pipe hopping' techniek, beide zijn verkrijgbaar in stderr van de taak)
• Werkt op clusters zonder extra installatie, Python, of de Python bibliotheken (gebruikt Pyinstaller die is opgenomen in deze bron boom)
• Werkt op OS X
• Kritieke pad is in Cython
• Simple HDFS toegang (readtb en ls) in Python, zelfs in lopende banen
• Unit-test-interface
• Reporting met status en tellers (en afdrukken verklaringen! Hoeft niet bang te zijn van hen in Hadoopy)
• Ondersteunt design patterns in de Lin & Dyer boek
• Typedbytes ondersteuning (zeer snel)
• oozie support

Eisen

• Cython 0,13 of hoger