Apache Whirr

De Apache Whirr bibliotheken zijn geschreven in Java, met hagelslag van XML en Python.
Ze werden geschreven en samengesteld tot een single-instrument oplossing om te werken met de overvloed van cloud-diensten en cloud-gebaseerde tools knallen overal op het internet deze dagen bieden.
Deze bibliotheken hebben een gemeenschappelijke interface voor interactie met elk van deze diensten / instrumenten, automatisch hanteren van de verschillen.
Standaardinstellingen voor elke dienst zijn aanwezig en de ontwikkelaar hoeft slechts een paar snelle wijzigingen aan te brengen een interface up and running binnen enkele minuten te krijgen

Kenmerken .

• Ondersteunde diensten:
• De meeste onderdelen van de Apache Hadoop stack
• Apache Mahout
• Chef
• Puppet
• Ganglia
• ElasticSearch
• Apache Cassandra
• Voldemort
• Hama


• Services kunnen worden ingezet om:
• Amazon EC2
• Rackspace Cloud

Wat is nieuw in deze release:

• Adapter voor OpenStack Wolken
• Gemaakt Kerberos dienst
• Toegevoegd Python scripts om ssh / scp hulp in om VM's
• Whirr script voor Hadoop MRv2 YARN installeert die ondersteuning Hadoop-2.0.x en Hadoop 3.x (stam) takken

Wat is nieuw in versie 0.5.0:

• Sub-taken:
• Ondersteuning meerdere versies van Zookeeper
• Maak ClusterSpec bewust BlobStoreContext fabriek klasse
• Vaste Bugs:
• Inloggen waarschuwen voor niet-erkende dienst namen
• Zookeeper dienst kan alleen een vergunning binnendringen om Zookeeper gevallen
• Whirr hangt wanneer het bestand "$ HOME / .ssh / known_hosts 'omvat een verouderde naam voor een bepaald IP-adres host.
• Verbeteringen:
• Maak een efficiënter gebruik van ComputeServiceContext
• Voeg ClusterAction voor generieke uitvoering van het script
• Verbeter foutmelding als whirr.instance-templates weggelaten uit config
• Ondersteuning meerdere versies van Hadoop
• Configuratie bijwerken Gidsen met Recept Info
• Het is duidelijk af te bakenen van de gebruikers en dienstverleners API's
• Nieuwe functies:
• [CDH] Start andere diensten op basis van CDH, niet alleen HDFS en MR
• Ondersteuning van lokale tarball uploaden
• Voeg Voldemort als service
• Voeg ElasticSearch als service
• ondersteuning toevoegen voor BYON

Wat is nieuw in versie 0.4.0:

• Bugs:
• De gevallen moet worden gestart in de volgorde aangegeven in de sjabloon.
• [HBase] Integratie test mislukt.
• Behandel krul time-outs beter.
• Logbestanden moet niet worden opgenomen in de tarball of gecontroleerd door RAT.
• CDH en Hadoop integratie tests zijn niet.
• NPE voor gestopt exemplaren op EC2.
• Resource functies / install_cdh_hadoop.sh niet gevonden bij het uitvoeren van de CLI.
• Verbeteringen:
• Gebruikers moeten in staat zijn om een ​​willekeurige Hadoop woning overschrijven voor de lancering.
• Upgrade naar jclouds 1.0-beta-9.
• Recept voor een HBase Cluster.
• Display beschikbare rollen in plaats van de namen van diensten bij het uitvoeren van ./bin/whirr.
• Nieuwe functies:
• Sta gebruikers toe om in te loggen in clusters als zichzelf.
• Ondersteuning door de gebruiker gedefinieerde beelden.
• Ondersteuning lokaal geleverde scripts.
• Voeg de mogelijkheid om een ​​cluster instantie vernietigen.

Wat is nieuw in versie 0.1.0:

• Sub-opdracht:
• Vul begonnen documentatie - krijgen-started.confluence
• Document en implementeren release proces
• KEYS Voeg bestand naar distributiedirectory
• Publiceren Maven artefacten om http://repository.apache.org
• bijwerken snelle start documentatie om te werken met versie 0.1.0
• Bug:
• Hadoop-cloud push commando aanroept proxy creatie
• Gebruik handmatige installatie van Apache RAT niet nodig om te compileren
• Fix RAT waarschuwingen vanwege sitebestanden
• Cassandra POM moet afhangen van top-level
• Oplossing bug 331 in jclouds (Sommige EC2ComputeService bewerkingen mislukken voor gestopt gevallen)
• Alleen toegang tot clusters van bepaalde netwerken mogelijk maken
• Hadoop dienst wordt verbroken
• Integratie tests moeten niet draaien op & quot; mvn installeren & quot;
• Log4j ontbreekt in de CLI JAR
• Verbetering:
• Maak ant build voor het uitvoeren van EC2 unit tests
• Ondersteuning extra beveiliging groep optie in Hadoop-ec2 script
• Maak setup.py voor EC2 cloud scripts
• Genereer RAT rapport
• Dwing broncode stijl
• Aparte eenheid en integratie (systeem) testen
• Upgrade naar jclouds 1,0-bèta-6
• Toestaan ​​script locaties worden overschreven
• Voeg Whirr snelle start te README.txt en website (wanneer het eenmaal live)
• Bijwerken POM te wijzen op Apache RAT 0.8-SNAPSHOT
• Open poorten 50010 (JobTracker) en 50.070 (NameNode) voor de Hadoop Dienst
• Voeg kern javadoc
• Maak een Dienst fabriek
• Laat de Hadoop dienst te draaien op Rackspace Cloud servers
• Goedkeuren van de standaard Java SPI-interface
• Implementeren dienst / CDH
• Introduceer naamgeving consistentie voor cloud service providers
• Unify ClusterSpec en ServiceSpec
• Ontkoppeling sleutelparen van de bestanden die hen houd
• Gebruik Commons Configuratie voor het cluster specs beheren
• Opruimen POM afhankelijkheden
• Nieuwe functie:
• ondersteuning toevoegen voor EBS opslag op EC2
• Uitvoeren namenode en jobtracker op aparte EC2 instances
• Schrijf een Rackspace cloud provider
• Voeg een dierenverzorger service naar de cloud scripts
• Voeg Cassandra dienst
• Voeg een CLI
• Taak:
• Import oorspronkelijke broncode van Hadoop contrib
• Import eerste Java-broncode
• Maak project website
• Voeg doel directories aan svn negeren
• release versie 0.1.0