Dapper Dataflow Engine

Dapper (Distributed en Parallel Program Execution Runtime) is een hulpmiddel voor het temmen van de complexiteit van het ontwikkelen voor grootschalige cloud en grid computing, waardoor de gebruiker om gedistribueerde berekeningen te maken van de essentie - de code die zal EXECUT
Waarom Dapper?
We leven in interessante tijden, waar de doorbraken in de wetenschap steeds meer afhankelijk zijn van de toenemende beschikbaarheid en overvloed van commoditized, genetwerkte computationele resources. Met behulp van de wolk of rooster berekeningen die anders zou lopen dagen achtereen een desktopcomputer nu gedistribueerd en / of parallelle formuleringen waarin kan kolken binnen enkele uren ingang wordt tienmaal zo groot op honderd machines . Zo aantrekkelijk als het idee van de kracht in aantallen kunnen zijn, die net fysieke hardware is niet genoeg - een programmeur heeft om de werkelijke berekening die zal draaien op dit ambacht. Bijgevolg is de hoge waarde die op menselijke inspanning en creativiteit vereist een programmeeromgeving die het mogelijk maakt, en zelfs aanmoedigt, beknopte uitdrukking van gedistribueerde berekeningen, en toch tegelijkertijd niet opofferen algemeenheid.
Dapper, staat voor Distributed en Parallel Program Execution Runtime, is een dergelijk instrument voor het overbruggen van hoog niveau specificaties van de wetenschapper / programmeur die de essentie van een programma vast te leggen, de mechanismen lage niveau dat de onsmakelijke realiteit van gedistribueerde en parallel computing weerspiegelen. Onder haar-dataflow aanpak, Dapper stelt gebruikers in staat om lokaal coderen in Java en uitvoeren wereldwijd op de wolk of raster. De eerste gebruiker schrijft codelets, of kleine stukjes code die eenvoudige taken uit te voeren en niet op zichzelf, een compleet programma vormen. Daarna hij bepaalt hoe deze codelets, gezien als vertices in de gegevensstroom, gegevens naar elkaar via edge relaties. De resulterende geregisseerd acyclische gegevensstroomgraaf is een compleet programma interpreteerbaar door de Dapper server, die, na te zijn gecontacteerd door langlevende werknemer klanten, kan een gedistribueerde uitvoering te coördineren.
Onder de Dapper model, de gebruiker niet meer hoeft te maken over traditioneel aspecten ad-hoc van het beheer van de cloud of raster, waaronder de behandeling van gegevens interconnects en afhankelijkheden, het herstellen van fouten, distribueren code en startbanen. Misschien nog belangrijker, het biedt een volledige Java-gebaseerde toolchain en runtime voor het inlijsten van bijna alle-grofkorrelige gedistribueerde berekeningen in een consistent formaat dat zorgt voor een snelle implementatie en eenvoudig vervoer naar andere onderzoekers.

Kenmerken

• Een code distributie systeem waarmee de Dapper server vereiste programma-code te verzenden via het netwerk en clients dynamisch laden. Een gevolg hiervan is dat, behoudens externe executables, updates voor Dapper programma's moeten alleen gebeuren op de server-side.
• Een krachtige subflow inbedding methode voor het dynamisch aanpassen van de gegevensstroomgraaf tijdens de uitvoering.
• Een runtime in vanille Java, een taal die velen ongetwijfeld bekend met. Afgezien van de eis van een recente JVM en optioneel Graphviz Dot, Dapper is self-contained.
• Een robuuste control protocol. De Dapper server verwacht dat een aantal klanten om te falen, op elk moment, en heeft klantgerichte re-uitvoering en timeout beleid om te gaan. Bijgevolg kan men starten en stoppen (langlevende) klanten zonder angst van zetten het hele systeem in een inconsistente staat.
• Flexibele semantiek waarmee gegevensoverdracht via bestanden of TCP streams.
• Interoperabiliteit met firewalls. Aangezien uw lokale cloud of raster waarschijnlijk zit achter een firewall, hebben wij speciale semantiek bedacht voor het streamen van data-overdracht.
• Liberal licentievoorwaarden. Dapper is vrijgegeven onder de LGPL om verontreiniging van uw codebase te voorkomen.
• Gebruik als een embedded applicatie. Een handleiding beschrijft de programmering API die gebruikers kunnen volgen naar de Dapper server in een applicatie zoals Apache Tomcat draaien.
• Gebruik als een standalone gebruikersinterface. Met het, kan een off-the-shelf demo's uitvoeren en leren kernbegrippen van visuele voorbeelden. Door het volgen van een minimale set van conventies, kan men vervolgens bundelen eigen Dapper's als de uitvoering archieven, en dan krijg realtime dataflow status en debuggen van feedback.

Wat is nieuw in deze release:

• Het is ServerLogic # closeIdleClients methode is veranderd om beter te passen bij de gebruiker intuïtieve notie van luiheid.
• Een gebruiker optie voor het specificeren van de hostnaam van de server is toegevoegd.
• Netwerken internals werden herwerkt om de nieuwe API's gebruiken.
• Het bouwproces is bijgewerkt om zowel de 32- en 64-bit Windows cross-compilatie te ondersteunen.
• De dapper. * Hiërarchie is hernoemd naar org.dapper. *.

Wat is nieuw in versie 0.96:

• Toegevoegd de FlowListener abstractie, zodat gebruikers kunnen nu associate metadata met gegevensstromen en hun knooppunten.
• Vast een geheugenlek in de Dapper server.
• Toegevoegd apiviz Doclet-tags, zodat relaties tussen klassen beter kan worden gevisualiseerd.
• Toegevoegd apiviz voor visualisatie van afhankelijkheden in Javadoc.
• Vast een kleine bug in BuildAndTest uitvoerbaar.
• Het bouwproces is nu volledig geïntegreerd met Apache Ivy. De bron distributie nu meer schepen met de SST. In plaats daarvan worden de afhankelijkheden automatisch gedownload; gebreke daarvan, een van de SST bron kunnen downloaden en compileren en publiceren op een lokale repository. Zie handleiding voor meer informatie.
• Bijgewerkt bouwproces en verwijderd overbodige stappen.
• De genormaliseerde copyright en licentie aankondigingen in alle bestanden.
• Java 1.6 is nu verplicht om te bouwen en uit te voeren.
• Verander build proces om Apache Ivy, wat betekent dat externe afhankelijkheden niet meer hoeven te worden verpakt met de SST hoofdverdeler te gebruiken.
• Toegevoegde 'doxygen' target te verwerken bouwen, zodat inheemse componenten kunnen worden gedocumenteerd.

Wat is nieuw in versie 0.95:

• Een nieuwe, flexibele logging infrastructuur is toegevoegd
• initialiseerders voor logging structuren zijn verhuisd van de Server en Client klassen en in de drivers.
• Finite state machines zijn bijgewerkt naar de nieuwe annotatie gedreven API.
• De broncode is genormaliseerd tot 8 ruimtes in plaats van tabs te hebben.

Wat is nieuw in versie 0.94:

• Command line opties voor de client en server zijn nu beschikbaar, hoffelijkheid van de Apache Commons CLI bibliotheek.
• De klant proces levenscyclus is nu gedefinieerd als eindigt wanneer een verbreken van de server gebeurt.
• Stem generatie functionaliteit is verplaatst van een lid methode OutputHandleResource aan het zijn van een statische methode van CodeletUtilities.
• De FlowNodeFactory klasse wordt gebruikt in het voordeel van de directe concretisering van FlowNodes.
• De bouw van inheemse componenten heeft gemigreerd naar de CMake.
• Logging is gemigreerd naar SLF4J.
• Een README is toegevoegd aan alle uitkeringen.

Wat is nieuw in versie 0.93:.

• Sterk verbeterde pedagogische voorbeelden
• Bijgewerkt handleiding.
• Toegevoegd gemak routines in dapper.codelet.CodeletUtilities voor resource opvragen.
• Verwijderd Generator, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource en FileBatchResource. Ze zijn vervangen door het begrip abstracte gegevens handvatten in de vorm van HandleEdge, InputHandleResource, OutputHandleResource. Zie handleiding voor veranderingen.
• Bijgewerkt dapper.codelet.Resource om input en output stromen te exporteren.

Eisen

• Java 2 Standard Edition Runtime Environment