Jug

Jug is een Python implementatie van het MapReduce kader (nu een standaard onderdeel van Hadoop ), waarmee ontwikkelaars code die kan worden uitgevoerd in verschillende vormen van parallellisatie te schrijven.
Dit betekent code die kan draaien parallel op dezelfde machine, of over een computing-cluster (meerdere machines).
Jug stelt ontwikkelaars in staat om code te organiseren in kleinere stukken, en het selecteren van waar, hoe en wanneer het uit te voeren.
Hoewel dit over de top van kleine websites en toepassingen, kan dit gedrag zeer nuttig in toepassingen met een hoge verkeersbelasting of daarmee om grote hoeveelheden gegevens.
Kruik kan lokaal werken en opslaan van gegevens via de harde schijf, of het kan externe opslag gebruiken. Voor het laatste geval, de Herverdeeld database wordt ondersteund

Kenmerken .

• Aanhoudende data-opslag ondersteuning
• hergebruikt gedeeltelijke resultaten
• Multitasking support
• Lokale gegevensopslag
• Externe opslag van gegevens
• Operatie-status checker

Wat is nieuw in deze release:

• Python 3 compatibiliteitscorrecties
• fsync (directory) in de file backend
• Jug haken (meestal nog niet gedocumenteerd, maar nu al staat interne code vereenvoudiging)

Wat is nieuw in versie 0.9.7:

• Fix gebruik van numpy subklassen
• Fix redis URL parsing
• Fix `` shell`` voor nieuwere versies van ipython
• Correct terugvallen op niet-sqlite `` status``

Wat is nieuw in versie 0.9.6:

• Sneller decoderen
• Toegevoegd jug-script uitvoeren
• Toegevoegde beschrijven () functie
• Toegevoegd write_task_out () functie

Wat is nieuw in versie 0.9.1:

• Toegevoegd `` webstatus`` subopdracht
• Toegevoegd bvalue () functie
• Fixed bug in `` shell`` subopdracht (`` value`` was niet in de wereldwijde namespace)
• Verbeterde identiteit ()
• Fixed bug in het gebruik Tasklets en --aggressive-unload
• Fixed bug met Tasklets en slaap-pas / check

Wat is nieuw in versie 0.9:

• In de aanwezigheid van een barrière (), voer de jugfile . Dit maakt barrière veel gemakkelijker te gebruiken.
• Toegevoegd set_jugdir de openbare API.
• Toegevoegd CompoundTaskGenerator.
• Ondersteuning subclassing van Task.
• Vermijd het maken van mappen in de file backend, tenzij dit noodzakelijk is.
• jug.mapreduce.reduce toevoegen (die imiteert de ingebouwde verminderen).

Wat is nieuw in versie 0.8.1:

• Fix redis backend voor de nieuwe versie van de client module
• Sneller bestand op te slaan voor grote bestanden
• Fix `invalidate` met Tasklets
• Installeer tests en hebben hen runnable
• Veranderd hash berekeningsmethode. Dit heeft een speciaal geval op numpy arrays
• (snelheid) en is uitbreidbaar door middel van een __jug_hash__ haak
• Fix bug met Tasklet afhankelijkheden niet naar behoren rekening gehouden met
• Fix shell subopdracht in nieuwere versies van ipython
• Voeg __FILE__ attribuut om nep jugmodule

Wat is nieuw in versie 0.8:

• Tasklets
• Fix bugs in slaap-tot en opruimen
• Fix bugs met CompoundTask (je moest kruik lopen voeren twee keer eerder).

Wat is nieuw in versie 0.8-b0:

• Tasklets - Fix bugs in slaap-tot en opruimen .

Wat is nieuw in versie 0.7.4:

• Fix geval ~ / .jug / configrc doet niet bestaan.
• Print hostnaam om bestand te vergrendelen op file_store.
• refactored uitvoering van opties.
• Fix lossen taken die niet zijn uitgevoerd.
• Fix MapReduce voor lege ingang.

Wat is nieuw in versie 0.7.3:.

• Parse ~ / .jug / configrc
• Fix bug met wachttijden.
• Bijzonder geval het opslaan van numpy arrays.
• Voeg meer expressieve jugdir syntax.
• Save dict_store backend op schijf.

Wat is nieuw in versie 0.7.2:.

• Inbegrepen ontbrekende bestanden in de distributie

Wat is nieuw in versie 0.7.1:.

• de slaap-tot subopdracht
• Fix voor de slagboom () en MapReduce interactie.
• Documentatie verbetering.

Wat is nieuw in versie 0.7:

• Beter `` shell`` commando
• herschreef methode voor het laden jugfiles
• Taken zijn oorspronkelijke functie toegankelijk als `F`

Wat is nieuw in versie 0.6.9:.

• Nieuwe check commando
• load_all () in shell.

Wat is nieuw in versie 0.5.2:.

• Nieuwe `shell` commando
• Compressie in redis backend.
• Verbeteringen in snelheid voor 'ongeldig' commando.

Wat is nieuw in versie 0.5.1:

• Herverdeeld backend
• woordenboek afhankelijkheden
• Veranderd command-line interface (jug commando jugfile ...)

Eisen

• Python 2.6 of hoger