Apache Pig heeft geleid van de Apache Hadoop project is een van de modules die, waar de leiding van het verstrekken van een manier om de gegevens die het verwerkt en opgeslagen analyseren.
Varken maakt gebruik van een aangepaste query taal genaamd "varken Latijnse" die ongelooflijk gemakkelijk te leren en ondersteunt zowel relationele en functionele stijlen.
Dit betekent dat u kunt het gebruiken als een klassieke SQL taal profiteren van data verbindingen en filters, of u kunt de MapReduce functies, de data mappers en verloopstukken gebruiken.
Standaard Apache Pig was bedoeld binnen Hadoop installaties worden gebruikt, maar nieuwere versies laat het afzonderlijk via een apart JVM draaien
Wat is nieuw in deze release:.
- Pluggable uitvoering motoren (varkens run op niet-MapReduce motoren in de toekomst mogelijk te maken)
- Auto-lokale modus (om banen met kleine input data grootte te draaien in-process)
- Fetch optimalisatie (om interactiviteit van grunt te verbeteren)
- Vast tellers voor de lokale modus
- Ondersteuning voor gebruikersniveau jar cache
- Ondersteuning voor de zwarte lijst en whitelisting varken commando's
- Verscheidene prestaties fixes en debuggability kenmerken
- Een paar niet-compatibel interface-wijzigingen zijn in deze release geïntroduceerd om varkens werken met niet-MapReduce motoren maken
Wat is nieuw in versie 0.14.0:
- Pluggable uitvoering motoren (om varkens run op niet- -mapreduce motoren in de toekomst)
- Auto-lokale modus (om banen met kleine input data grootte te draaien in-process)
- Fetch optimalisatie (om interactiviteit van grunt te verbeteren)
- Vast tellers voor de lokale modus
- Ondersteuning voor gebruikersniveau jar cache
- Ondersteuning voor de zwarte lijst en whitelisting varken commando's
- Verscheidene prestaties fixes en debuggability kenmerken
- Een paar niet-compatibel interface-wijzigingen zijn in deze release geïntroduceerd om varkens werken met niet-MapReduce motoren maken
Wat is nieuw in versie 0.11.0:
- Deze release bevat DateType datatype, RANK, CUBE en ROLLUP operators, Groovy UDF, douane verloopstuk schatting-schema gebaseerde tuples en HCatalog DDL integratie.
Wat is nieuw in versie 0.9.1:.
- Deze versie werkt met Hadoop 0.20
Wat is nieuw in versie 0.6:
- toegevoegd Zebra als contrib project. Zie http://wiki.apache.org/pig/zebra
- Toegevoegd UDFContext, geeft UDF een manier om informatie doorgeven van voor naar achter en geeft end GFG toegang tot JobConf in de backend.
- Toegevoegde links buiten te sluiten voor fragment repliceren sluiten.
- Toegevoegde mogelijkheid om werk prioriteit van Latijn van het varken.
- Verbeterde multi-query om te werken met joins in sommige gevallen.
- Reworked geheugenbeheer aanzienlijk GC Overhead en Out of Heap mislukkingen te verminderen.
- Toegevoegde Accumulator interface voor UDF.
- Meer dan 100 bug fixes en verbeteringen.
Eisen
- Java 1.6.x of hoger
- Apache Hadoop 0.20.x of hoger
Reacties niet gevonden