Apache Hive

Apache Hive werd voor het eerst ontwikkeld als een Apache Hadoop deelproject voor het verstrekken van Hadoop beheerders met een eenvoudig te gebruiken, bedreven querytaal om hun gegevens te gebruiken.
Hierdoor Hive ontwikkeld vanaf het begin te werken met grote hoeveelheden informatie per query en is perfect geschikt voor grote databases en bedrijfsomgevingen.
Tools worden meegeleverd voor het eenvoudig laden, extraheren en transformeren van de data, terwijl de aangepaste datastructuren op een brede set van data formaten kan worden gedwongen.
Omdat het een Hadoop-gerelateerde project HDFS en HBase projecten worden ook automatisch ondersteund.
HiveQL is waarschijnlijk het beste deel van het project, het verstrekken van een eenvoudige, innovatieve en efficiënte query-taal, terwijl ook in staat om mappers en verloopstukken behandelen in situaties waarin de inheemse SQL syntax de gewenste gegevens niet kan krijgen.

Wat is nieuw in deze release:

• Ondersteuning gecorreleerd subqueries in de WHERE
• NULL vastgesteld dat ze aan FORMAT specificatie rij toe te voegen
• Ccreate / drop-database moeten bevolken inputs / outputs en check concurrency en toestemming van de gebruiker
• Ondersteuning specificeren schaal en precisie met type Hive decimale
• Laat er Tez
• Een exploderen functie dat de positie van het item in de array
bevat
• Voeg char data type
• Maak verzamelen UDF en maak evaluator herbruikbare
• Verleng opname schrijver en ORC reader / writer interfaces statistieken
• Uitvoeren statistieken verstrekken ORC schrijver en lezer interfaces
• Aantekeningen bijenkorf operator boom met statistieken van Metastore
• Zorg streep niveau column statistieken in ORC
• Subquery support: verbieden nesten van subqueries
• Subquery steun: laten subquery uitdrukkingen in die clausule
• Subquery support: meer tests
• Native Parket Ondersteuning bij Hive
• Hive moet kunnen kop- en voettekst rijen overslaan bij het lezen van data-bestand voor een tafel
• DATUM, TIMESTAMP, DECIMAL toevoegen, CHAR, VARCHAR types ondersteunen HCat
• Gebruik kaart-join hint naar tussenresultaat cache
• Voeg UDF om de afstand tussen de geografische coördinaten berekenen

Wat is nieuw in versie 1.2.0:

• Ondersteuning gecorreleerd subqueries in de WHERE
• NULL vastgesteld dat ze aan FORMAT specificatie rij toe te voegen
• Ccreate / drop-database moeten bevolken inputs / outputs en check concurrency en toestemming van de gebruiker
• Ondersteuning specificeren schaal en precisie met type Hive decimale
• Laat er Tez
• Een exploderen functie dat de positie van het item in de array
bevat
• Voeg char data type
• Maak verzamelen UDF en maak evaluator herbruikbare
• Verleng opname schrijver en ORC reader / writer interfaces statistieken
• Uitvoeren statistieken verstrekken ORC schrijver en lezer interfaces
• Aantekeningen bijenkorf operator boom met statistieken van Metastore
• Zorg streep niveau column statistieken in ORC
• Subquery support: verbieden nesten van subqueries
• Subquery steun: laten subquery uitdrukkingen in die clausule
• Subquery support: meer tests
• Native Parket Ondersteuning bij Hive
• Hive moet kunnen kop- en voettekst rijen overslaan bij het lezen van data-bestand voor een tafel
• DATUM, TIMESTAMP, DECIMAL toevoegen, CHAR, VARCHAR types ondersteunen HCat
• Gebruik kaart-join hint naar tussenresultaat cache
• Voeg UDF om de afstand tussen de geografische coördinaten berekenen

Wat is nieuw in versie 1.1.0:

• Ondersteuning gecorreleerd subqueries in de WHERE
• NULL vastgesteld dat ze aan FORMAT specificatie rij toe te voegen
• Ccreate / drop-database moeten bevolken inputs / outputs en check concurrency en toestemming van de gebruiker
• Ondersteuning specificeren schaal en precisie met type Hive decimale
• Laat er Tez
• Een exploderen functie dat de positie van het item in de array
bevat
• Voeg char data type
• Maak verzamelen UDF en maak evaluator herbruikbare
• Verleng opname schrijver en ORC reader / writer interfaces statistieken
• Uitvoeren statistieken verstrekken ORC schrijver en lezer interfaces
• Aantekeningen bijenkorf operator boom met statistieken van Metastore
• Zorg streep niveau column statistieken in ORC
• Subquery support: verbieden nesten van subqueries
• Subquery steun: laten subquery uitdrukkingen in die clausule
• Subquery support: meer tests
• Native Parket Ondersteuning bij Hive
• Hive moet kunnen kop- en voettekst rijen overslaan bij het lezen van data-bestand voor een tafel
• DATUM, TIMESTAMP, DECIMAL toevoegen, CHAR, VARCHAR types ondersteunen HCat
• Gebruik kaart-join hint naar tussenresultaat cache
• Voeg UDF om de afstand tussen de geografische coördinaten berekenen

Wat is nieuw in versie 1.0.0:

• Ondersteuning gecorreleerd subqueries in de WHERE
• NULL vastgesteld dat ze aan FORMAT specificatie rij toe te voegen
• Ccreate / drop-database moeten bevolken inputs / outputs en check concurrency en toestemming van de gebruiker
• Ondersteuning specificeren schaal en precisie met type Hive decimale
• Laat er Tez
• Een exploderen functie dat de positie van het item in de array
bevat
• Voeg char data type
• Maak verzamelen UDF en maak evaluator herbruikbare
• Verleng opname schrijver en ORC reader / writer interfaces statistieken
• Uitvoeren statistieken verstrekken ORC schrijver en lezer interfaces
• Aantekeningen bijenkorf operator boom met statistieken van Metastore
• Zorg streep niveau column statistieken in ORC
• Subquery support: verbieden nesten van subqueries
• Subquery steun: laten subquery uitdrukkingen in die clausule
• Subquery support: meer tests
• Native Parket Ondersteuning bij Hive
• Hive moet kunnen kop- en voettekst rijen overslaan bij het lezen van data-bestand voor een tafel
• DATUM, TIMESTAMP, DECIMAL toevoegen, CHAR, VARCHAR types ondersteunen HCat
• Gebruik kaart-join hint naar tussenresultaat cache
• Voeg UDF om de afstand tussen de geografische coördinaten berekenen

Wat is nieuw in versie 0.8.1:

• Tools om eenvoudige data-extract staat / transformeren / load (ETL).
• Een mechanisme om structuur op te leggen op een verscheidenheid van data formaten.
• De toegang tot bestanden die zijn opgeslagen, hetzij rechtstreeks in Apache HDFS (TM), of in andere data-opslag systemen zoals Apache HBase (TM).
• de uitvoering Query via MapReduce.

Wat is nieuw in versie 0.8.0:

• Tools om eenvoudige data-extract staat / transformeren / load (ETL)
• Een mechanisme om structuur op te leggen op een verscheidenheid van dataformaten
• De toegang tot bestanden die zijn opgeslagen, hetzij rechtstreeks in Apache HDFS (TM), of in andere data-opslag systemen zoals Apache HBase (TM)
• de uitvoering Query via MapReduce

Wat is nieuw in versie 0.7.1:

• Bugs:
• Uitzondering op de ramen bij gebruik van het JDBC-stuurprogramma. & quot; IOException:. Het systeem kan niet het opgegeven pad & quot vinden;
• Schema creatie scripts onvolledig omdat ze vertrekken uit tabellen die specifiek zijn voor DataNucleus zijn.
• Verbeteringen:
• Verbetering van diverse foutmeldingen.
• Terug juiste major / minor versienummers voor JDBC Hive Driver.
• Voeg de implementatie HivePreparedStatement gebaseerd op de huidige HIVE ondersteund data-type.
• Taken:
• Hive in Maven.
• Zorg Metastore upgraden scripts en standaard schema's voor PostgreSQL.

Wat is nieuw in versie 0.7.0:

• Nieuwe functie:
• Autorisatie infrastructuur voor Hive
• Implementeren indexeren in Hive
• Voeg weerspiegelen () UDF voor reflectieve inroepen van Java methoden
• Hive TypeInfo / ObjectInspector aan unie steunen (naast structuur, array, en de kaart)
• Uitvoeren GenericUDF str_to_map
• Patch om drager met clausule in Hive
• Volg de naden die worden omgezet in kaart-join automatisch
• Call frequentie en duur metrics voor HiveMetaStore via JMX
• Onderhoud lastAccessTime in de Metastore
• Verbetering
• Zorg optie om een ​​koptekst exporteren
• Ondersteuning voor afzonderlijke selectie op twee of meer kolommen
• Beschrijf uitgebreide tabel / partitie uitgang is cryptisch
• Missing sommige JDBC functionaliteit zoals getTables, getColumns en HiveResultSet.get * methoden op basis van de naam kolom.
• logs tikken van kind processen
• Ondersteuning filter pushdown tegen niet-inheemse tafels
• Vervang afhankelijkheden HBase afgekeurde API
• queryid toevoegen terwijl vergrendeling
• bijwerken transident_lastDdlTime alleen indien niet opgegeven
• Voeg meer debug informatie voor bijenkorf vergrendeling
• HiveInputFormat of CombineHiveInputFormat altijd synchroniseren blokken RCFile tweemaal
• Laat het moment dat de lokale taak neemt
• Maak een nieuwe Zookeeper bijvoorbeeld bij het opnieuw proberen slot, en meer info voor debug
• Voeg een optie om de taak om te controleren draaien kaart-join mogelijkheid in niet-lokale modus
• Meer debugging voor het vergrendelen
• Voeg een optie in dynamische partitie inserts om een ​​fout te gooien als 0 partities aangemaakt
• Bugs:
• & quot; LOAD DATA LOCAL INPATH & quot; mislukt wanneer de tafel een bestand met dezelfde naam bestaat al
• NULL wordt niet behandeld correct mee te doen
• HiveInputFormat.getInputFormatFromCache & quot; zwaluwen & quot; oorzaak uitzondering als het gooien IOExcpetion
• de vooruitgang toe mee te doen en GroupBy
• Eenvoudige UDAFs met meer dan 1 parameter crash op de lege rij vraag
• UDF veld () werkt niet
• Dynamic inserts partitie met lege ongereinigde bestanden in Hadoop 0,17 lokale modus
• Sla contra-update wanneer RunningJob.getCounters () geeft null

Wat is nieuw in versie 0.5.0:.

• Laat gebruiker opgeven Serde voor aangepaste scripts
• Voeg UDF unhex.
• Verwijder lzocodec import uit FileSinkOperator.
• Driver NullPointerException bij het aanroepen getResults zonder eerst te compileren.
• Prestatieverbetering voor RCFile en ColumnarSerDe in Hive.