Apache Hadoop is in eerste instantie ontwikkeld door Yahoo en het project is een combinatie tussen de vorige Apache Hadoop Core en Apache Hadoop Common repo's.
Het Hadoop-project heeft veel bekendheid verworven dankzij haar goede resultaten bij de uitvoering van een multi-server distributed computing-systeem voor het verwerken van grote hoeveelheden data.
Het project zelf is eigenlijk gemaakt uit vier delen. Een daarvan is Hadoop Common, de zogenaamde kern die het mogelijk maakt alle andere modules aan het werk, de tweede is een eigen bestandssysteem - HDFS (Hadoop Distributed File System), de derde is de Hadoop YARN planning kader, en ten slotte is er het Hadoop MapReduce systeem voor het ondersteunen van parallel computing.
Met behulp van deze baanbrekende systeem, heeft de Apache erin geslaagd om een groot aantal andere kant projecten, zoals te maken:
- Apache Ambari
- Apache Avro
- Apache Cassandra
- Apache HBase
- Apache Hive
- Apache Mahout
- Apache varken
- Apache Spark
- Apache Tez
- Apache Zookeeper
Al deze rekenen op Hadoop krachtige data processing engine of zijn distributed computing functies, de integratie van een van de modules in hun kern een of andere manier.
Wat is nieuw in deze release:
- Ondersteuning voor archivering
- Transparante data in rust encryptie (beta)
- Bedrijfsresultaat beveiligde DataNode zonder root-toegang
- Hot swap schijf: ondersteuning toe te voegen / verwijderen van data knooppunt volumes zonder opnieuw op te starten data knooppunt (beta)
- AES ondersteuning voor snellere draad encryptie
- Ondersteuning voor lange lopende diensten in garen
- Ondersteuning knooppunt labels tijdens het plannen
- Ondersteuning voor op tijd gebaseerde resource reserveren in Capacity Planner (beta)
- Global, gedeelde cache voor toepassing artefacten (beta)
- Ondersteuning werking van applicaties in native Docker containers (alpha)
Wat is nieuw in versie 2.7.1:
- Ondersteuning voor archivering
- Transparante data in rust encryptie (beta)
- Bedrijfsresultaat beveiligde DataNode zonder root-toegang
- Hot swap schijf: ondersteuning toe te voegen / verwijderen van data knooppunt volumes zonder opnieuw op te starten data knooppunt (beta)
- AES ondersteuning voor snellere draad encryptie
- Ondersteuning voor lange lopende diensten in garen
- Ondersteuning knooppunt labels tijdens het plannen
- Ondersteuning voor op tijd gebaseerde resource reserveren in Capacity Planner (beta)
- Global, gedeelde cache voor toepassing artefacten (beta)
- Ondersteuning werking van applicaties in native Docker containers (alpha)
Wat is nieuw in versie 2.7.0:
- Ondersteuning voor archivering
- Transparante data in rust encryptie (beta)
- Bedrijfsresultaat beveiligde DataNode zonder root-toegang
- Hot swap schijf: ondersteuning toe te voegen / verwijderen van data knooppunt volumes zonder opnieuw op te starten data knooppunt (beta)
- AES ondersteuning voor snellere draad encryptie
- Ondersteuning voor lange lopende diensten in garen
- Ondersteuning knooppunt labels tijdens het plannen
- Ondersteuning voor op tijd gebaseerde resource reserveren in Capacity Planner (beta)
- Global, gedeelde cache voor toepassing artefacten (beta)
- Ondersteuning werking van applicaties in native Docker containers (alpha)
Wat is nieuw in versie 2.6.0:
- Ondersteuning voor archivering
- Transparante data in rust encryptie (beta)
- Bedrijfsresultaat beveiligde DataNode zonder root-toegang
- Hot swap schijf: ondersteuning toe te voegen / verwijderen van data knooppunt volumes zonder opnieuw op te starten data knooppunt (beta)
- AES ondersteuning voor snellere draad encryptie
- Ondersteuning voor lange lopende diensten in garen
- Ondersteuning knooppunt labels tijdens het plannen
- Ondersteuning voor op tijd gebaseerde resource reserveren in Capacity Planner (beta)
- Global, gedeelde cache voor toepassing artefacten (beta)
- Ondersteuning werking van applicaties in native Docker containers (alpha)
Wat is nieuw in versie 2.5.0:.
- Authentication verbeteringen bij het gebruik van een HTTP proxy-server
- Een nieuwe Hadoop Metrics gootsteen die direct maakt schriftelijk aan Graphite.
- Specificatie voor Hadoop Compatibel bestandssysteem inspanning.
- Ondersteuning voor POSIX-stijl bestandssysteem uitgebreide attributen.
- OfflineImageViewer een fsimage via de API WebHDFS bladeren.
- Supportability verbeteringen en bug fixes voor de NFS-gateway.
- Gemoderniseerde web UI (HTML5 en Javascript) voor HDFS daemons.
- garen REST API's ondersteuning indienen en het doden van toepassingen.
- Kerberos-integratie voor het garen van de tijdlijn op te slaan.
Wat is nieuw in versie 2.4.0:
- Ondersteuning voor Access Control Lists in HDFS
- Native ondersteuning voor Rolling Upgrades in HDFS
- Het gebruik van protocol-buffers voor HDFS FSImage voor een soepele operationele upgrades
- Complete HTTPS ondersteuning in HDFS
- Ondersteuning voor automatische failover van het garen ResourceManager
- Verbeterde ondersteuning voor nieuwe toepassingen op het garen met Application Geschiedenis Server en Application Server Timeline
- Ondersteuning voor een sterke SLA's in YARN CapacityScheduler via Preemption
Wat is nieuw in versie 2.3.0:.
- Ondersteuning voor heterogene storage-hiërarchie in HDFS
- In-memory cache voor HDFS data met gecentraliseerd bestuur en beheer.
- Vereenvoudigde distributie van MapReduce binaries via HDFS in YARN Distributed Cache.
Wat is nieuw in versie 2.2.0:
- YARN - Een algemene doeleinden resource management systeem voor Hadoop om MapReduce en andere andere gegevensverwerking frameworks en diensten mogelijk te maken
- High Availability voor HDFS
- HDFS Federation
- HDFS Snapshots
- NFSv3 toegang tot de gegevens in HDFS
Wat is nieuw in versie 2.1.0-beta:
- HDFS Snapshots
- Ondersteuning voor het draaien van Hadoop op Microsoft Windows
- YARN API stabilisatie
Wat is nieuw in versie 2.0.3-alpha:
- qjm Functiecode voor HDFS HA voor NameNode
- Multi-resource planning (CPU en geheugen) voor het garen
- YARN ResourceManager Restart
- Significant stabiliteit op schaal voor garen (meer dan 30.000 knooppunten en 14 miljoen applicaties tot nu toe, op het moment van release)
Wat is nieuw in versie 1.0.0:.
- Betere beveiliging
- HBase (voeg / hsynch / hflush, en veiligheid).
- webhdfs (met volledige ondersteuning voor veiligheid).
- Prestaties betere toegang tot lokale bestanden voor HBase.
- Andere prestatieverbeteringen, bug fixes, en functies.
Wat is nieuw in versie 0.20.2:
- RPC Server send buffer behoudt de grootte van de grootste respons ooit verzonden.
- C ++ bibliotheken niet bouwen op Debian Lenny.
- Sommige c ++ scripts worden niet CHMOD voordat ant uitvoering.
- Streaming:. Proces voorzien statusberichten worden overschreven elke 10 seoncds
- IllegalArgumentException wanneer CombineFileInputFormat wordt gebruikt als opdracht InputFormat.
- Meerdere bugs w / Hadoop archieven.
- Laat caching van bestandssysteem gevallen te zijn uitgeschakeld op een per-geval basis.
- Missing synchronisatie voor defaultResources in Configuration.addResource.
- GzipCodec mag niet BuiltInZlibInflater vertegenwoordigen als decompressorType.
- NameNode's HttpServer kan niet instantiëren InetSocketAddress: IllegalArgumentException wordt geworpen .
- HttpServer slaapt met negatieve waarden.
- Namenode loopt van uit het geheugen als gevolg van geheugenlek in ipc Server.
- IPC client bug kan veroorzaken rpc call te hangen.
- Bij gebreke van proeven te voorkomen dat de rest van de test doelstellingen van de uitvoering.
- Contrib tests worden niet Clover'ed te bouwen.
- Tests niet draaien op 0.20 tak.
- TestStreamingStatus faalt op 0.20 tak.
Reacties niet gevonden