Apache Flume

Apache Flume ontwikkeld als tussenschakel systeem logs verzamelt van een applicatie en levert deze naar een andere.
Het zou moeten werken met de meeste Java-toepassingen en ontwikkelaars moeten er zeker van zijn, Flume beschermd tegen gegevensverlies en service mislukking.
Log data wordt in real-time gestreamd via fouttolerante systemen met ondersteuning voor vele failover en herstel mechanismen.
Omdat Flume loopt vanaf één centrale locatie, kunnen ontwikkelaars gemakkelijk beheren en ook tikken in haar middelen voor de statistieken en analyses doeleinden.
Een verborgen functie van Flume is de werkelijke "data-agnostisch" systeem. Dit betekent dat u gemakkelijk de bron een datastroom het overschakelen van een log output naar iets anders en gebruik Flume om veilig geaggregeerde informatie uit verschillende soorten diensten.
Dit kunnen e-mailberichten, sociale media streams, netwerkverkeer, en ga zo maar door

Wat is nieuw in deze release:.

• verwijderen SSLv2Hello veroorzaakt Java 6 cliënten te breken
• Inschakelen SSLv2Hello voor Avro Bron en NettyAvroRpcClient
• Inschakelen SSLv2Hello voor HttpSource
• Toegevoegd dev-ondersteuning aan src tarball
• Unit-test TestHTTPSource.java mislukt met IBM JDK 1.7
• HTTP Source moet in staat zijn om een ​​vooraf reeks protocollen te blokkeren.
• HTTPS testen niet op Java 6
• Laat de configuratie van de ingeschakelde protocollen Avro bron en de RPC-client

Wat is nieuw in versie 1.5.2:

• Het verwijderen SSLv2Hello veroorzaakt Java 6 klanten
• Inschakelen SSLv2Hello voor Avro Bron en NettyAvroRpcClient
• Inschakelen SSLv2Hello voor HttpSource
• Toegevoegd dev-ondersteuning aan src tarball
• Unit-test TestHTTPSource.java mislukt met IBM JDK 1.7
• HTTP Source moet in staat zijn om een ​​vooraf reeks protocollen te blokkeren.
• HTTPS testen niet op Java 6
• Laat de configuratie van de ingeschakelde protocollen Avro bron en de RPC-client

Wat is nieuw in versie 1.5.0:

• Nieuwe functie:
• Introduceer een soort SpillableChannel
• Laat SpoolDir om alleen de bestandsnaam dat de bron is van een gebeurtenis
passeren
• Flume Context ondersteunt niet float of dubbele configuratie waarden.
• Upgrade morphlines naar 0.7.0
• goot-ng-log4jappender Ondersteuning gebruiker geleverde headers
• Elasticsearch Sink voor ES HTTP API
• Voegde een gootsteen voor Kite Datasets
• Spooling directory moet niet altijd eerst verbruikt de oudste bestand.
• Verbetering
• Flume Handleiding monster configuraties hoeven vaststelling
• Maak SpoolDir werken met Sub-Directories
• Spooling directory bron zou moeten kunnen vervangen of negeren misvormde tekens
• Handle grotere ladingen via SyslogUDPSource
• Upgrade morphline bibliotheek afhankelijkheid naar een 0.5.0 versie
• Het verminderen van dubbele gebeurtenissen veroorzaakt door reset-aansluiting-interval

Wat is nieuw in versie 1.3.0:

• Toegevoegd HTTP bericht Bron
• ElasticSearch Sink
• Flume bericht te nemen van de bestaande lokale Scribe
• Toegevoegd een multipoort syslog bron
• Bestand Channel moet encryptie ondersteunen
• Maak een SpoolDirectory Bron en Client
• Load Balancing RPC klant moet exponentiële backoff mislukte nodes ondersteunen
• stortplaats tellerstand RollingFileSink wanneer middel stopt
• Regex Extractor Interceptor

Wat is nieuw in versie 1.2.0:

• Implementatie van een Duurzame Memory Channel
• Gemaakt ontwikkelaar gids voor Flume NG
• Client SDK
• Implementatie van een duurzame FileChannel
• Implemented Interceptors (voorheen bekend als decorateurs) voor Flume 1.x
• Uitgevoerd een HBase Sink die steunt toegang tafel niveau
• Implemented Timestamp Interceptor
• Asynchronous HBase Sink

Eisen

• Java 1.6 of hoger