Beaver

Beaver is een Python-daemon die smakt op logs en stuurt de inhoud te logstash.
installatie
Met behulp van PIP:
Van Github:
pip installeren git + git: //github.com/josegonzalez/beaver.git#egg=beaver
Van PyPI:
pip bever installeren == 1
Gebruik
gebruik:
bever [-h] [-r {werknemer, interactieve}] [-m {binden, verbinden}] [-p PATH]
& Nbsp; [- f FILES [FILES ...]] [-t TRANSPORT]
optionele argumenten:
-h, --help deze hulp bericht en afrit tonen
-r {arbeider, interactieve}, {--run arbeider, interactieve}
& Nbsp; draaien werker of interactieve modus
-m {binden, verbinden}, {--mode binden, verbinden}
& Nbsp; binden of connect mode
-p PATH, --path PATH pad naar logbestanden
-f FILES [FILES ...], --files FILES [FILES ...]
& Nbsp; door spaties gescheiden filelist om naar te kijken. Overrides --path
& Nbsp; argument
-t {AMQP, redis, stdout}, {--transport amqp, redis, stdout}
& Nbsp; log transportmethode
Achtergrond
Bever zorgt voor een lichtgewicht methode voor het verschepen van lokale logbestanden te Logstash. Het doet dit met behulp van redis, stdin, zeromq als het transport. Dit betekent dat u een redis ingang ergens nodig, stdin, zeromq op de weg om de gebeurtenissen te krijgen.
Gebeurtenissen worden verzonden in json_event formaat logstash's. Opties kunnen ook worden ingesteld als omgevingsvariabelen.
Voorbeelden
Voorbeeld 1: Luister naar alle bestanden in de standaard pad van / var / log op standaard uit:
bever
Voorbeeld 2: Het verzenden van logs van / var / log bestanden naar een redis lijst:
REDIS_URL = "redis: // localhost: 6379/0" bever -t redis
Voorbeeld 3: Gebruik omgevingsvariabelen om logs te sturen van / var / log bestanden naar een redis lijst:
REDIS_URL = "redis: // localhost: 6379/0" BEAVER_PATH = "/ var / log" BEAVER_TRANSPORT = redis bever
Voorbeeld 4: Zeromq luisteren op poort 5556 (alle interfaces):
ZEROMQ_ADDRESS = "tcp: // *: 5556" bever -m binden
# Logstash config:
ingang {zeromq {
& Nbsp; type => 'verlader-input'
& Nbsp; mode => 'klant'
& Nbsp; topologie => 'pushpull'
& Nbsp;-adres => 'tcp: // shipperhost: 5556'
& Nbsp;}}
uitgang {stdout {debug => true}}
Voorbeeld 5: Zeromq verbinden met externe poort 5556 op indexer:
ZEROMQ_ADDRESS = "tcp: // indexer: 5556" bever -m verbinden
# Logstash config:
ingang {zeromq {
& Nbsp; type => 'verlader-input'
& Nbsp; mode => 'server'
& Nbsp; topologie => 'pushpull'
& Nbsp;-adres => 'tcp: // *: 5556'
& Nbsp;}}
uitgang {stdout {debug => true}}

Wat is nieuw in deze release:

• Zorg ervoor dat er nieuwe bestanden worden toegevoegd aan een transporteert configuratie. Sluit # 96. Sluit # 101. [Jose Diaz-Gonzalez]
• Laat float nummers voor update_file_mapping_time. [Jose Diaz-Gonzalez]
• Fix ongeldig gieten van boolean waarden. [Jose Diaz-Gonzalez]
• Voer alle omzettingen in config.py. Sluit # 99. [Jose Diaz-Gonzalez]

Wat is nieuw in versie 16:

• Geef een max wachtrij grootte van 100 tot beperking overschrijding geheugen. [Jose Diaz-Gonzalez]
• Gebruik multiverwerking voor het hanteren van grotere wachtrij maten. [Jose Diaz- Gonzalez]
• Voorheen waren er problemen waar de bestanden die vaak zulke werden bijgewerkt als vernis of server logs de naïeve implementatie van file.readlines () binnen de Bever zou overweldigen. Dit zou leiden tot de Bever om langzaam te lezen steeds grotere delen van een bestand vóór de verwerking van elk van de lijnen, waardoor uiteindelijk de bever te nemen voor eeuwig log lijnen verwerken.
• Dit patch voegt de mogelijkheid om een ​​interne werkwachtrij gebruiken voor log lijnen. Wanneer file.readlines () wordt aangeroepen, worden de lijnen in de wachtrij geplaatst, die wordt gedeeld met een kind proces. Het kind proces creëert haar eigen vervoer, waardoor we in potentie een proces Pool in de toekomst te creëren om een ​​grotere wachtrij formaat te verwerken.
• Merk op dat de beperking van file.readlines () lezen in te veel lijnen bestaat nog steeds, en kunnen blijven problemen voor bepaalde logbestanden veroorzaken.
• Voeg default redis_password aan BeaverConfig klasse. [Jose Diaz-Gonzalez]
• Fix ontbrekende underscore waardoor vervoer te breken. [Norman Joyner]
• Implementeren redis auth ondersteuning. [Norman Joyner]
• Voeg bever init script voor daemonization modus. [Jose Diaz-Gonzalez]
• Gebruik python logger bij het gebruik van StdoutTransport. [Jose Diaz-Gonzalez]
• Voeg korte arg vlaggen voor hostnaam en het formaat. [Jose Diaz-Gonzalez]
• Voeg de mogelijkheid om daemonisern. Sluit # 79. [Jose Diaz-Gonzalez]
• Pas rond een logger bijvoorbeeld om alle transporten. [Jose Diaz-Gonzalez]
• Revert & quot; Toegevoegd een lichtgewicht Event klasse & quot; [Jose Diaz-Gonzalez]
• Na beraadslaging, bever is bedoeld om quot zijn &; lichte gewicht & quot ;. Hiermee laat de zware slaan om de grote jongens.
• Dit keert plegen 1619d33ef4803c3fe910cf4ff197d0dd0039d2eb.
• Toegevoegd een lichtgewicht Event klasse. [Jose Diaz-Gonzalez]
• uitsluitende verantwoordelijkheid Deze klasse zal de veredeling van een bepaalde lijn als een gebeurtenis zijn. Het is toekomst doel zal zijn als een lichte uitvoering van het filtersysteem in Logstash
• Verwijder argparse eis voor python 2.7 en hoger. [Jose Diaz- Gonzalez]

Wat is nieuw in versie 13:

• Fixed bepaalde omgevingsvariabelen. [Jose Diaz-Gonzalez]
• SSH Tunnel Ondersteuning. [Jose Diaz-Gonzalez]
• Deze code moet ons toelaten om een ​​ssh tunnel tussen twee verschillende servers te creëren ten behoeve van het verzenden en ontvangen van gegevens.
• Dit is handig in bepaalde gevallen waar u anders zou moeten whitelist in uw firewall of iptables setup, zoals bij het lopen in twee verschillende regio's op AWS.
• Laat bij eerste aansluiting lag. Handig bij het wachten op een SSH proxy aan te sluiten. [Jose Diaz-Gonzalez]
• Fix probleem waarbij bepaalde config defaults waren van een onjuiste waarde. [Jose Diaz-Gonzalez]
• Laat het specificeren gastheer via vlag. Sluit # 70. [Jose Diaz-Gonzalez]

Eisen

• Python