Beaver

Beaver egy Python démon, munches rönk, elküldi a tartalmukat logstash.
Telepítés
Használata PIP:
Re GitHub:
pip telepíteni git + git: //github.com/josegonzalez/beaver.git#egg=beaver
Re PyPI:
pip telepíteni hód == 1
Használat
Használat:
Beaver [-h] [-r {munkás, interaktív}] [-m {kötődnek, csatlakoztassa}] [-p PATH]
& Nbsp; [- f FILES [fájlok ...]] [-t KÖZLEKEDÉSI]
opcionális érvek:
-h, --help e segítség üzenetet és kilép
-r {munkás, interaktív}, --run {munkás, interaktív}
& Nbsp; futtatni munkavállaló vagy interaktív módban
-m {kötődnek, csatlakoztassa}, --mode {kötődnek, csatlakoztassa}
& Nbsp; kötődnek, vagy csatlakozni módban
-p PATH, --path PATH útvonal a napló fájlok
-f FILES [fájlok ...], --files FILES [fájlok ...]
& Nbsp; szóközzel elválasztva filelist nézni. Overrides --path
& Nbsp; érv
-t {AMQP, Redis, stdout}, --transport {AMQP, Redis, stdout}
& Nbsp; jelentkezzen közlekedési mód
Háttér
Beaver biztosít könnyű módszer hajózási helyi naplófájlok Logstash. Teszi ezt segítségével akár Redis, stdin, zeromq a közlekedés. Ez azt jelenti, szüksége lesz egy Redis, stdin, zeromq input valahol az úton, hogy az események.
Eseményeket elküldi a logstash a json_event formátumban. Opciók is be lehet állítani, mint a környezeti változók.
Példák
1. példa: Hallgasd meg az összes fájlt az alapértelmezett útvonalon a / var / log standard out:
hód
2. példa: Küldés naplók / var / log fájlokat egy Redis lista:
REDIS_URL = "Redis: // localhost: 6379/0" hód -t Redis
3. példa: A környezeti változók küldeni naplók / var / log fájlokat egy Redis lista:
REDIS_URL = "Redis: // localhost: 6379/0" BEAVER_PATH = "/ var / log" BEAVER_TRANSPORT = Redis hód
4. példa: Zeromq porton 5556 (az összes interfész):
ZEROMQ_ADDRESS = "tcp: // *: 5556" hód -m kötődnek
# Logstash config:
input {zeromq {
& Nbsp; type => 'feladó-input "
& Nbsp; mode => "ügyfél"
& Nbsp; topológia => 'PushPull "
& Nbsp; address => 'tcp: // shipperhost: 5556 "
& Nbsp;}}
kimeneti {stdout {debug => true}}
5. példa: Zeromq csatlakozik távoli port 5556 a indexer:
ZEROMQ_ADDRESS = "tcp: // indexer: 5556" hód -m csatlakozni
# Logstash config:
input {zeromq {
& Nbsp; type => 'feladó-input "
& Nbsp; mode => "szerver"
& Nbsp; topológia => 'PushPull "
& Nbsp; address => 'tcp: // *: 5556 "
& Nbsp;}}
kimeneti {stdout {debug => true}}

Mi az új ebben a kiadásban:

• Biztosítsa új fájlok kerülnek A transzport konfiguráció. Bezárja # 96. Bezárja # 101. [Jose Diaz-Gonzalez]
• Allow úszó számok update_file_mapping_time. [Jose Diaz-Gonzalez]
• Fix érvénytelen casting logikai értékeket. [Jose Diaz-Gonzalez]
• Végezze el az összes konverziót config.py. Bezárja # 99. [Jose Diaz-Gonzalez]

Mi az új verzióban 16:

• Adjon meg egy max queue mérete 100 korlátozza a túllépésre memóriát. [Jose Diaz-Gonzalez]
• A többprocesszoros kezelésére nagyobb queue méretben. [Jose Gonzalez Diaz-]
• Korábban voltak olyan kérdésekben, amelyekben a fájlokat, amelyek gyakran frissül, mint a lakk vagy szerver logok ellepték volna a naiv végrehajtása file.readlines () belül Beaver. Ez azzal járna, Beaver, hogy lassan olvassa nagyobb és nagyobb részeit a fájl feldolgozása előtt minden a sorok, ami végül Beaver, hogy örökre feldolgozni naplósorok.
• Ez a javítás növeli a képességet, hogy egy belső munka sorban log sorokat. Amikor file.readlines () hívják, a sorok kerülnek a sorban, amely megosztja a gyermek folyamat. A gyermek folyamat megteremti a maga közlekedés, amely lehetővé teszi számunkra, hogy potenciálisan létre egy folyamat Pool a jövőben kezelni a nagyobb queue mérete.
• Ne feledje, hogy a korlátozás a file.readlines () olvasatban túl sok sor még ma is létezik, és továbbra is problémákat okoz az egyes naplófájlok.
• Add alapértelmezett redis_password a BeaverConfig osztályban. [Jose Diaz-Gonzalez]
• Fix hiányzik aláhúzás okozó közlekedési megtörni. [Norman Joyner]
• Végre Redis auth támogatást. [Norman Joyner]
• Add hód init script daemonization módban. [Jose Diaz-Gonzalez]
• Python logger használatával StdoutTransport. [Jose Diaz-Gonzalez]
• Add rövid arg zászlók hostname és formátumban. [Jose Diaz-Gonzalez]
• Adja hozzá a képessége, hogy vonul a háttérbe. Bezárja # 79. [Jose Diaz-Gonzalez]
• áthaladnak egy logger például, hogy mindenfajta szállítását. [Jose Diaz-Gonzalez]
• Visszatérés & quot; hozzá egy könnyű Event class & quot; [Jose Diaz-Gonzalez]
• mérlegelést követően, hód azt jelentette, hogy & quot; könnyű & quot ;. Lehetővé teszi, hogy elhagyják a nehéz üti a nagyfiúk.
• Ez visszatér elkövetni 1619d33ef4803c3fe910cf4ff197d0dd0039d2eb.
• Hozzáadás egy könnyű Event osztály. [Jose Diaz-Gonzalez]
• Ez az osztály kizárólagos felelőssége lesz a feldolgozást egy adott vonalon az esemény. Ez jövőben cél az lesz, hogy egyfajta könnyű végrehajtását a szűrőrendszer belül Logstash
• Vegye argparse követelmény python 2.7 és újabb. [Jose Gonzalez Diaz-]

Mi az új verzióban 13:

• Fix egyes környezeti változók. [Jose Diaz-Gonzalez]
• SSH Tunnel támogatás. [Jose Diaz-Gonzalez]
• Ez a kód lehetővé teszi számunkra, hogy hozzon létre egy ssh tunnel két különálló szerverek céljára adatok küldésére és fogadására.
• Ez hasznos lehet bizonyos esetekben, amikor egyébként szükség fehérlistára tűzfala vagy iptables beállítás, például amikor fut a két különböző régiók AWS.
• figyelmbe kezdeti kapcsolat lag. Hasznos, ha vár egy SSH proxy csatlakozni. [Jose Diaz-Gonzalez]
• Fix kérdés, ahol bizonyos config defaults voltak a nem megfelelő értéket. [Jose Diaz-Gonzalez]
• Allow megadásával fogadó keresztül zászlót. Bezárja # 70. [Jose Diaz-Gonzalez]

követelmények :

• Python