[vpsFree.cz: community-list] Hromadné logování

[Ondrej.Flidr]

Jo a ne :) Nemam jeden rabbitmq. Kazda aplikacni VPS ma svuj vlastni 
rabbitmq, kam loguje aplikace lokalne. Ano, ten kdyz padne, tak logy 
netecou. Ale od toho je tam monit, aby ho autorestartoval. Tyhle "lokalni" 
rabbity to pres federated queues posilaji na centralni rabbit, ktery to 
predava logstashi. Kdyz padne tenhle centralni rabbit, tak logy zustavaji v 
lokalnich rabbitech, dokud zase monit nenahodi ten centralni a pak se to 
dopresune. Stejne tak kdyz spadne spojeni - logy se hromadi v lokalnim 
rabbitmq a az se spojeni obnovi, logy se dosypou na centralni storage.

Ano, je pravda ze ze ten muj setup resi jenom agregaci logu a nejakou 
jednoduchou analyzu a nejaky dohledavani co se kde pokazilo delam rucne, ale
zatim mi to staci.

Ondra Flidr


---------- Původní zpráva ----------
Od: Viktor Hronec <zamr666 at gmail.com>
Komu: vpsFree.cz Community list <community-list at lists.vpsfree.cz>
Datum: 17. 2. 2015 20:26:57
Předmět: Re: [vpsFree.cz: community-list] Hromadné logování

"

Ked ti padne rabbitmq tak asi logy netecu, nie? Ja riesim podobny stack, 
akorat miesto logstash pouzivam nxlog kvoli vykonu, predsalen nxlog je v 
Ccku, logstash je JRuby. Navyse nxlog na aplikacnom serveri ti dokaze 
posielat periodicky spravy, podla ktorych vies nasledne zistit ked ti 
vypadne spojenie a pod. Dalej ak chce clovek riesit nejaku korelaciu logov, 
tak logstash funguje prakticky stateless, kazdy event prijde s  cistym 
stitom, nxlog ma na toto dobre moduly a ak treba nejaky fakt mocny 
processing tak ma interface k perlu. A jednoducho sa daju nahodit buffre 
medzi klienta a logserver, medzi logserver a elasticsearch, atd. Co sa tyka 
bezpecnosti tak u nas sa to riesi tiez cez reverse proxy, autentifikaciu 
voci LDAPu a aliasy v Elasticsearch. 

On Feb 17, 2015 7:36 PM, "Ondrej.Flidr" <Ondrej.Flidr at seznam.cz
(mailto:Ondrej.Flidr at seznam.cz)> wrote:
"
Hoj,
resim to asi pro 100 stroju ve dvou datacentrech pomoci rabbitmq, logstashe,
elasticsearch a kibany. Syslogovy zpravy se posilaji primo do logstashe, 
aplikace loguje do rabbitmq, ze ktereho si to logstash cte (pokud umre 
logstash, logy zustanou v rabbitu). Logstash to potom uklada to 
elasticsearch a nad tim jako interface sedi Kibana.

Chce to trochu hacknout bezpecnost (mezi elastic a kibanu je potreba vrazit 
nejakou http proxy s authentizaci) ale funguje to luxusne. Tece mi v tom 
celkove kolem 10000 zprav / minutu a cokoliv muze spadnout aniz by to 
ohrozilo zbytek.

Ondra Flidr



---------- Původní zpráva ----------
Od: Jindřich Sadílek <jindrich.sadilek at gmail.com
(mailto:jindrich.sadilek at gmail.com)>
Komu: community-list at lists.vpsfree.cz
(mailto:community-list at lists.vpsfree.cz)
Datum: 17. 2. 2015 18:56:18
Předmět: [vpsFree.cz: community-list] Hromadné logování

"

Ahoj,


 
 
řešítě nějak logování z více serverů současně na jednom místě? Syslogy 
mívají tyhle funkce nativně, ale když bych tam chtěl mít i logy z 
webaplikací,... z více mašin. Ideálně něco rovnou s nástrojem na rozumné 
prohledávání / zobrazování / porovnávaní. Nic proti čistému textu :)


 
 
Díky, Jindra


_______________________________________________
Community-list mailing list
Community-list at lists.vpsfree.cz(mailto:Community-list at lists.vpsfree.cz)
http://lists.vpsfree.cz/listinfo/community-list
(http://lists.vpsfree.cz/listinfo/community-list)"

_______________________________________________
Community-list mailing list
Community-list at lists.vpsfree.cz(mailto:Community-list at lists.vpsfree.cz)
http://lists.vpsfree.cz/listinfo/community-list
(http://lists.vpsfree.cz/listinfo/community-list)

"

_______________________________________________
Community-list mailing list
Community-list at lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list"
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.vpsfree.cz/pipermail/community-list/attachments/20150217/3f3713a3/attachment-0002.html>