17 Feb
2015
17 Feb
'15
8:20 p.m.
Jo a ne :) Nemam jeden rabbitmq. Kazda aplikacni VPS ma svuj vlastni
rabbitmq, kam loguje aplikace lokalne. Ano, ten kdyz padne, tak logy
netecou. Ale od toho je tam monit, aby ho autorestartoval. Tyhle "lokalni"
rabbity to pres federated queues posilaji na centralni rabbit, ktery to
predava logstashi. Kdyz padne tenhle centralni rabbit, tak logy zustavaji v
lokalnich rabbitech, dokud zase monit nenahodi ten centralni a pak se to
dopresune. Stejne tak kdyz spadne spojeni - logy se hromadi v lokalnim
rabbitmq a az se spojeni obnovi, logy se dosypou na centralni storage.
Ano, je pravda ze ze ten muj setup resi jenom agregaci logu a nejakou
jednoduchou analyzu a nejaky dohledavani co se kde pokazilo delam rucne, ale
zatim mi to staci.
Ondra Flidr
---------- Původní zpráva ----------
Od: Viktor Hronec <zamr666(a)gmail.com>
Komu: vpsFree.cz Community list <community-list(a)lists.vpsfree.cz>
Datum: 17. 2. 2015 20:26:57
Předmět: Re: [vpsFree.cz: community-list] Hromadné logování
"
Ked ti padne rabbitmq tak asi logy netecu, nie? Ja riesim podobny stack,
akorat miesto logstash pouzivam nxlog kvoli vykonu, predsalen nxlog je v
Ccku, logstash je JRuby. Navyse nxlog na aplikacnom serveri ti dokaze
posielat periodicky spravy, podla ktorych vies nasledne zistit ked ti
vypadne spojenie a pod. Dalej ak chce clovek riesit nejaku korelaciu logov,
tak logstash funguje prakticky stateless, kazdy event prijde s cistym
stitom, nxlog ma na toto dobre moduly a ak treba nejaky fakt mocny
processing tak ma interface k perlu. A jednoducho sa daju nahodit buffre
medzi klienta a logserver, medzi logserver a elasticsearch, atd. Co sa tyka
bezpecnosti tak u nas sa to riesi tiez cez reverse proxy, autentifikaciu
voci LDAPu a aliasy v Elasticsearch.
On Feb 17, 2015 7:36 PM, "Ondrej.Flidr" <Ondrej.Flidr(a)seznam.cz
(mailto:Ondrej.Flidr@seznam.cz)> wrote:
"
Hoj,
resim to asi pro 100 stroju ve dvou datacentrech pomoci rabbitmq, logstashe,
elasticsearch a kibany. Syslogovy zpravy se posilaji primo do logstashe,
aplikace loguje do rabbitmq, ze ktereho si to logstash cte (pokud umre
logstash, logy zustanou v rabbitu). Logstash to potom uklada to
elasticsearch a nad tim jako interface sedi Kibana.
Chce to trochu hacknout bezpecnost (mezi elastic a kibanu je potreba vrazit
nejakou http proxy s authentizaci) ale funguje to luxusne. Tece mi v tom
celkove kolem 10000 zprav / minutu a cokoliv muze spadnout aniz by to
ohrozilo zbytek.
Ondra Flidr
---------- Původní zpráva ----------
Od: Jindřich Sadílek <jindrich.sadilek(a)gmail.com
(mailto:jindrich.sadilek@gmail.com)>
Komu: community-list(a)lists.vpsfree.cz
(mailto:community-list@lists.vpsfree.cz)
Datum: 17. 2. 2015 18:56:18
Předmět: [vpsFree.cz: community-list] Hromadné logování
"
Ahoj,
řešítě nějak logování z více serverů současně na jednom místě? Syslogy
mívají tyhle funkce nativně, ale když bych tam chtěl mít i logy z
webaplikací,... z více mašin. Ideálně něco rovnou s nástrojem na rozumné
prohledávání / zobrazování / porovnávaní. Nic proti čistému textu :)
Díky, Jindra
_______________________________________________
Community-list mailing list
Community-list@lists.vpsfree.cz(mailto:Community-list@lists.vpsfree.cz)
http://lists.vpsfree.cz/listinfo/community-list
(http://lists.vpsfree.cz/listinfo/community-list)"
_______________________________________________
Community-list mailing list
Community-list@lists.vpsfree.cz(mailto:Community-list@lists.vpsfree.cz)
http://lists.vpsfree.cz/listinfo/community-list
(http://lists.vpsfree.cz/listinfo/community-list)
"
_______________________________________________
Community-list mailing list
Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list"