Ked ti padne rabbitmq tak asi logy netecu, nie? Ja riesim podobny stack, akorat miesto logstash pouzivam nxlog kvoli vykonu, predsalen nxlog je v Ccku, logstash je JRuby. Navyse nxlog na aplikacnom serveri ti dokaze posielat periodicky spravy, podla ktorych vies nasledne zistit ked ti vypadne spojenie a pod. Dalej ak chce clovek riesit nejaku korelaciu logov, tak logstash funguje prakticky stateless, kazdy event prijde s cistym stitom, nxlog ma na toto dobre moduly a ak treba nejaky fakt mocny processing tak ma interface k perlu. A jednoducho sa daju nahodit buffre medzi klienta a logserver, medzi logserver a elasticsearch, atd. Co sa tyka bezpecnosti tak u nas sa to riesi tiez cez reverse proxy, autentifikaciu voci LDAPu a aliasy v Elasticsearch.
Hoj,
resim to asi pro 100 stroju ve dvou datacentrech pomoci rabbitmq, logstashe, elasticsearch a kibany. Syslogovy zpravy se posilaji primo do logstashe, aplikace loguje do rabbitmq, ze ktereho si to logstash cte (pokud umre logstash, logy zustanou v rabbitu). Logstash to potom uklada to elasticsearch a nad tim jako interface sedi Kibana.
Chce to trochu hacknout bezpecnost (mezi elastic a kibanu je potreba vrazit nejakou http proxy s authentizaci) ale funguje to luxusne. Tece mi v tom celkove kolem 10000 zprav / minutu a cokoliv muze spadnout aniz by to ohrozilo zbytek.
Ondra Flidr---------- Původní zpráva ----------
Od: Jindřich Sadílek <jindrich.sadilek@gmail.com>
Komu: community-list@lists.vpsfree.cz
Datum: 17. 2. 2015 18:56:18
Předmět: [vpsFree.cz: community-list] Hromadné logování_______________________________________________Ahoj,řešítě nějak logování z více serverů současně na jednom místě? Syslogy mívají tyhle funkce nativně, ale když bych tam chtěl mít i logy z webaplikací,... z více mašin. Ideálně něco rovnou s nástrojem na rozumné prohledávání / zobrazování / porovnávaní. Nic proti čistému textu :)Díky, Jindra
Community-list mailing list
Community-list@lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________
Community-list mailing list
Community-list@lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list