Hoj, resim to asi pro 100 stroju ve dvou datacentrech pomoci rabbitmq, logstashe, elasticsearch a kibany. Syslogovy zpravy se posilaji primo do logstashe, aplikace loguje do rabbitmq, ze ktereho si to logstash cte (pokud umre logstash, logy zustanou v rabbitu). Logstash to potom uklada to elasticsearch a nad tim jako interface sedi Kibana. Chce to trochu hacknout bezpecnost (mezi elastic a kibanu je potreba vrazit nejakou http proxy s authentizaci) ale funguje to luxusne. Tece mi v tom celkove kolem 10000 zprav / minutu a cokoliv muze spadnout aniz by to ohrozilo zbytek. Ondra Flidr ---------- Původní zpráva ---------- Od: Jindřich Sadílek <jindrich.sadilek(a)gmail.com> Komu: community-list(a)lists.vpsfree.cz Datum: 17. 2. 2015 18:56:18 Předmět: [vpsFree.cz: community-list] Hromadné logování Ahoj, řešítě nějak logování z více serverů současně na jednom místě? Syslogy mívají tyhle funkce nativně, ale když bych tam chtěl mít i logy z webaplikací,... z více mašin. Ideálně něco rovnou s nástrojem na rozumné prohledávání / zobrazování / porovnávaní. Nic proti čistému textu :) Díky, Jindra _______________________________________________ Community-list mailing list Community-list(a)lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list _______________________________________________ Community-list mailing list Community-list(a)lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list

Jo a ne :) Nemam jeden rabbitmq. Kazda aplikacni VPS ma svuj vlastni rabbitmq, kam loguje aplikace lokalne. Ano, ten kdyz padne, tak logy netecou. Ale od toho je tam monit, aby ho autorestartoval. Tyhle "lokalni" rabbity to pres federated queues posilaji na centralni rabbit, ktery to predava logstashi. Kdyz padne tenhle centralni rabbit, tak logy zustavaji v lokalnich rabbitech, dokud zase monit nenahodi ten centralni a pak se to dopresune. Stejne tak kdyz spadne spojeni - logy se hromadi v lokalnim rabbitmq a az se spojeni obnovi, logy se dosypou na centralni storage. Ano, je pravda ze ze ten muj setup resi jenom agregaci logu a nejakou jednoduchou analyzu a nejaky dohledavani co se kde pokazilo delam rucne, ale zatim mi to staci. Ondra Flidr ---------- Původní zpráva ---------- Od: Viktor Hronec &lt;zamr666(a)gmail.com&gt; Komu: vpsFree.cz Community list &lt;community-list(a)lists.vpsfree.cz&gt; Datum: 17. 2. 2015 20:26:57 Předmět: Re: [vpsFree.cz: community-list] Hromadné logování Ked ti padne rabbitmq tak asi logy netecu, nie? Ja riesim podobny stack, akorat miesto logstash pouzivam nxlog kvoli vykonu, predsalen nxlog je v Ccku, logstash je JRuby. Navyse nxlog na aplikacnom serveri ti dokaze posielat periodicky spravy, podla ktorych vies nasledne zistit ked ti vypadne spojenie a pod. Dalej ak chce clovek riesit nejaku korelaciu logov, tak logstash funguje prakticky stateless, kazdy event prijde s cistym stitom, nxlog ma na toto dobre moduly a ak treba nejaky fakt mocny processing tak ma interface k perlu. A jednoducho sa daju nahodit buffre medzi klienta a logserver, medzi logserver a elasticsearch, atd. Co sa tyka bezpecnosti tak u nas sa to riesi tiez cez reverse proxy, autentifikaciu voci LDAPu a aliasy v Elasticsearch. On Feb 17, 2015 7:36 PM, "Ondrej.Flidr" &lt;Ondrej.Flidr(a)seznam.cz <mailto:Ondrej.Flidr@seznam.cz>> wrote: Hoj, resim to asi pro 100 stroju ve dvou datacentrech pomoci rabbitmq, logstashe, elasticsearch a kibany. Syslogovy zpravy se posilaji primo do logstashe, aplikace loguje do rabbitmq, ze ktereho si to logstash cte (pokud umre logstash, logy zustanou v rabbitu). Logstash to potom uklada to elasticsearch a nad tim jako interface sedi Kibana. Chce to trochu hacknout bezpecnost (mezi elastic a kibanu je potreba vrazit nejakou http proxy s authentizaci) ale funguje to luxusne. Tece mi v tom celkove kolem 10000 zprav / minutu a cokoliv muze spadnout aniz by to ohrozilo zbytek. Ondra Flidr ---------- Původní zpráva ---------- Od: Jindřich Sadílek &lt;jindrich.sadilek(a)gmail.com <mailto:jindrich.sadilek@gmail.com>> Komu: community-list(a)lists.vpsfree.cz <mailto:community-list@lists.vpsfree.cz> Datum: 17. 2. 2015 18:56:18 Předmět: [vpsFree.cz: community-list] Hromadné logování Ahoj, řešítě nějak logování z více serverů současně na jednom místě? Syslogy mívají tyhle funkce nativně, ale když bych tam chtěl mít i logy z webaplikací,... z více mašin. Ideálně něco rovnou s nástrojem na rozumné prohledávání / zobrazování / porovnávaní. Nic proti čistému textu :) Díky, Jindra _______________________________________________ Community-list mailing list Community-list(a)lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list _______________________________________________ Community-list mailing list Community-list(a)lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list _______________________________________________ Community-list mailing list Community-list(a)lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list _______________________________________________ Community-list mailing list Community-list(a)lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list -----BEGIN PGP SIGNATURE----- Version: GnuPG v1 iF4EAREIAAYFAlTjo88ACgkQgRwOVqYrsFWi6wD8CRoVYFH5azceuPHJpvBX9Acf OEyJc1bE8TRyv9knSzYA/jhBGOY6b6W3h8AaydIMAEccQMoMPcmuS+PSgimn6oYv =1Wp+ -----END PGP SIGNATURE-----