[vpsFree.cz: community-list] Hromadné logování

[Pavel Snajdr]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256

Velmi se mi to libi, chlapi, ocenil bych, kdybyste to nekdo
zdokumentovali na KB. Pomalu zaciname neco takovyho potrebovat taky,
preci jenom uz nemame 2 stroje.

Osobne jsem fanouskem co nejminimalistictejsiho setupu, jak to jen jde
- - cim min potreba instalovat na nody, odkud se sbira, tim lip
(thinking: rsyslog+tcp, v nasich podminkach bude chodit dobre).

Totizto blizi se doba, kdy vezmu celej base OS a preklopim ho na
stateless live system, kteryho image se bude nahravat pri bootu do
RAM, tak se hodi co nejmensi footprint.

/snajpa

On 02/17/2015 09:20 PM, Ondrej.Flidr wrote:
> Jo a ne :) Nemam jeden rabbitmq. Kazda aplikacni VPS ma svuj
> vlastni rabbitmq, kam loguje aplikace lokalne. Ano, ten kdyz padne,
> tak logy netecou. Ale od toho je tam monit, aby ho autorestartoval.
> Tyhle "lokalni" rabbity to pres federated queues posilaji na
> centralni rabbit, ktery to predava logstashi. Kdyz padne tenhle
> centralni rabbit, tak logy zustavaji v lokalnich rabbitech, dokud
> zase monit nenahodi ten centralni a pak se to dopresune. Stejne tak
> kdyz spadne spojeni - logy se hromadi v lokalnim rabbitmq a az se
> spojeni obnovi, logy se dosypou na centralni storage.
> 
> Ano, je pravda ze ze ten muj setup resi jenom agregaci logu a
> nejakou jednoduchou analyzu a nejaky dohledavani co se kde pokazilo
> delam rucne, ale zatim mi to staci.
> 
> Ondra Flidr
> 
> ---------- Původní zpráva ---------- Od: Viktor Hronec
> <zamr666 at gmail.com> Komu: vpsFree.cz Community list
> <community-list at lists.vpsfree.cz> Datum: 17. 2. 2015 20:26:57 
> Předmět: Re: [vpsFree.cz: community-list] Hromadné logování
> 
> 
> Ked ti padne rabbitmq tak asi logy netecu, nie? Ja riesim podobny 
> stack, akorat miesto logstash pouzivam nxlog kvoli vykonu,
> predsalen nxlog je v Ccku, logstash je JRuby. Navyse nxlog na
> aplikacnom serveri ti dokaze posielat periodicky spravy, podla
> ktorych vies nasledne zistit ked ti vypadne spojenie a pod. Dalej
> ak chce clovek riesit nejaku korelaciu logov, tak logstash funguje
> prakticky stateless, kazdy event prijde s  cistym stitom, nxlog ma
> na toto dobre moduly a ak treba nejaky fakt mocny processing tak
> ma interface k perlu. A jednoducho sa daju nahodit buffre medzi
> klienta a logserver, medzi logserver a elasticsearch, atd. Co sa
> tyka bezpecnosti tak u nas sa to riesi tiez cez reverse proxy, 
> autentifikaciu voci LDAPu a aliasy v Elasticsearch.
> 
> On Feb 17, 2015 7:36 PM, "Ondrej.Flidr" <Ondrej.Flidr at seznam.cz 
> <mailto:Ondrej.Flidr at seznam.cz>> wrote:
> 
> Hoj, resim to asi pro 100 stroju ve dvou datacentrech pomoci 
> rabbitmq, logstashe, elasticsearch a kibany. Syslogovy zpravy se 
> posilaji primo do logstashe, aplikace loguje do rabbitmq, ze 
> ktereho si to logstash cte (pokud umre logstash, logy zustanou v 
> rabbitu). Logstash to potom uklada to elasticsearch a nad tim jako
> interface sedi Kibana.
> 
> Chce to trochu hacknout bezpecnost (mezi elastic a kibanu je 
> potreba vrazit nejakou http proxy s authentizaci) ale funguje to 
> luxusne. Tece mi v tom celkove kolem 10000 zprav / minutu a cokoliv
> muze spadnout aniz by to ohrozilo zbytek.
> 
> Ondra Flidr
> 
> 
> ---------- Původní zpráva ---------- Od: Jindřich Sadílek
> <jindrich.sadilek at gmail.com <mailto:jindrich.sadilek at gmail.com>> 
> Komu: community-list at lists.vpsfree.cz 
> <mailto:community-list at lists.vpsfree.cz> Datum: 17. 2. 2015
> 18:56:18 Předmět: [vpsFree.cz: community-list] Hromadné logování
> 
> 
> Ahoj,
> 
> řešítě nějak logování z více serverů současně na jednom místě?
> Syslogy mívají tyhle funkce nativně, ale když bych tam chtěl mít i
> logy z webaplikací,... z více mašin. Ideálně něco rovnou s
> nástrojem na rozumné prohledávání / zobrazování / porovnávaní. Nic
> proti čistému textu :)
> 
> Díky, Jindra _______________________________________________ 
> Community-list mailing list Community-list at lists.vpsfree.cz 
> <mailto:Community-list at lists.vpsfree.cz> 
> http://lists.vpsfree.cz/listinfo/community-list
> 
> 
> _______________________________________________ Community-list
> mailing list Community-list at lists.vpsfree.cz 
> <mailto:Community-list at lists.vpsfree.cz> 
> http://lists.vpsfree.cz/listinfo/community-list
> 
> _______________________________________________ Community-list
> mailing list Community-list at lists.vpsfree.cz 
> http://lists.vpsfree.cz/listinfo/community-list
> 
> 
> 
> _______________________________________________ Community-list
> mailing list Community-list at lists.vpsfree.cz 
> http://lists.vpsfree.cz/listinfo/community-list
> 
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1

iF4EAREIAAYFAlTjo88ACgkQgRwOVqYrsFWi6wD8CRoVYFH5azceuPHJpvBX9Acf
OEyJc1bE8TRyv9knSzYA/jhBGOY6b6W3h8AaydIMAEccQMoMPcmuS+PSgimn6oYv
=1Wp+
-----END PGP SIGNATURE-----