<html><head></head><body>Jinak tomu jak rikas null routovani se rika blackholing. A uz jsem popisoval jednoduse scriptovatelny reseni je sflow sonda na ASBR a napr. pmacct jako collector.<br>
<br>
<br><br><div class="gmail_quote">On 2. dubna 2014 14:57:01 CEST, Michal Krajcirovic <michal@krajcirovic.cz> wrote:<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
<pre class="k9mail">Kluci, mozna ted budu vypadat desne nekompetentne a verejne se tu <br />znemoznim :)<br />Ale nestalo by za to udelat na vpsfree dve "varianty", kdy by si mohl <br />clovek zvolit, jestli chce nejmodernejsi featury za cenu rizik s horsi <br />dostupnosti, nebo na featury kasle, a preferuje dostupnost.<br /><br />Napr. za sebe u vpsfree mam veci, ktery nejsou existencne kriticky, ale <br />je blby kdyz nejedou (tercialni dns, primarni monitoring) - nelpim na <br />poslednim buildu jadra a na kvantu featur, naopak bych rad, kdybych mel <br />co nejmene planovanych i neplanovanych vypadku i za cenu, ze nebudu mit <br />"to nejlepsi".<br /><br />Prestoze nejakymu plgr prostredi co si chces udelat na testovani jader <br />fandim, neverim ze tam dovedes nasimulovat ani vetsinu problemu ktere <br />realne nastanou az proste "nekdo neco" udela.<br /><br /><br />Soucasne jeste maly koment k tem DDOSum - u sve site (mam dva upstreamy) <br />mi jeden z nich (jde o freetel,
pokud by to nekoho zajimalo) umoznuje <br />poslat prefix k null routovani s prislusnou bgp komunitou a na jejich <br />infrastrukture (a dle jejich vyjadreni i na infrastrukture jejich <br />usptreamu) dojde automaticky k zariznuti. Tedy, pokud umime (idealne <br />automaticky) detekovat na koho ten utok jde (coz pocitam ze ano), pak je <br />to spis o tom dotlacit upstreama (master) k tomu, aby nam tuto featuru <br />umoznil, a tipuju ze nebude nejak zvlast obtizny to naskriptovat, aby se <br />to delo automaticky pri nejakym evidnetne problemovym chovani.<br /><br />Zaverem - upgrade na 10GE nam jiste vyresi vetsi kapacitu pro pripad <br />utoku, ale jestli routujeme na birdu, nedelam si iluzi, ze ten hw udrzi <br />radove vetsi jednotky Gbit, aby bylo jak to blokovat, na to je obavam se <br />jedinou cestou router, co tech 10G opravdu uroutuje a nepujde do hnoje <br />driv, nez vubec bude mozny nejaky prefix nullroutovat.<br /><br />m<br /><br /><br />Dne 2. 4. 2014 13:06, Pavel
Snajdr napsal(a):<br /><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #729fcf; padding-left: 1ex;"> -----BEGIN PGP SIGNED MESSAGE-----<br /> Hash: SHA256<br /><br /> On 04/02/2014 12:08 PM, Pavel Snajdr wrote:<br /><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #ad7fa8; padding-left: 1ex;"> A btw hlavni vyhoda ukladani dumpu po siti - nepotrebuju ten node<br /> nejak rozdejchavat na to, abych mohl zacit analyzovat dump.<br /><br /> Kdyz se mi povede vymyslet, co ted vymejslim s Infinibandem a<br /> distribuovanym replikovanim ZFS, tak by se to melo projevit naplno<br /> jako vyhoda - VPS budou nekde nabihat, zatim co ja muzu<br /> analyzovat, proc to sletelo a nekdo jinej muze davat dokupy ten<br /> server primo (ssh/reseni se supportem v DC/...).<br /><br /> Kdezto s lokalnim kdumpem musim vzdycky tu masinu privyst k zivotu<br /> a pak z toho tech 256GB vytahnout na misto, kde budu mit a] toolset<br
/> b] dost RAM na analyzu. Ted si predstav tahat to ven z nodu po<br /> gigabitu...<br /></blockquote> Jeste ke kdumpum a proc ma smysl je delat:<br /><br /> Diky tomu, ze budeme mit kompletni image ram z momentu padu serveru<br /> (pripadne se da dump vyvolat i pri zfs deadlocku atd.), jsme schopny<br /> potom post-mortem cokoliv dohledat a dodebugovat. Odpada tim nutnost<br /> na milionkrat se snazit ten bug reprodukovat.<br /><br /> A kdyz budeme pracovat ve spolupraci s lidma od OpenVZ / ZFS / Red<br /> Hatu, coz postupne zacinam minimalne ja osobne vic a vic (myslim ze<br /> muj nick uz znaji celkem duverne :D) delat, umozni nam to prijit k<br /> pomyslnymu stolu vyvoje tech opensource projektu, co nas zajimaji, s<br /> cennyma debug informacema na, ktery urychly zasadne hledani problemu.<br /><br /> Takze v tom vidim nejenom nutnost, ale v podstate i metodu, jak pomoct<br /> nejenom sobe, ale i celymu ekosystemu.<br /><br /> /snajpa<br /><br /><blockquote class="gmail_quote"
style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #ad7fa8; padding-left: 1ex;"> /snajpa<br /><br /> On 04/02/2014 12:01 PM, Pavel Snajdr wrote:<br /><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #8ae234; padding-left: 1ex;"> On 04/02/2014 11:58 AM, Stanislav Petr wrote:<br /><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #fcaf3e; padding-left: 1ex;"> Tak vytvorit servisni oddil na nejakym stavajicim disku nebo<br /> zkusit zauvazovat nad pouzitim USB3 externi flash (sileny, ja<br /> vim, ale mohlo by to fungovat levne).<br /></blockquote> Vsak prave, ze uz jsem varianty zvazoval a vzhledem k tomu, ze<br /> 10GE se blizi tak jako tak. 1GE je tragicky malo, navic pri<br /> zalohach uz 1GE dneska je limit, "zejtra" bude totalni limit pri<br /> prechodu z rsyncu na zfs send/receive - pak budou zalohy,<br /> restory, migrace opravdu vyuzivat to, ze budou sedet na rychly<br /> siti.<br /> Abych
udelal misto na 256GB blbosti lokalne na kazdym nodu,<br /> musel bych vyrazne zmensit cast SSD, ktera se pouziva pro level 2<br /> read caching (a to se hodne pozna v momentech, kdy je na tom<br /> stroji min ramky, nez je idealni).<br /> Delani mista na rotacnich diskach je blbost, protoze by to<br /> rozhodilo tvar celyho zpoolu.<br /> Tak nejak mi nevysla jina moznost, nez NFSv3+10GE...<br /> /snajpa<br /></blockquote><br /><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #8ae234; padding-left: 1ex;"><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #fcaf3e; padding-left: 1ex;"> Stanislav Petr Tel.: +420 602 620 026<br /> -----Original Message----- From:<br /> community-list-bounces@lists.vpsfree.cz<br /> [mailto:community-list-bounces@lists.vpsfree.cz] On Behalf Of<br /> Pavel Snajdr Sent: Wednesday, April 02, 2014 11:55 AM To:<br /> <a href="http://vpsFree.cz">vpsFree.cz</a> Community list Subject:
Re: [<a href="http://vpsFree.cz">vpsFree.cz</a>:<br /> community-list] Vypadky a problemy - checklist<br /> Disk uz neni kam dat :)<br /> S pozdravem<br /> Pavel Snajdr<br /> +421 948 816 186 | +420 720 107 791 | 110-010-956<br /> CTO of Relbit | Predseda <a href="http://vpsFree.cz">vpsFree.cz</a>, o.s. | RHCE<br /> <a href="http://relbit.com">http://relbit.com</a> | <a href="http://vpsfree.cz">http://vpsfree.cz</a> |<br /> <a href="https://www.redhat.com">https://www.redhat.com</a><br /> On 04/02/2014 11:49 AM, Stanislav Petr wrote:<br /><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #e9b96e; padding-left: 1ex;"> Hele k tomu kdumpu a zfs. Jednoduchy a elegantni reseni -<br /> budto pridat jeden disk nebo oddil s EXT a ten vyhradit pro<br /> kdump. Tim ti odpadne problém se zapisovanim kdumpu do zfs<br /> kterej není podporovanej.<br /> Stanislav Petr Tel.: +420 602 620 026<br /> -----Original Message----- From:<br />
community-list-bounces@lists.vpsfree.cz<br /> [mailto:community-list-bounces@lists.vpsfree.cz] On Behalf Of<br /> Pavel Snajdr Sent: Wednesday, April 02, 2014 11:38 AM To:<br /> <a href="http://vpsFree.cz">vpsFree.cz</a> Community list Subject: [<a href="http://vpsFree.cz">vpsFree.cz</a>:<br /> community-list] Vypadky a problemy - checklist<br /> Caute,<br /> vim, ze nekteri trpite zhruba stejne, jako ja, tak jak jsme<br /> na tom ted, a jak dlouho nas ten shitstorm jeste ceka, nez<br /> pomine?<br /> padajici ipv6: bird, snad pobezi, uvidime dal,<br /> prichozi ddosy: in progress, cosi se mozna rysuje ve<br /> spolupraci s Master Internet, nebo pripadne custom solution s<br /> BGP blackholingem,<br /> kernel panic: ted je tam kernel, kterej pres vsechny jeho<br /> chyby pokud vim na panic nepada, takze od nej je klid a<br /> dalsi kernel uz by mel projit lepsim testovanim, nez ho<br /> nasadime,<br /> zfs deadlock: po poupdatovani codebase napric vsema<br /> serverama se mi uz
dari chytit stabilni ZFS setup na vsech<br /> nodech, takze se ZFS uz nebudou problemy (dokud se s nim zase<br /> nerozhodneme delat psi kusy, ale to pujde uz pres QA masinu)<br /> QA: minimalne jsem se dost nastval na to, aby mi nevadilo, ze<br /> vyhodime jednu velkou silnou masinu na testovani, takze<br /> ohledne QA se veci snad taky pohnou.<br /> kdump: potrebujeme 10GE infratrukturu po ktery sbirat memory<br /> dumpy odpadlejch nodu, bez toho je kdump celkem useless,<br /></blockquote></blockquote></blockquote><br /><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #8ae234; padding-left: 1ex;"><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #fcaf3e; padding-left: 1ex;"><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #e9b96e; padding-left: 1ex;"> -> seznam je to nepekne nekratkej, nastesti vsechno uz ve<br /> stavu pri nejhorsim "znam reseni", no uz by
se na nej<br /> nemuselo nic chvili pridavat, protoze jinak uz mne z toho<br /> chytaji infarktovy stavy... Navic mam tuseni, ze hranice<br /> trpelivosti, nez zacnou lidi hromadne migrovat veci pryc, je<br /> tak nejak blizko a ted uz to proste musi vsechno bezet bez<br /> problemu, i za cenu odlozeni nejakych inovaci na par mesicu.<br /><hr /><br /> Community-list mailing list Community-list@lists.vpsfree.cz<br /> <a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br /></blockquote></blockquote></blockquote><br /><br /><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #8ae234; padding-left: 1ex;"><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #fcaf3e; padding-left: 1ex;"><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #e9b96e; padding-left: 1ex;"><hr /><br /> Community-list mailing list
Community-list@lists.vpsfree.cz<br /> <a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br /></blockquote><hr />Community-list<br /> mailing list Community-list@lists.vpsfree.cz<br /> <a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br /></blockquote></blockquote><br /><br /><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #8ae234; padding-left: 1ex;"><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #fcaf3e; padding-left: 1ex;"><hr />Community-list<br /> mailing list Community-list@lists.vpsfree.cz<br /> <a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br /></blockquote><hr />Community-list<br /> mailing list Community-list@lists.vpsfree.cz<br /> <a
href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br /></blockquote><hr />Community-list<br /> mailing list Community-list@lists.vpsfree.cz<br /> <a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a></blockquote><br /> -----BEGIN PGP SIGNATURE-----<br /> Version: GnuPG v1<br /> Comment: Using GnuPG with Thunderbird - <a href="http://www.enigmail.net">http://www.enigmail.net</a>/<br /><br /> iF4EAREIAAYFAlM77y4ACgkQMBKdi9lkZ6pWjwD/a0qiAdOAazaq+hv8fRmyV3QA<br /> WD3f7xQ+f/e2tfarq1QA/iBX6gfs28bZohfP91rO1a04zPGJpkgyufh530LDYPKe<br /> =73NH<br /> -----END PGP SIGNATURE-----<br /><hr /><br /> Community-list mailing list<br /> Community-list@lists.vpsfree.cz<br /> <a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br /></blockquote><br /><hr /><br />Community-list mailing list<br />Community-list@lists.vpsfree.cz<br /><a
href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br /></pre></blockquote></div><br>
-- <br>
Odesláno z mého telefonu s Androidem pomocí pošty K-9 Mail. Omluvte prosím moji stručnost.</body></html>