<p style="padding:0 0 0 0; margin:0 0 0 0;">dobré ráno,</p>
<p style="padding:0 0 0 0; margin:0 0 0 0;"> </p>
<p style="padding:0 0 0 0; margin:0 0 0 0;">nemáte pls. nějakou přibližnou představu jak dlouho bude trvat </p>
<h1>Migration node8 -> node9 in progress</h1>
<p style="padding:0 0 0 0; margin:0 0 0 0;"> </p>
<p style="padding:0 0 0 0; margin:0 0 0 0;">díky za info</p>
<p style="padding:0 0 0 0; margin:0 0 0 0;"> </p>
<p style="padding:0 0 0 0; margin:0 0 0 0;">Jan Macík</p>
<p style="padding:0 0 0 0; margin:0 0 0 0;">IT DEVELOPER</p>
<p style="padding:0 0 0 0; margin:0 0 0 0;"> </p>
<p style="padding:0 0 0 0; margin:0 0 0 0;">776 005 239</p>
<p style="padding:0 0 0 0; margin:0 0 0 0;"> </p>
<p style="padding:0 0 0 0; margin:0 0 0 0;"> </p>
<p style="padding:0 0 0 0; margin:0 0 0 0;">______________________________________________________________<br />
> Od: Pavel Snajdr <snajpa@snajpa.net><br />
> Komu: "vpsFree.cz Community list" <community-list@lists.vpsfree.cz><br />
> Datum: 02.04.2014 19:35<br />
> Předmět: Re: [vpsFree.cz: community-list] Vypadky a problemy - checklist<br />
></p>
<p style="padding:0 0 0 0; margin:0 0 0 0;">-----BEGIN PGP SIGNED MESSAGE-----<br />
Hash: SHA256<br />
<br />
On 04/02/2014 07:25 PM, Pavel Snajdr wrote:<br />
> Nakonec jsme se rozhodli pro trochu jiny reseni, je to ve vyvoji, <br />
> verim, ze se ukaze jako zivotaschopna. Dneska mam plodnej den :)<br />
> <br />
> Stavime na blackholingu, MAI ho podporuje a pokud vim, tak to pak <br />
> propaguji i dal (kam se da, to proverim a budu tlacit na zavedeni, <br />
> pokud neni).<br />
> <br />
> Zkusime na to jit distribuovane, nepotrebujeme big box ani<br />
> centralni bod, kterej by videl vsechen traffic.<br />
> <br />
> Mirime na reakcni cas do 1, max 1.5 minuty, zatim zapracujeme do <br />
> vpsAdminu sbirani dat o toku dostatecne casto (co to pujde). Potom <br />
> podle dat vymodelujeme nejaky algoritmus, co bude delat<br />
> <br />
> a] blackholing decision b] QoS shaper decision<br />
> <br />
> + vpsadmind dostane podporu ovladat BIRD (aby mohl MAI oznamit <br />
> blackholes, bude na to dedikovana instance BIRDu)<br />
> <br />
> + vpsadmind dostane podporu tc+htb<br />
<br />
Slabinu navrhu vidim v jednom miste - spolejham se, ze v pripade DDoSu<br />
neco porad dotece na hw, kde ta cilova VPS je. Nebojim se, ze by se<br />
ten traffic nedal stihat (a stihat odcitat tak casto), vpsadmin uz ho<br />
ted cte kazdou chvili (v minutach) a nebyl problem, zachytavani pres<br />
iptables chainy uz tam je kvuli accountingu trafficu.<br />
<br />
To je sice pravda, ale umim si predstavit situaci, kdyby to ten router<br />
neudrzel a proste z toho spadnul.<br />
<br />
Nicmene to se zatim nikdy nestalo, jediny side-effect je, ze jsem<br />
prisel na fakt, ze mame poskozenou medenou linku na prvni router -<br />
projevila se jeji poruchovost...<br />
<br />
/snajpa<br />
<br />
> <br />
> /snajpa<br />
> <br />
> On 04/02/2014 07:12 PM, Stanislav Petr wrote:<br />
>> Jinak tomu jak rikas null routovani se rika blackholing. A uz<br />
>> jsem popisoval jednoduse scriptovatelny reseni je sflow sonda na<br />
>> ASBR a napr. pmacct jako collector.<br />
> <br />
> <br />
> <br />
>> On 2. dubna 2014 14:57:01 CEST, Michal Krajcirovic <br />
>> <michal@krajcirovic.cz> wrote:<br />
> <br />
>> Kluci, mozna ted budu vypadat desne nekompetentne a verejne se tu<br />
>> znemoznim :) Ale nestalo by za to udelat na vpsfree dve<br />
>> "varianty", kdy by si mohl clovek zvolit, jestli chce<br />
>> nejmodernejsi featury za cenu rizik s horsi dostupnosti, nebo na<br />
>> featury kasle, a preferuje dostupnost.<br />
> <br />
>> Napr. za sebe u vpsfree mam veci, ktery nejsou existencne<br />
>> kriticky, ale je blby kdyz nejedou (tercialni dns, primarni<br />
>> monitoring) - nelpim na poslednim buildu jadra a na kvantu<br />
>> featur, naopak bych rad, kdybych mel co nejmene planovanych i<br />
>> neplanovanych vypadku i za cenu, ze nebudu mit "to nejlepsi".<br />
> <br />
>> Prestoze nejakymu plgr prostredi co si chces udelat na testovani <br />
>> jader fandim, neverim ze tam dovedes nasimulovat ani vetsinu <br />
>> problemu ktere realne nastanou az proste "nekdo neco" udela.<br />
> <br />
> <br />
>> Soucasne jeste maly koment k tem DDOSum - u sve site (mam dva <br />
>> upstreamy) mi jeden z nich (jde o fr eetel, pokud by to nekoho <br />
>> zajimalo) umoznuje poslat prefix k null routovani s prislusnou<br />
>> bgp komunitou a na jejich infrastrukture (a dle jejich vyjadreni<br />
>> i na infrastrukture jejich usptreamu) dojde automaticky k<br />
>> zariznuti. Tedy, pokud umime (idealne automaticky) detekovat na<br />
>> koho ten utok jde (coz pocitam ze ano), pak je to spis o tom<br />
>> dotlacit upstreama (master) k tomu, aby nam tuto featuru umoznil,<br />
>> a tipuju ze nebude nejak zvlast obtizny to naskriptovat, aby se<br />
>> to delo automaticky pri nejakym evidnetne problemovym chovani.<br />
> <br />
>> Zaverem - upgrade na 10GE nam jiste vyresi vetsi kapacitu pro <br />
>> pripad utoku, ale jestli routujeme na birdu, nedelam si iluzi,<br />
>> ze ten hw udrzi radove vetsi jednotky Gbit, aby bylo jak to<br />
>> blokovat, na to je obavam se jedinou cestou router, co tech 10G<br />
>> opravdu uroutuje a nepujde do hnoje driv, nez vubec bude mozny<br />
>> nejaky prefix nullroutovat.<br />
> <br />
>> m<br />
> <br />
> <br />
>> Dne 2. 4. 2014 13:06 , Pavel Snajdr napsal(a):<br />
> <br />
>> On 04/02/2014 12:08 PM, Pavel Snajdr wrote:<br />
> <br />
>> A btw hlavni vyhoda ukladani dumpu po siti - nepotrebuju ten node<br />
>> nejak rozdejchavat na to, abych mohl zacit analyzovat dump.<br />
> <br />
>> Kdyz se mi povede vymyslet, co ted vymejslim s Infinibandem a <br />
>> distribuovanym replikovanim ZFS, tak by se to melo projevit<br />
>> naplno jako vyhoda - VPS budou nekde nabihat, zatim co ja muzu<br />
>> analyzovat, proc to sletelo a nekdo jinej muze davat dokupy ten<br />
>> server primo (ssh/reseni se supportem v DC/...).<br />
> <br />
>> Kdezto s lokalnim kdumpem musim vzdycky tu masinu privyst k<br />
>> zivotu a pak z toho tech 256GB vytahnout na misto, kde budu mit<br />
>> a] too lset b] dost RAM na analyzu. Ted si predstav tahat to ven<br />
>> z nodu po gigabitu...<br />
> <br />
>> Jeste ke kdumpum a proc ma smysl je delat:<br />
> <br />
>> Diky tomu, ze budeme mit kompletni image ram z momentu padu <br />
>> serveru (pripadne se da dump vyvolat i pri zfs deadlocku atd.), <br />
>> jsme schopny potom post-mortem cokoliv dohledat a dodebugovat. <br />
>> Odpada tim nutnost na milionkrat se snazit ten bug reprodukovat.<br />
> <br />
>> A kdyz budeme pracovat ve spolupraci s lidma od OpenVZ / ZFS /<br />
>> Red Hatu, coz postupne zacinam minimalne ja osobne vic a vic<br />
>> (myslim ze muj nick uz znaji celkem duverne :D) delat, umozni nam<br />
>> to prijit k pomyslnymu stolu vyvoje tech opensource projektu, co<br />
>> nas zajimaji, s cennyma debug informacema na, ktery urychly<br />
>> zasadne hledani problemu.<br />
> <br />
>> Takze v tom vidim nejenom nutnost, ale v podstate i metodu, jak <br />
>> pomoct nejenom sobe, ale i celymu ekosystemu.<br />
> <br />
>> /snajpa<br />
> <br />
>> /snajpa<br />
> <br />
>> On 04/02/2014 12:01 PM, Pavel Snajdr wrote:<br />
> <br />
>> On 04/02/2014 11:58 AM, Stanislav Petr wrote:<br />
> <br />
>> Tak vytvorit servisni oddil na nejakym stavajicim disku nebo<br />
>> zkusit zauvazovat nad pouzitim USB3 externi flash (sileny, ja<br />
>> vim, ale mohlo by to fungovat levne).<br />
> <br />
>> Vsak prave, ze uz jsem varianty zvazoval a vzhledem k tomu, ze<br />
>> 10GE se blizi tak jako tak. 1GE je tragicky malo, navic pri<br />
>> zalohach uz 1GE dneska je limit, "zejtra" bude totalni limit pri<br />
>> prechodu z rsyncu na zfs send/receive - pak budou zalohy,<br />
>> restory, migrace opravdu vyuzivat to, ze budou sedet na rychly<br />
>> siti. Ab ych udelal misto na 256GB blbosti lokalne na kazdym<br />
>> nodu, musel bych vyrazne zmensit cast SSD, ktera se pouziva pro<br />
>> level 2 read caching (a to se hodne pozna v momentech, kdy je na<br />
>> tom stroji min ramky, nez je idealni). Delani mista na rotacnich<br />
>> diskach je blbost, protoze by to rozhodilo tvar celyho zpoolu.<br />
>> Tak nejak mi nevysla jina moznost, nez NFSv3+10GE... /snajpa<br />
> <br />
> <br />
>> Stanislav Petr Tel.: +420 602 620 026 -----Original Message----- <br />
>> From: community-list-bounces@lists.vpsfree.cz <br />
>> [mailto:community-list-bounces@lists.vpsfree.cz] On Behalf Of<br />
>> Pavel Snajdr Sent: Wednesday, April 02, 2014 11:55 AM To:<br />
>> vpsFree.cz <<a href="http://vpsFree.cz">http://vpsFree.cz</a>> Community list Su bject: Re:<br />
>> [vpsFree.cz <<a href="http://vpsFree.cz">http://vpsFree.cz</a>>: community-list] Vypadky a<br />
>> problemy - checklist Disk uz neni kam dat :) S pozdravem Pavel<br />
>> Snajdr +421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of<br />
>> Relbit | Predseda vpsFree.cz <<a href="http://vpsFree.cz">http://vpsFree.cz</a>>, o.s. | RHCE<br />
>> <a href="http://relbit.com">http://relbit.com</a> | <a href="http://vpsfree.cz">http://vpsfree.cz</a> | <a href="https://www.redhat.com">https://www.redhat.com</a> On<br />
>> 04/02/2014 11:49 AM, Stanislav Petr wrote:<br />
> <br />
>> Hele k tomu kdumpu a zfs. Jednoduchy a elegantni reseni - budto <br />
>> pridat jeden disk nebo oddil s EXT a ten vyhradit pro kdump. Tim<br />
>> ti odpadne problém se zapisovanim kdumpu do zfs kterej není <br />
>> podporovanej. Stanislav Petr Tel.: +420 602 620 026<br />
>> -----Original Message----- From :<br />
>> community-list-bounces@lists.vpsfree.cz <br />
>> [mailto:community-list-bounces@lists.vpsfree.cz] On Behalf Of<br />
>> Pavel Snajdr Sent: Wednesday, April 02, 2014 11:38 AM To:<br />
>> vpsFree.cz <<a href="http://vpsFree.cz">http://vpsFree.cz</a>> Community list Subject:<br />
>> [vpsFree.cz <<a href="http://vpsFree.cz">http://vpsFree.cz</a>>: community-list] Vypadky a<br />
>> problemy - checklist Caute, vim, ze nekteri trpite zhruba stejne,<br />
>> jako ja, tak jak jsme na tom ted, a jak dlouho nas ten shitstorm<br />
>> jeste ceka, nez pomine? padajici ipv6: bird, snad pobezi, uvidime<br />
>> dal, prichozi ddosy: in progress, cosi se mozna rysuje ve<br />
>> spolupraci s Master Internet, nebo pripadne custom solution s BGP<br />
>> blackholingem, kernel panic: ted je tam kernel, kterej pres<br />
>> vsechny jeho chyby pokud vim na panic nepada, takze od nej je<br />
>> klid a dalsi kernel uz by mel projit lepsim testovanim, nez ho<br />
>> nasadime, zfs deadlock: po poupdatovani codebase napric vsema<br />
>> serverama se m i uz dari chytit stabilni ZFS setup na vsech<br />
>> nodech, takze se ZFS uz nebudou problemy (dokud se s nim zase<br />
>> nerozhodneme delat psi kusy, ale to pujde uz pres QA masinu) QA:<br />
>> minimalne jsem se dost nastval na to, aby mi nevadilo, ze<br />
>> vyhodime jednu velkou silnou masinu na testovani, takze ohledne<br />
>> QA se veci snad taky pohnou. kdump: potrebujeme 10GE<br />
>> infratrukturu po ktery sbirat memory dumpy odpadlejch nodu, bez<br />
>> toho je kdump celkem useless,<br />
> <br />
> <br />
>> -> seznam je to nepekne nekratkej, nastesti vsechno uz ve stavu<br />
>> pri nejhorsim "znam reseni", n o uz by se na nej nemuselo nic<br />
>> chvili pridavat, protoze jinak uz mne z toho chytaji infarktovy<br />
>> stavy... Navic mam tuseni, ze hranice trpelivosti, nez zacnou<br />
>> lidi hromadne migrovat veci pryc, je tak nejak blizko a ted uz to<br />
>> proste musi vsechno bezet bez problemu, i za cenu odlozeni<br />
>> nejakych inovaci na par mesicu. <br />
>> ------------------------------------------------------------------------<br />
><br />
>> Community-list mailing list Community-list@lists.vpsfree.cz <br />
>> <a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br />
> <br />
> <br />
> <br />
>> ------------------------------------------------------------------------<br />
><br />
>> Community-list mailing list Community-list@lists.vpsfree.cz <br />
>> <a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br />
> <br />
>> ------------------------------------------------------------------------<br />
><br />
>> <br />
> <br />
> Community-list<br />
>> mailing list Community-list@lists.vpsfree.cz <br />
>> <a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br />
> <br />
> <br />
> <br />
>> ------------------------------------------------------------------------<br />
><br />
>> <br />
> <br />
> Community-list<br />
>> mailing list Community-list@lists.vpsfree.cz <br />
>> <a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br />
> <br />
>> ------------------------------------------------------------------------<br />
><br />
>> <br />
> <br />
> Community-list<br />
>> mailing list Community-list@lists.vpsfree.cz <br />
>> <a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br />
> <br />
>> ------------------------------------------------------------------------<br />
><br />
>> <br />
> <br />
> Community-list<br />
>> mailing list Community-list@lists.vpsfree.cz <br />
>> <a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br />
> <br />
> <br />
>> ------------------------------------------------------------------------<br />
><br />
>> Community-list mailing list Community-list@lists.vpsfree.cz <br />
>> <a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br />
> <br />
> <br />
>> ------------------------------------------------------------------------<br />
><br />
>> Community-list mailing list Community-list@lists.vpsfree.cz< br <br />
>> /><a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br />
> <br />
> <br />
>> -- Odesláno z mého telefonu s Androidem pomocí pošty K-9 Mail. <br />
>> Omluvte prosím moji stručnost.<br />
> <br />
> <br />
>> _______________________________________________ Community-list <br />
>> mailing list Community-list@lists.vpsfree.cz <br />
>> <a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br />
> <br />
> _______________________________________________ Community-list<br />
> mailing list Community-list@lists.vpsfree.cz <br />
> <a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br />
> <br />
-----BEGIN PGP SIGNATURE-----<br />
Version: GnuPG v1<br />
Comment: Using GnuPG with Thunderbird - <a href="http://www.enigmail.net/">http://www.enigmail.net/</a><br />
<br />
iF4EAREIAAYFAlM8SjIACgkQMBKdi9lkZ6qryQD9G0N2z6BE4OcpLszx4/uaEjZA<br />
OcZiZxvLmO23Foi8Vc8BAL8T9htJh+UMdQ0ZG6kmYdS80TAHBJChKS/vO0Lv3WVV<br />
=3kDr<br />
-----END PGP SIGNATURE-----<br />
_______________________________________________<br />
Community-list mailing list<br />
Community-list@lists.vpsfree.cz<br />
<a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a></p>