<html><head><meta content="text/html; charset=UTF-8" http-equiv="Content-Type" /></head><body text="#000000" bgcolor="#FFFFFF">Routovat takovejhle provoz na linuxu nebo BSD s Birdem je samozrejme blbost, ale Bird se v tehle pripadech bezne pouziva jako route reflector. A samozrejme distribuovat blackhole z RR je bezne doporucovana praxe, protoze cpat blackhole prez spojeni kterym ten dos tece nemusi vest k uspechu - bh route zacne flapovat z duvodu ztratovosti a danej peer pokud ma agresivnejsi politiku bgp dampeningu muze tu routu uplne zahodit. <br>
<br>
<br><br><div class="gmail_quote">On 2. dubna 2014 19:18:07 CEST, Michal Krajcirovic <michal@krajcirovic.cz> wrote:<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
Hlavne ze si rozumime ;) Jde o to, ze to co pisu ma - aspon z mych
vlastnich zkusenosti - smysl jen tehdy, kdyz minimalne tvuj upstream
dokaze toto od tebe brat automaticky a cinit totez i na sve strane.
Jinak je ti na prd ze nullroutujes neco, ceho ti prichazi do site
tolik, ze ti to ucpe hrdlo... A ze i 10gigovy hrdlo se ucpe raz dva
(nemluve o tom, ze driv spadne ten bird)<br />
<br />
m<br />
<br />
<div class="moz-cite-prefix">Dne 2. 4. 2014 19:12, Stanislav Petr
napsal(a):<br />
</div>
<blockquote cite="mid:a5d54537-6fdc-439e-af36-b0db4ef01adc@email.android.com" type="cite">Jinak tomu jak rikas null routovani se rika
blackholing. A uz jsem popisoval jednoduse scriptovatelny reseni
je sflow sonda na ASBR a napr. pmacct jako collector.<br />
<br />
<br />
<br />
<div class="gmail_quote">On 2. dubna 2014 14:57:01 CEST, Michal
Krajcirovic <a class="moz-txt-link-rfc2396E" href="mailto:michal@krajcirovic.cz"><michal@krajcirovic.cz></a> wrote:
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt
0.8ex; border-left: 1px solid rgb(204, 204, 204);
padding-left: 1ex;">
<pre class="k9mail">Kluci, mozna ted budu vypadat desne nekompetentne a verejne se tu
znemoznim :)
Ale nestalo by za to udelat na vpsfree dve "varianty", kdy by si mohl
clovek zvolit, jestli chce nejmodernejsi featury za cenu rizik s horsi
dostupnosti, nebo na featury kasle, a preferuje dostupnost.
Napr. za sebe u vpsfree mam veci, ktery nejsou existencne kriticky, ale
je blby kdyz nejedou (tercialni dns, primarni monitoring) - nelpim na
poslednim buildu jadra a na kvantu featur, naopak bych rad, kdybych mel
co nejmene planovanych i neplanovanych vypadku i za cenu, ze nebudu mit
"to nejlepsi".
Prestoze nejakymu plgr prostredi co si chces udelat na testovani jader
fandim, neverim ze tam dovedes nasimulovat ani vetsinu problemu ktere
realne nastanou az proste "nekdo neco" udela.
Soucasne jeste maly koment k tem DDOSum - u sve site (mam dva upstreamy)
mi jeden z nich (jde o fr
eetel,
pokud by to nekoho zajimalo) umoznuje
poslat prefix k null routovani s prislusnou bgp komunitou a na jejich
infrastrukture (a dle jejich vyjadreni i na infrastrukture jejich
usptreamu) dojde automaticky k zariznuti. Tedy, pokud umime (idealne
automaticky) detekovat na koho ten utok jde (coz pocitam ze ano), pak je
to spis o tom dotlacit upstreama (master) k tomu, aby nam tuto featuru
umoznil, a tipuju ze nebude nejak zvlast obtizny to naskriptovat, aby se
to delo automaticky pri nejakym evidnetne problemovym chovani.
Zaverem - upgrade na 10GE nam jiste vyresi vetsi kapacitu pro pripad
utoku, ale jestli routujeme na birdu, nedelam si iluzi, ze ten hw udrzi
radove vetsi jednotky Gbit, aby bylo jak to blokovat, na to je obavam se
jedinou cestou router, co tech 10G opravdu uroutuje a nepujde do hnoje
driv, nez vubec bude mozny nejaky prefix nullroutovat.
m
Dne 2. 4. 2014 13:06
, Pavel
Snajdr napsal(a):
<blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #729fcf; padding-left: 1ex;"> -----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
On 04/02/2014 12:08 PM, Pavel Snajdr wrote:
<blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #ad7fa8; padding-left: 1ex;"> A btw hlavni vyhoda ukladani dumpu po siti - nepotrebuju ten node
nejak rozdejchavat na to, abych mohl zacit analyzovat dump.
Kdyz se mi povede vymyslet, co ted vymejslim s Infinibandem a
distribuovanym replikovanim ZFS, tak by se to melo projevit naplno
jako vyhoda - VPS budou nekde nabihat, zatim co ja muzu
analyzovat, proc to sletelo a nekdo jinej muze davat dokupy ten
server primo (ssh/reseni se supportem v DC/...).
Kdezto s lokalnim kdumpem musim vzdycky tu masinu privyst k zivotu
a pak z toho tech 256GB vytahnout na misto, kde budu mit a] too
lset
b] dost RAM na analyzu. Ted si predstav tahat to ven z nodu po
gigabitu...
</blockquote> Jeste ke kdumpum a proc ma smysl je delat:
Diky tomu, ze budeme mit kompletni image ram z momentu padu serveru
(pripadne se da dump vyvolat i pri zfs deadlocku atd.), jsme schopny
potom post-mortem cokoliv dohledat a dodebugovat. Odpada tim nutnost
na milionkrat se snazit ten bug reprodukovat.
A kdyz budeme pracovat ve spolupraci s lidma od OpenVZ / ZFS / Red
Hatu, coz postupne zacinam minimalne ja osobne vic a vic (myslim ze
muj nick uz znaji celkem duverne :D) delat, umozni nam to prijit k
pomyslnymu stolu vyvoje tech opensource projektu, co nas zajimaji, s
cennyma debug informacema na, ktery urychly zasadne hledani problemu.
Takze v tom vidim nejenom nutnost, ale v podstate i metodu, jak pomoct
nejenom sobe, ale i celymu ekosystemu.
/snajpa
<blockquote class="gmail_q
uote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #ad7fa8; padding-left: 1ex;"> /snajpa
On 04/02/2014 12:01 PM, Pavel Snajdr wrote:
<blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #8ae234; padding-left: 1ex;"> On 04/02/2014 11:58 AM, Stanislav Petr wrote:
<blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #fcaf3e; padding-left: 1ex;"> Tak vytvorit servisni oddil na nejakym stavajicim disku nebo
zkusit zauvazovat nad pouzitim USB3 externi flash (sileny, ja
vim, ale mohlo by to fungovat levne).
</blockquote> Vsak prave, ze uz jsem varianty zvazoval a vzhledem k tomu, ze
10GE se blizi tak jako tak. 1GE je tragicky malo, navic pri
zalohach uz 1GE dneska je limit, "zejtra" bude totalni limit pri
prechodu z rsyncu na zfs send/receive - pak budou zalohy,
restory, migrace opravdu vyuzivat to, ze budou sedet na rychly
siti.
Ab
ych
udelal misto na 256GB blbosti lokalne na kazdym nodu,
musel bych vyrazne zmensit cast SSD, ktera se pouziva pro level 2
read caching (a to se hodne pozna v momentech, kdy je na tom
stroji min ramky, nez je idealni).
Delani mista na rotacnich diskach je blbost, protoze by to
rozhodilo tvar celyho zpoolu.
Tak nejak mi nevysla jina moznost, nez NFSv3+10GE...
/snajpa
</blockquote>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #8ae234; padding-left: 1ex;"><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #fcaf3e; padding-left: 1ex;"> Stanislav Petr Tel.: +420 602 620 026
-----Original Message----- From:
<a class="moz-txt-link-abbreviated" href="mailto:community-list-bounces@lists.vpsfree.cz">community-list-bounces@lists.vpsfree.cz</a>
[<a class="moz-txt-link-freetext" href="mailto:community-list-bounces@lists.vpsfree.cz">mailto:community-list-bounces@lists.vpsfree.cz</a>] On Behalf Of
Pavel Snajdr Sent: Wednesday, April 02, 2014 11:55 AM To:
<a moz-do-not-send="true" href="http://vpsFree.cz">vpsFree.cz</a> Community list Su
bject:
Re: [<a moz-do-not-send="true" href="http://vpsFree.cz">vpsFree.cz</a>:
community-list] Vypadky a problemy - checklist
Disk uz neni kam dat :)
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956
CTO of Relbit | Predseda <a moz-do-not-send="true" href="http://vpsFree.cz">vpsFree.cz</a>, o.s. | RHCE
<a moz-do-not-send="true" href="http://relbit.com">http://relbit.com</a> | <a moz-do-not-send="true" href="http://vpsfree.cz">http://vpsfree.cz</a> |
<a moz-do-not-send="true" href="https://www.redhat.com">https://www.redhat.com</a>
On 04/02/2014 11:49 AM, Stanislav Petr wrote:
<blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #e9b96e; padding-left: 1ex;"> Hele k tomu kdumpu a zfs. Jednoduchy a elegantni reseni -
budto pridat jeden disk nebo oddil s EXT a ten vyhradit pro
kdump. Tim ti odpadne problém se zapisovanim kdumpu do zfs
kterej není podporovanej.
Stanislav Petr Tel.: +420 602 620 026
-----Original Message----- From
:
<a class="moz-txt-link-abbreviated" href="mailto:community-list-bounces@lists.vpsfree.cz">community-list-bounces@lists.vpsfree.cz</a>
[<a class="moz-txt-link-freetext" href="mailto:community-list-bounces@lists.vpsfree.cz">mailto:community-list-bounces@lists.vpsfree.cz</a>] On Behalf Of
Pavel Snajdr Sent: Wednesday, April 02, 2014 11:38 AM To:
<a moz-do-not-send="true" href="http://vpsFree.cz">vpsFree.cz</a> Community list Subject: [<a moz-do-not-send="true" href="http://vpsFree.cz">vpsFree.cz</a>:
community-list] Vypadky a problemy - checklist
Caute,
vim, ze nekteri trpite zhruba stejne, jako ja, tak jak jsme
na tom ted, a jak dlouho nas ten shitstorm jeste ceka, nez
pomine?
padajici ipv6: bird, snad pobezi, uvidime dal,
prichozi ddosy: in progress, cosi se mozna rysuje ve
spolupraci s Master Internet, nebo pripadne custom solution s
BGP blackholingem,
kernel panic: ted je tam kernel, kterej pres vsechny jeho
chyby pokud vim na panic nepada, takze od nej je klid a
dalsi kernel uz by mel projit lepsim testovanim, nez ho
nasadime,
zfs deadlock: po poupdatovani codebase napric vsema
serverama se m
i uz
dari chytit stabilni ZFS setup na vsech
nodech, takze se ZFS uz nebudou problemy (dokud se s nim zase
nerozhodneme delat psi kusy, ale to pujde uz pres QA masinu)
QA: minimalne jsem se dost nastval na to, aby mi nevadilo, ze
vyhodime jednu velkou silnou masinu na testovani, takze
ohledne QA se veci snad taky pohnou.
kdump: potrebujeme 10GE infratrukturu po ktery sbirat memory
dumpy odpadlejch nodu, bez toho je kdump celkem useless,
</blockquote></blockquote></blockquote>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #8ae234; padding-left: 1ex;"><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #fcaf3e; padding-left: 1ex;"><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #e9b96e; padding-left: 1ex;"> -> seznam je to nepekne nekratkej, nastesti vsechno uz ve
stavu pri nejhorsim "znam reseni", n
o uz by
se na nej
nemuselo nic chvili pridavat, protoze jinak uz mne z toho
chytaji infarktovy stavy... Navic mam tuseni, ze hranice
trpelivosti, nez zacnou lidi hromadne migrovat veci pryc, je
tak nejak blizko a ted uz to proste musi vsechno bezet bez
problemu, i za cenu odlozeni nejakych inovaci na par mesicu.
<hr />
Community-list mailing list <a class="moz-txt-link-abbreviated" href="mailto:Community-list@lists.vpsfree.cz">Community-list@lists.vpsfree.cz</a>
<a moz-do-not-send="true" href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a>
</blockquote></blockquote></blockquote>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #8ae234; padding-left: 1ex;"><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #fcaf3e; padding-left: 1ex;"><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #e9b96e; padding-left: 1ex;"><hr />
Community-list mailing list
<a class="moz-txt-link-abbreviated" href="mailto:Community-list@lists.vpsfree.cz">Community-list@lists.vpsfree.cz</a>
<a moz-do-not-send="true" href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a>
</blockquote><hr />Community-list
mailing list <a class="moz-txt-link-abbreviated" href="mailto:Community-list@lists.vpsfree.cz">Community-list@lists.vpsfree.cz</a>
<a moz-do-not-send="true" href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a>
</blockquote></blockquote>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #8ae234; padding-left: 1ex;"><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #fcaf3e; padding-left: 1ex;"><hr />Community-list
mailing list <a class="moz-txt-link-abbreviated" href="mailto:Community-list@lists.vpsfree.cz">Community-list@lists.vpsfree.cz</a>
<a moz-do-not-send="true" href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a>
</blockquote><hr />Community-list
mailing list <a class="moz-txt-link-abbreviated" href="mailto:Community-list@lists.vpsfree.cz">Community-list@lists.vpsfree.cz</a>
<a moz-do-not-send="true" href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a>
</blockquote><hr />Community-list
mailing list <a class="moz-txt-link-abbreviated" href="mailto:Community-list@lists.vpsfree.cz">Community-list@lists.vpsfree.cz</a>
<a moz-do-not-send="true" href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a></blockquote>
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1
Comment: Using GnuPG with Thunderbird - <a moz-do-not-send="true" href="http://www.enigmail.net">http://www.enigmail.net</a>/
iF4EAREIAAYFAlM77y4ACgkQMBKdi9lkZ6pWjwD/a0qiAdOAazaq+hv8fRmyV3QA
WD3f7xQ+f/e2tfarq1QA/iBX6gfs28bZohfP91rO1a04zPGJpkgyufh530LDYPKe
=73NH
-----END PGP SIGNATURE-----
<hr />
Community-list mailing list
<a class="moz-txt-link-abbreviated" href="mailto:Community-list@lists.vpsfree.cz">Community-list@lists.vpsfree.cz</a>
<a moz-do-not-send="true" href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a>
</blockquote>
<hr />
Community-list mailing list
<a class="moz-txt-link-abbreviated" href="mailto:Community-list@lists.vpsfree.cz">Community-list@lists.vpsfree.cz</a><
br /><a moz-do-not-send="true" href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a>
</pre>
</blockquote>
</div>
<br />
-- <br />
Odesláno z mého telefonu s Androidem pomocí pošty K-9 Mail.
Omluvte prosím moji stručnost.
<br />
<fieldset class="mimeAttachmentHeader"></fieldset>
<br />
<pre wrap="">_______________________________________________
Community-list mailing list
<a class="moz-txt-link-abbreviated" href="mailto:Community-list@lists.vpsfree.cz">Community-list@lists.vpsfree.cz</a>
<a class="moz-txt-link-freetext" href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a>
</pre>
</blockquote>
<br />
<p style="margin-top: 2.5em; margin-bottom: 1em; border-bottom: 1px solid #000"></p><pre class="k9mail"><hr /><br />Community-list mailing list<br />Community-list@lists.vpsfree.cz<br /><a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a><br /></pre></blockquote></div><br>
-- <br>
Odesláno z mého telefonu s Androidem pomocí pošty K-9 Mail. Omluvte prosím moji stručnost.</body></html>