24 Oct
2016
24 Oct
'16
11:20 p.m.
Na node11 jsem zbytecne panikaril (a dostal mne paradni bug, kdy se FS
zpomaluje, kdyz se kontejner dobyva na kvotu, je zas co reportovat).
Chci pomoct odladit OpenVZ vyvojarum tu chybu ve 120.3, takze potrebuju
zachytit, co se deje, kdyz to zacne tuhnout (kdump). To bude na soucasne
siti bohuzel trvat, takze pgnd 2-3h nebude dostupny (maximalne, spis k
tem 2).
Na node2.brq se vrhneme hned po tom.
Dalsi nody budou nasledovat asi spis zitra, pokud vubec (ten performance
propad na 120.3 neni tak strasny, pokud se tam nesejde nejaka race
condition nejspis). Budeme situaci hlidat (ie. nechame monitoring
poradne ty servery bombit dotazy na stav :D) a podle toho se uvidi zitra.
/snajpa
On 10/24/2016 04:51 PM, Pavel Snajdr wrote:
Ahojte,
mozna jste si vsimli, ze to s vykonem po updatu neni vubec dobre, hlavne
co se tyce IO a netlink-related operaci (manipulace se sitovanim).
Vypada to, ze spolu s fixem na Dirty COW jsme natahli i zmeny, ktery
maji negativni dopad na vykon celeho systemu.
Takze jsem vyextrahoval patch na Dirty COW a aplikoval ho na verzi
kernelu, kterou jsme bezeli pred tim bez problemu.
OpenVZ moc tomu testingu neda a nam se bohuzel v testovacim prostredi v
Brne taky vsechno neprojevilo, cili nas bude cekat velmi brzo jeste
jeden masovy update a reboot.
Podle toho, jak se zadari, dneska v noci dodelame node1.pgnd (ten jeste
mozna pred pulnoci) a po jedne rano node2.brq; urcite musime taky neco
udelat s node11, kde vsechno trva neskutecne dlouho a aplikace tuhnou (a
i IRC bouncer to negativne ovlivnilo).
Zitra bychom potom asi dodelali zbytek (zatim velmi predbezne informace,
resim to za chodu).
Omlouvam se za potize :(
Delame kolektivne, co se da, aby bylo po problemech co nejdriv, ale
bohuzel to bude stat jeste nejaky ten nocni downtime.
/snajpa
_______________________________________________
Outage-list mailing list
Outage-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/outage-list