[vpsFree: outage-list] Problemy s vykonem po update

[Pavel Snajdr]

Na node11 jsem zbytecne panikaril (a dostal mne paradni bug, kdy se FS
zpomaluje, kdyz se kontejner dobyva na kvotu, je zas co reportovat).

Chci pomoct odladit OpenVZ vyvojarum tu chybu ve 120.3, takze potrebuju
zachytit, co se deje, kdyz to zacne tuhnout (kdump). To bude na soucasne
siti bohuzel trvat, takze pgnd 2-3h nebude dostupny (maximalne, spis k
tem 2).

Na node2.brq se vrhneme hned po tom.

Dalsi nody budou nasledovat asi spis zitra, pokud vubec (ten performance
propad na 120.3 neni tak strasny, pokud se tam nesejde nejaka race
condition nejspis). Budeme situaci hlidat (ie. nechame monitoring
poradne ty servery bombit dotazy na stav :D) a podle toho se uvidi zitra.

/snajpa

On 10/24/2016 04:51 PM, Pavel Snajdr wrote:
> Ahojte,
> 
> mozna jste si vsimli, ze to s vykonem po updatu neni vubec dobre, hlavne
> co se tyce IO a netlink-related operaci (manipulace se sitovanim).
> 
> Vypada to, ze spolu s fixem na Dirty COW jsme natahli i zmeny, ktery
> maji negativni dopad na vykon celeho systemu.
> 
> Takze jsem vyextrahoval patch na Dirty COW a aplikoval ho na verzi
> kernelu, kterou jsme bezeli pred tim bez problemu.
> 
> OpenVZ moc tomu testingu neda a nam se bohuzel v testovacim prostredi v
> Brne taky vsechno neprojevilo, cili nas bude cekat velmi brzo jeste
> jeden masovy update a reboot.
> 
> Podle toho, jak se zadari, dneska v noci dodelame node1.pgnd (ten jeste
> mozna pred pulnoci) a po jedne rano node2.brq; urcite musime taky neco
> udelat s node11, kde vsechno trva neskutecne dlouho a aplikace tuhnou (a
> i IRC bouncer to negativne ovlivnilo).
> 
> Zitra bychom potom asi dodelali zbytek (zatim velmi predbezne informace,
> resim to za chodu).
> 
> Omlouvam se za potize :(
> 
> Delame kolektivne, co se da, aby bylo po problemech co nejdriv, ale
> bohuzel to bude stat jeste nejaky ten nocni downtime.
> 
> /snajpa
> 
> 
> 
> _______________________________________________
> Outage-list mailing list
> Outage-list at lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/outage-list
> 

-------------- next part --------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 213 bytes
Desc: OpenPGP digital signature
URL: <http://lists.vpsfree.cz/pipermail/outage-list/attachments/20161025/74839f0c/attachment.pgp>