[vpsFree: outage-list] Problemy s vykonem po update

[Pavel Snajdr]

Tak aktualni situace vypada byt, ze veci bezi, monitoring poladil Sorki
a ja uz akorat nestiham kroutit hlavou, kde vsude clovek narazi na bugy :/

Celou dnesni sagu jsem shrnul do toho Jira ticketu @ OpenVZ, snad nebude
vadit anglictina (dole v komentarich):

https://bugs.openvz.org/browse/OVZ-6813

/snajpa

On 10/25/2016 01:20 AM, Pavel Snajdr wrote:
> Na node11 jsem zbytecne panikaril (a dostal mne paradni bug, kdy se FS
> zpomaluje, kdyz se kontejner dobyva na kvotu, je zas co reportovat).
> 
> Chci pomoct odladit OpenVZ vyvojarum tu chybu ve 120.3, takze potrebuju
> zachytit, co se deje, kdyz to zacne tuhnout (kdump). To bude na soucasne
> siti bohuzel trvat, takze pgnd 2-3h nebude dostupny (maximalne, spis k
> tem 2).
> 
> Na node2.brq se vrhneme hned po tom.
> 
> Dalsi nody budou nasledovat asi spis zitra, pokud vubec (ten performance
> propad na 120.3 neni tak strasny, pokud se tam nesejde nejaka race
> condition nejspis). Budeme situaci hlidat (ie. nechame monitoring
> poradne ty servery bombit dotazy na stav :D) a podle toho se uvidi zitra.
> 
> /snajpa
> 
> On 10/24/2016 04:51 PM, Pavel Snajdr wrote:
>> Ahojte,
>>
>> mozna jste si vsimli, ze to s vykonem po updatu neni vubec dobre, hlavne
>> co se tyce IO a netlink-related operaci (manipulace se sitovanim).
>>
>> Vypada to, ze spolu s fixem na Dirty COW jsme natahli i zmeny, ktery
>> maji negativni dopad na vykon celeho systemu.
>>
>> Takze jsem vyextrahoval patch na Dirty COW a aplikoval ho na verzi
>> kernelu, kterou jsme bezeli pred tim bez problemu.
>>
>> OpenVZ moc tomu testingu neda a nam se bohuzel v testovacim prostredi v
>> Brne taky vsechno neprojevilo, cili nas bude cekat velmi brzo jeste
>> jeden masovy update a reboot.
>>
>> Podle toho, jak se zadari, dneska v noci dodelame node1.pgnd (ten jeste
>> mozna pred pulnoci) a po jedne rano node2.brq; urcite musime taky neco
>> udelat s node11, kde vsechno trva neskutecne dlouho a aplikace tuhnou (a
>> i IRC bouncer to negativne ovlivnilo).
>>
>> Zitra bychom potom asi dodelali zbytek (zatim velmi predbezne informace,
>> resim to za chodu).
>>
>> Omlouvam se za potize :(
>>
>> Delame kolektivne, co se da, aby bylo po problemech co nejdriv, ale
>> bohuzel to bude stat jeste nejaky ten nocni downtime.
>>
>> /snajpa
>>
>>
>>
>> _______________________________________________
>> Outage-list mailing list
>> Outage-list at lists.vpsfree.cz
>> http://lists.vpsfree.cz/listinfo/outage-list
>>
> 
> 
> 
> _______________________________________________
> Outage-list mailing list
> Outage-list at lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/outage-list
> 

-------------- next part --------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 213 bytes
Desc: OpenPGP digital signature
URL: <http://lists.vpsfree.cz/pipermail/outage-list/attachments/20161025/fe322767/attachment.pgp>