Outage-list October 2016

outage-list@lists.vpsfree.cz

2 participants
9 discussions

Neplanovany vypadek / Unplanned outage - node13.prg - 2016-10-31 16:49
by podpora＠vpsFree.cz 31 Oct '16

31 Oct '16

Čas a datum výpadku: 2016-10-31 16:49 Očekavaná délka: 30 minut Výpadek se týká serverů: node13.prg Důvod: CPU soft lock up Detailnější popis: Výpadek vykonává: Pavel Snajdr ENGLISH: Date and time: 2016-10-31 16:49 Estimated duration: 30 minutes What's affected: node13.prg Reason: CPU soft lock up Performed by: Pavel Snajdr -----BEGIN BASE64 ENCODED PARSEABLE JSON----- eyJ0eXBlX2NzIjoiTmVwbGFub3ZhbnkiLCJ0eXBlX2VuIjoiVW5wbGFubmVkIiwiZGF0ZSI6IjIw MTYtMTAtMzEgMTY6NDkiLCJkdXJhdGlvbiI6IjMwIiwic2VydmVycyI6WyJub2RlMTMucHJnIl0s InJlYXNvbl9jcyI6IkNQVSBzb2Z0IGxvY2sgdXAiLCJkZXNjcmlwdGlvbl9jcyI6IiIsInJlYXNv bl9lbiI6IkNQVSBzb2Z0IGxvY2sgdXAiLCJwZXJmb3JtZWRfYnkiOiJQYXZlbCBTbmFqZHIiLCJw cm9ncmVzc191cGRhdGVzIjoiIn0= -----END BASE64 ENCODED PARSEABLE JSON-----

1 0

Problemy s vykonem po update
by Pavel Snajdr 25 Oct '16

25 Oct '16

Ahojte, mozna jste si vsimli, ze to s vykonem po updatu neni vubec dobre, hlavne co se tyce IO a netlink-related operaci (manipulace se sitovanim). Vypada to, ze spolu s fixem na Dirty COW jsme natahli i zmeny, ktery maji negativni dopad na vykon celeho systemu. Takze jsem vyextrahoval patch na Dirty COW a aplikoval ho na verzi kernelu, kterou jsme bezeli pred tim bez problemu. OpenVZ moc tomu testingu neda a nam se bohuzel v testovacim prostredi v Brne taky vsechno neprojevilo, cili nas bude cekat velmi brzo jeste jeden masovy update a reboot. Podle toho, jak se zadari, dneska v noci dodelame node1.pgnd (ten jeste mozna pred pulnoci) a po jedne rano node2.brq; urcite musime taky neco udelat s node11, kde vsechno trva neskutecne dlouho a aplikace tuhnou (a i IRC bouncer to negativne ovlivnilo). Zitra bychom potom asi dodelali zbytek (zatim velmi predbezne informace, resim to za chodu). Omlouvam se za potize :( Delame kolektivne, co se da, aby bylo po problemech co nejdriv, ale bohuzel to bude stat jeste nejaky ten nocni downtime. /snajpa

1 2

Neplanovany vypadek / Unplanned outage - node11.prg - 2016-10-24 01:04
by podpora＠vpsFree.cz 23 Oct '16

23 Oct '16

Čas a datum výpadku: 2016-10-24 01:04 Očekavaná délka: 40 minut Výpadek se týká serverů: node11.prg Důvod: Vadny RAM modul Detailnější popis: V node11 jsou DDR4 RAM, ktere nemame navic, jelikoz jsme nepocitali, ze DDR4 budou odchazet tak rychle. Cili musime 2 moduly vyndat a nove tam potom vratime, jakmile budeme instalovat 10Gbit sitovku. Výpadek vykonává: Pavel Snajdr ENGLISH: Date and time: 2016-10-24 01:04 Estimated duration: 40 minutes What's affected: node11.prg Reason: Bad RAM module Performed by: Pavel Snajdr -----BEGIN BASE64 ENCODED PARSEABLE JSON----- eyJ0eXBlX2NzIjoiTmVwbGFub3ZhbnkiLCJ0eXBlX2VuIjoiVW5wbGFubmVkIiwiZGF0ZSI6IjIw MTYtMTAtMjQgMDE6MDQiLCJkdXJhdGlvbiI6IjQwIiwic2VydmVycyI6WyJub2RlMTEucHJnIl0s InJlYXNvbl9jcyI6IlZhZG55IFJBTSBtb2R1bCIsImRlc2NyaXB0aW9uX2NzIjoiViBub2RlMTEg anNvdSBERFI0IFJBTSwga3RlcmUgbmVtYW1lIG5hdmljLCBqZWxpa296IGpzbWUgbmVwb2NpdGFs aSwgemUgRERSNCBidWRvdSBvZGNoYXpldCB0YWsgcnljaGxlLlxyXG5cclxuQ2lsaSBtdXNpbWUg MiBtb2R1bHkgdnluZGF0IGEgbm92ZSB0YW0gcG90b20gdnJhdGltZSwgamFrbWlsZSBidWRlbWUg aW5zdGFsb3ZhdCAxMEdiaXQgc2l0b3ZrdS4iLCJyZWFzb25fZW4iOiJCYWQgUkFNIG1vZHVsZSIs InBlcmZvcm1lZF9ieSI6IlBhdmVsIFNuYWpkciIsInByb2dyZXNzX3VwZGF0ZXMiOiIifQ== -----END BASE64 ENCODED PARSEABLE JSON-----

1 0

Neplanovany vypadek / Unplanned outage - node2.brq - 2016-10-23 18:55
by podpora＠vpsFree.cz 23 Oct '16

23 Oct '16

Čas a datum výpadku: 2016-10-23 18:55 Očekavaná délka: 30 minut Výpadek se týká serverů: node2.brq Důvod: Kernel bug Detailnější popis: Projevuje se stejny problem jako na node1.pgnd, viz https://bugs.openvz.org/browse/OVZ-6813 Výpadek vykonává: Pavel Snajdr ENGLISH: Date and time: 2016-10-23 18:55 Estimated duration: 30 minutes What's affected: node2.brq Reason: Kernel bug Performed by: Pavel Snajdr -----BEGIN BASE64 ENCODED PARSEABLE JSON----- eyJ0eXBlX2NzIjoiTmVwbGFub3ZhbnkiLCJ0eXBlX2VuIjoiVW5wbGFubmVkIiwiZGF0ZSI6IjIw MTYtMTAtMjMgMTg6NTUiLCJkdXJhdGlvbiI6IjMwIiwic2VydmVycyI6WyJub2RlMi5icnEiXSwi cmVhc29uX2NzIjoiS2VybmVsIGJ1ZyIsImRlc2NyaXB0aW9uX2NzIjoiUHJvamV2dWplIHNlIHN0 ZWpueSBwcm9ibGVtIGpha28gbmEgbm9kZTEucGduZCwgdml6IGh0dHBzOlwvXC9idWdzLm9wZW52 ei5vcmdcL2Jyb3dzZVwvT1ZaLTY4MTMiLCJyZWFzb25fZW4iOiJLZXJuZWwgYnVnIiwicGVyZm9y bWVkX2J5IjoiUGF2ZWwgU25hamRyIiwicHJvZ3Jlc3NfdXBkYXRlcyI6IiJ9 -----END BASE64 ENCODED PARSEABLE JSON-----

1 0

Planovany vypadek / Planned outage - node1.prg, node2.prg, node3.prg, node4.prg, node5.prg, node6.prg, node7.prg, node8.prg, node9.prg, node10.prg, node11.prg, node12.prg, node13.prg, node1.brq, node2.brq, node3.brq, node1.pgnd - 2016-10-23 01:00
by podpora＠vpsFree.cz 22 Oct '16

22 Oct '16

Čas a datum výpadku: 2016-10-23 01:00 Očekavaná délka: 320 minut Výpadek se týká serverů: node1.prg, node2.prg, node3.prg, node4.prg, node5.prg, node6.prg, node7.prg, node8.prg, node9.prg, node10.prg, node11.prg, node12.prg, node13.prg, node1.brq, node2.brq, node3.brq, node1.pgnd Důvod: Dirty COW fix Detailnější popis: Fix pro Dirty COW je venku a pujdeme nasazovat, nelibi se nam idea rozkladat vypadek pres nekolik noci, jelikoz je to vazna chyba. Takze update provedeme ve vlnach, zacneme Brnem a az zpatky nabehne, se vrhneme na Prahu. Vypadek per node by nemel prekrocit 60 minut. Výpadek vykonává: Pavel Snajdr, Richard Marko ENGLISH: Date and time: 2016-10-23 01:00 Estimated duration: 320 minutes What's affected: node1.prg, node2.prg, node3.prg, node4.prg, node5.prg, node6.prg, node7.prg, node8.prg, node9.prg, node10.prg, node11.prg, node12.prg, node13.prg, node1.brq, node2.brq, node3.brq, node1.pgnd Reason: Dirty COW fix Performed by: Pavel Snajdr, Richard Marko -----BEGIN BASE64 ENCODED PARSEABLE JSON----- eyJ0eXBlX2NzIjoiUGxhbm92YW55IiwidHlwZV9lbiI6IlBsYW5uZWQiLCJkYXRlIjoiMjAxNi0x MC0yMyAwMTowMCIsImR1cmF0aW9uIjoiMzIwIiwic2VydmVycyI6WyJub2RlMS5wcmciLCJub2Rl Mi5wcmciLCJub2RlMy5wcmciLCJub2RlNC5wcmciLCJub2RlNS5wcmciLCJub2RlNi5wcmciLCJu b2RlNy5wcmciLCJub2RlOC5wcmciLCJub2RlOS5wcmciLCJub2RlMTAucHJnIiwibm9kZTExLnBy ZyIsIm5vZGUxMi5wcmciLCJub2RlMTMucHJnIiwibm9kZTEuYnJxIiwibm9kZTIuYnJxIiwibm9k ZTMuYnJxIiwibm9kZTEucGduZCJdLCJyZWFzb25fY3MiOiJEaXJ0eSBDT1cgZml4IiwiZGVzY3Jp cHRpb25fY3MiOiJGaXggcHJvIERpcnR5IENPVyBqZSB2ZW5rdSBhIHB1amRlbWUgbmFzYXpvdmF0 LCBuZWxpYmkgc2UgbmFtIGlkZWEgcm96a2xhZGF0IHZ5cGFkZWsgcHJlcyBuZWtvbGlrIG5vY2ks IGplbGlrb3ogamUgdG8gdmF6bmEgY2h5YmEuXHJcblxyXG5UYWt6ZSB1cGRhdGUgcHJvdmVkZW1l IHZlIHZsbmFjaCwgemFjbmVtZSBCcm5lbSBhIGF6IHpwYXRreSBuYWJlaG5lLCBzZSB2cmhuZW1l IG5hIFByYWh1LlxyXG5cclxuVnlwYWRlayBwZXIgbm9kZSBieSBuZW1lbCBwcmVrcm9jaXQgNjAg bWludXQuIiwicmVhc29uX2VuIjoiRGlydHkgQ09XIGZpeCIsInBlcmZvcm1lZF9ieSI6IlBhdmVs IFNuYWpkciwgUmljaGFyZCBNYXJrbyIsInByb2dyZXNzX3VwZGF0ZXMiOiIifQ== -----END BASE64 ENCODED PARSEABLE JSON-----

1 0

Dirty COW
by Pavel Snajdr 22 Oct '16

22 Oct '16

Ahojte, asi jste zaznamenali Dirty COW bug v kernelu: http://dirtycow.ninja/ V tuhle chvili jeste neni dostupny patch pro RHEL6, takze planovany update nema smysl delat. Nicmene, vsechny exploity, co jsem na tu chybu nasel, nefunguji pod RHEL6 jadrem (natoz OpenVZ). Situaci sledujeme a jakmile bude dostupna oprava, hned tu noc udelame update (tzn. pravdepodobne nepujde dodrzet 24h notice o vypadku predem, ale proste to budeme resit nejblizsi nasledujici noc po tom, co Red Hat vyda opravu). Kdybyste kdokoliv mel neco k tomuhle tematu, stavte se prosim na IRC, pripadne napiste na podporu - zejmena, kdybyste nekdo vedel, kde najdu kod exploitu dcow pres ptrace syscall - ten exploit pres /proc/self/mem na EL6 nefunguje (ani bez OpenVZ). /snajpa

1 1

Planovany vypadek / Planned outage - node2.prg, node3.prg, node5.prg, node6.prg, node7.prg, node8.prg, node9.prg, node10.prg, node11.prg, node12.prg, node13.prg, node1.pgnd - 2016-10-24 01:00
by podpora＠vpsFree.cz 21 Oct '16

21 Oct '16

Čas a datum výpadku: 2016-10-24 01:00 Očekavaná délka: 120 minut Výpadek se týká serverů: node2.prg, node3.prg, node5.prg, node6.prg, node7.prg, node8.prg, node9.prg, node10.prg, node11.prg, node12.prg, node13.prg, node1.pgnd Důvod: Kernel update Detailnější popis: Dirty COW Bohuzel nemam jak takhle narychlo prepravit sebe a 10Gbit sitovky do datacentra, takze se to neda spojit v jeden vypadek. Výpadek vykonává: Pavel Snajdr, Richard Marko ENGLISH: Date and time: 2016-10-24 01:00 Estimated duration: 120 minutes What's affected: node2.prg, node3.prg, node5.prg, node6.prg, node7.prg, node8.prg, node9.prg, node10.prg, node11.prg, node12.prg, node13.prg, node1.pgnd Reason: Kernel update Performed by: Pavel Snajdr, Richard Marko -----BEGIN BASE64 ENCODED PARSEABLE JSON----- eyJ0eXBlX2NzIjoiUGxhbm92YW55IiwidHlwZV9lbiI6IlBsYW5uZWQiLCJkYXRlIjoiMjAxNi0x MC0yNCAwMTowMCIsImR1cmF0aW9uIjoiMTIwIiwic2VydmVycyI6WyJub2RlMi5wcmciLCJub2Rl My5wcmciLCJub2RlNS5wcmciLCJub2RlNi5wcmciLCJub2RlNy5wcmciLCJub2RlOC5wcmciLCJu b2RlOS5wcmciLCJub2RlMTAucHJnIiwibm9kZTExLnByZyIsIm5vZGUxMi5wcmciLCJub2RlMTMu cHJnIiwibm9kZTEucGduZCJdLCJyZWFzb25fY3MiOiJLZXJuZWwgdXBkYXRlIiwiZGVzY3JpcHRp b25fY3MiOiJEaXJ0eSBDT1dcclxuXHJcbkJvaHV6ZWwgbmVtYW0gamFrIHRha2hsZSBuYXJ5Y2hs byBwcmVwcmF2aXQgc2ViZSBhIDEwR2JpdCBzaXRvdmt5IGRvIGRhdGFjZW50cmEsIHRha3plIHNl IHRvIG5lZGEgc3Bvaml0IHYgamVkZW4gdnlwYWRlay4iLCJyZWFzb25fZW4iOiJLZXJuZWwgdXBk YXRlIiwicGVyZm9ybWVkX2J5IjoiUGF2ZWwgU25hamRyLCBSaWNoYXJkIE1hcmtvIiwicHJvZ3Jl c3NfdXBkYXRlcyI6IiJ9 -----END BASE64 ENCODED PARSEABLE JSON-----

1 0

Planovany vypadek / Planned outage - node1.brq, node2.brq, node3.brq - 2016-10-23 01:00
by podpora＠vpsFree.cz 21 Oct '16

21 Oct '16

Čas a datum výpadku: 2016-10-23 01:00 Očekavaná délka: 60 minut Výpadek se týká serverů: node1.brq, node2.brq, node3.brq Důvod: Kernel update Detailnější popis: Dirty COW Výpadek vykonává: Pavel Snajdr, Richard Marko ENGLISH: Date and time: 2016-10-23 01:00 Estimated duration: 60 minutes What's affected: node1.brq, node2.brq, node3.brq Reason: Kernel update Performed by: Pavel Snajdr, Richard Marko -----BEGIN BASE64 ENCODED PARSEABLE JSON----- eyJ0eXBlX2NzIjoiUGxhbm92YW55IiwidHlwZV9lbiI6IlBsYW5uZWQiLCJkYXRlIjoiMjAxNi0x MC0yMyAwMTowMCIsImR1cmF0aW9uIjoiNjAiLCJzZXJ2ZXJzIjpbIm5vZGUxLmJycSIsIm5vZGUy LmJycSIsIm5vZGUzLmJycSJdLCJyZWFzb25fY3MiOiJLZXJuZWwgdXBkYXRlIiwiZGVzY3JpcHRp b25fY3MiOiJEaXJ0eSBDT1ciLCJyZWFzb25fZW4iOiJLZXJuZWwgdXBkYXRlIiwicGVyZm9ybWVk X2J5IjoiUGF2ZWwgU25hamRyLCBSaWNoYXJkIE1hcmtvIiwicHJvZ3Jlc3NfdXBkYXRlcyI6IiJ9 -----END BASE64 ENCODED PARSEABLE JSON-----

1 0

Planovany vypadek / Planned outage - vpsadmin.vpsfree.cz - 2016-10-22 16:00
by podpora＠vpsFree.cz 18 Oct '16

18 Oct '16

Čas a datum výpadku: 2016-10-22 16:00 Očekavaná délka: 240 minut Výpadek se týká serverů: vpsadmin.vpsfree.cz Důvod: Aktualizace vpsAdminu Detailnější popis: Vypadek se dotkne jen vpsAdminu, niceho jineho. Nutne veci v tu dobu reste prosim pres podporu. ENGLISH: The outage will affect only vpsAdmin, nothing else. Contact our support in case of an emergency. Výpadek vykonává: Jakub Skokan ENGLISH: Date and time: 2016-10-22 16:00 Estimated duration: 240 minutes What's affected: vpsadmin.vpsfree.cz Reason: vpsAdmin upgrade Performed by: Jakub Skokan -----BEGIN BASE64 ENCODED PARSEABLE JSON----- eyJ0eXBlX2NzIjoiUGxhbm92YW55IiwidHlwZV9lbiI6IlBsYW5uZWQiLCJkYXRlIjoiMjAxNi0x MC0yMiAxNjowMCIsImR1cmF0aW9uIjoiMjQwIiwic2VydmVycyI6WyJ2cHNhZG1pbi52cHNmcmVl LmN6Il0sInJlYXNvbl9jcyI6IkFrdHVhbGl6YWNlIHZwc0FkbWludSIsImRlc2NyaXB0aW9uX2Nz IjoiVnlwYWRlayBzZSBkb3RrbmUgamVuIHZwc0FkbWludSwgbmljZWhvIGppbmVoby4gTnV0bmUg dmVjaSB2IHR1IGRvYnUgcmVzdGUgcHJvc2ltIHByZXMgcG9kcG9ydS5cclxuXHJcblxyXG5FTkdM SVNIOlxyXG5UaGUgb3V0YWdlIHdpbGwgYWZmZWN0IG9ubHkgdnBzQWRtaW4sIG5vdGhpbmcgZWxz ZS4gQ29udGFjdCBvdXIgc3VwcG9ydCBpbiBjYXNlIG9mIGFuIGVtZXJnZW5jeS4iLCJyZWFzb25f ZW4iOiJ2cHNBZG1pbiB1cGdyYWRlIiwicGVyZm9ybWVkX2J5IjoiSmFrdWIgU2tva2FuIiwicHJv Z3Jlc3NfdXBkYXRlcyI6IiJ9 -----END BASE64 ENCODED PARSEABLE JSON-----

1 0

2025

2024

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

Outage-list October 2016