Datum a čas: 2021-09-25 12:41 CEST
Očekavaná délka: 35 minut
Oznámení se týká serverů: node15.prg
Typ výpadku: vps_reset
Důvod: Posledni node s ucounts bugy
Výpadek řeší: Pavel Šnajdr, Jakub Skokan
ENGLISH:
Date and time: 2021-09-25 12:41 CEST
Expected duration: 35 minutes
Affected systems: node15.prg
Outage type: vps_reset
Reason: Last node to die of ucounts bugs
Handled by: Pavel Šnajdr, Jakub Skokan
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6ODM5LCJwbGFubmVkIjpmYWxzZSwiYmVnaW5zX2F0IjoiMjAyMS0w
OS0yNVQxMjo0MTowMCswMjowMCIsImR1cmF0aW9uIjozNSwidHlwZSI6InZw
c19yZXNldCIsImVudGl0aWVzIjpbeyJuYW1lIjoiTm9kZSIsImlkIjoxMTYs
ImxhYmVsIjoibm9kZTE1LnByZyJ9XSwiaGFuZGxlcnMiOlsiUGF2ZWwgxaBu
YWpkciIsIkpha3ViIFNrb2thbiJdLCJ0cmFuc2xhdGlvbnMiOnsiZW4iOnsi
c3VtbWFyeSI6Ikxhc3Qgbm9kZSB0byBkaWUgb2YgdWNvdW50cyBidWdzIiwi
ZGVzY3JpcHRpb24iOm51bGx9LCJjcyI6eyJzdW1tYXJ5IjoiUG9zbGVkbmkg
bm9kZSBzIHVjb3VudHMgYnVneSIsImRlc2NyaXB0aW9uIjpudWxsfX19
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2021-09-20 15:27 CEST
Očekavaná délka: 35 minut
Oznámení se týká serverů: node16.prg
Typ výpadku: vps_reset
Důvod: Kernel bug
Výpadek řeší: Jakub Skokan
Melo by byt opraveno v 5.10.60+
ENGLISH:
Date and time: 2021-09-20 15:27 CEST
Expected duration: 35 minutes
Affected systems: node16.prg
Outage type: vps_reset
Reason: Kernel bug
Handled by: Jakub Skokan
Should be fixed in kernel 5.10.60+
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6ODM4LCJwbGFubmVkIjpmYWxzZSwiYmVnaW5zX2F0IjoiMjAyMS0w
OS0yMFQxNToyNzowMCswMjowMCIsImR1cmF0aW9uIjozNSwidHlwZSI6InZw
c19yZXNldCIsImVudGl0aWVzIjpbeyJuYW1lIjoiTm9kZSIsImlkIjoxMTcs
ImxhYmVsIjoibm9kZTE2LnByZyJ9XSwiaGFuZGxlcnMiOlsiSmFrdWIgU2tv
a2FuIl0sInRyYW5zbGF0aW9ucyI6eyJlbiI6eyJzdW1tYXJ5IjoiS2VybmVs
IGJ1ZyIsImRlc2NyaXB0aW9uIjoiU2hvdWxkIGJlIGZpeGVkIGluIGtlcm5l
bCA1LjEwLjYwKyJ9LCJjcyI6eyJzdW1tYXJ5IjoiS2VybmVsIGJ1ZyIsImRl
c2NyaXB0aW9uIjoiTWVsbyBieSBieXQgb3ByYXZlbm8gdiA1LjEwLjYwKyJ9
fX0=
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2021-09-16 15:02 CEST
Očekavaná délka: 30 minut
Oznámení se týká serverů: node1.stg
Typ odstávky: vps_restart
Důvod: Aktualizace OS a test PXE bootu
Odstávku řeší: Jakub Skokan
ENGLISH:
Date and time: 2021-09-16 15:02 CEST
Expected duration: 30 minutes
Affected systems: node1.stg
Maintenance type: vps_restart
Reason: OS upgrade / PXE boot test
Handled by: Jakub Skokan
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6ODM1LCJwbGFubmVkIjp0cnVlLCJiZWdpbnNfYXQiOiIyMDIxLTA5
LTE2VDE1OjAyOjAwKzAyOjAwIiwiZHVyYXRpb24iOjMwLCJ0eXBlIjoidnBz
X3Jlc3RhcnQiLCJlbnRpdGllcyI6W3sibmFtZSI6Ik5vZGUiLCJpZCI6NDAw
LCJsYWJlbCI6Im5vZGUxLnN0ZyJ9XSwiaGFuZGxlcnMiOlsiSmFrdWIgU2tv
a2FuIl0sInRyYW5zbGF0aW9ucyI6eyJlbiI6eyJzdW1tYXJ5IjoiT1MgdXBn
cmFkZSAvIFBYRSBib290IHRlc3QiLCJkZXNjcmlwdGlvbiI6bnVsbH0sImNz
Ijp7InN1bW1hcnkiOiJBa3R1YWxpemFjZSBPUyBhIHRlc3QgUFhFIGJvb3R1
IiwiZGVzY3JpcHRpb24iOm51bGx9fX0=
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2021-09-10 22:25 CEST
Očekavaná délka: 60 minut
Oznámení se týká serverů: nasbox.prg
Typ výpadku: network
Důvod: Reset kvůli chybě v kernelu
Výpadek řeší: Pavel Šnajdr, Jakub Skokan
Podezříváme souhru nějaké chyby na nasboxu a v OpenVZ kernelu, která způsobuje dnešní pády OpenVZ nodů.
ENGLISH:
Date and time: 2021-09-10 22:25 CEST
Expected duration: 60 minutes
Affected systems: nasbox.prg
Outage type: network
Reason: Reset due to a kernel bug
Handled by: Pavel Šnajdr, Jakub Skokan
We suspect that a bug between nasbox and the OpenVZ kernel causes today's outages of OpenVZ nodes.
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6ODM0LCJwbGFubmVkIjpmYWxzZSwiYmVnaW5zX2F0IjoiMjAyMS0w
OS0xMFQyMjoyNTowMCswMjowMCIsImR1cmF0aW9uIjo2MCwidHlwZSI6Im5l
dHdvcmsiLCJlbnRpdGllcyI6W3sibmFtZSI6Ik5vZGUiLCJpZCI6MTcwLCJs
YWJlbCI6Im5hc2JveC5wcmcifV0sImhhbmRsZXJzIjpbIlBhdmVsIMWgbmFq
ZHIiLCJKYWt1YiBTa29rYW4iXSwidHJhbnNsYXRpb25zIjp7ImVuIjp7InN1
bW1hcnkiOiJSZXNldCBkdWUgdG8gYSBrZXJuZWwgYnVnIiwiZGVzY3JpcHRp
b24iOiJXZSBzdXNwZWN0IHRoYXQgYSBidWcgYmV0d2VlbiBuYXNib3ggYW5k
IHRoZSBPcGVuVloga2VybmVsIGNhdXNlcyB0b2RheSdzIG91dGFnZXMgb2Yg
T3BlblZaIG5vZGVzLiJ9LCJjcyI6eyJzdW1tYXJ5IjoiUmVzZXQga3bFr2xp
IGNoeWLEmyB2IGtlcm5lbHUiLCJkZXNjcmlwdGlvbiI6IlBvZGV6xZnDrXbD
oW1lIHNvdWhydSBuxJtqYWvDqSBjaHlieSBuYSBuYXNib3h1IGEgdiBPcGVu
Vloga2VybmVsdSwga3RlcsOhIHpwxa9zb2J1amUgZG5lxaFuw60gcMOhZHkg
T3BlblZaIG5vZMWvLiJ9fX0=
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2021-09-10 21:23 CEST
Očekavaná délka: 40 minut
Oznámení se týká serverů: node3.brq
Typ výpadku: vps_reset
Důvod: ... dalsi vz noda dole: vypada to na spatny firmware v ssd
Výpadek řeší: Pavel Šnajdr, Jakub Skokan
soucasna downtime-parada ma jediny spolecny jmenovatel: nova Inteli SSDcka ve vsech dotcenych nodech...
stale zjistujeme, co presne se to deje :(
docela zabavny den...
ENGLISH:
Date and time: 2021-09-10 21:23 CEST
Expected duration: 40 minutes
Affected systems: node3.brq
Outage type: vps_reset
Reason: ... another vz node down: looks like bad ssd firmware
Handled by: Pavel Šnajdr, Jakub Skokan
the current downtime streak has one common denominator: new Intel SSDs in all the nodes...
still investigating :(
what a funny day...
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6ODMzLCJwbGFubmVkIjpmYWxzZSwiYmVnaW5zX2F0IjoiMjAyMS0w
OS0xMFQyMToyMzowMCswMjowMCIsImR1cmF0aW9uIjo0MCwidHlwZSI6InZw
c19yZXNldCIsImVudGl0aWVzIjpbeyJuYW1lIjoiTm9kZSIsImlkIjoyMTIs
ImxhYmVsIjoibm9kZTMuYnJxIn1dLCJoYW5kbGVycyI6WyJQYXZlbCDFoG5h
amRyIiwiSmFrdWIgU2tva2FuIl0sInRyYW5zbGF0aW9ucyI6eyJlbiI6eyJz
dW1tYXJ5IjoiLi4uIGFub3RoZXIgdnogbm9kZSBkb3duOiBsb29rcyBsaWtl
IGJhZCBzc2QgZmlybXdhcmUiLCJkZXNjcmlwdGlvbiI6InRoZSBjdXJyZW50
IGRvd250aW1lIHN0cmVhayBoYXMgb25lIGNvbW1vbiBkZW5vbWluYXRvcjog
bmV3IEludGVsIFNTRHMgaW4gYWxsIHRoZSBub2Rlcy4uLlxyXG5cclxuc3Rp
bGwgaW52ZXN0aWdhdGluZyA6KFxyXG5cclxud2hhdCBhIGZ1bm55IGRheS4u
LiJ9LCJjcyI6eyJzdW1tYXJ5IjoiLi4uIGRhbHNpIHZ6IG5vZGEgZG9sZTog
dnlwYWRhIHRvIG5hIHNwYXRueSBmaXJtd2FyZSB2IHNzZCIsImRlc2NyaXB0
aW9uIjoic291Y2FzbmEgZG93bnRpbWUtcGFyYWRhIG1hIGplZGlueSBzcG9s
ZWNueSBqbWVub3ZhdGVsOiBub3ZhIEludGVsaSBTU0Rja2EgdmUgdnNlY2gg
ZG90Y2VueWNoIG5vZGVjaC4uLlxyXG5cclxuc3RhbGUgemppc3R1amVtZSwg
Y28gcHJlc25lIHNlIHRvIGRlamUgOihcclxuXHJcbmRvY2VsYSB6YWJhdm55
IGRlbi4uLiJ9fX0=
-----END BASE64 ENCODED PARSEABLE JSON-----