Datum a čas: 2022-06-02 10:45 CEST
Očekavaná délka: 360 minut
Oznámení se týká serverů: Praha, Playground, Praha Storage, Staging
Typ výpadku: vps_reset
Důvod: Výpadek napájení v MasterDC Praha
Výpadek řeší: Pavel Šnajdr, Tomáš Srnka, Jakub Skokan, Martin Myška
V DC v Praze vypadly obě větve napájení. Od obnovy napájení a konektivity jsme pracovali na zprovoznění všech VPS. Aktuálně by měly běžet všechny nody a VPS.
Omlouváme se pokud jsme nezvedli telefon nebo nenapsali dříve, naším cílem bylo co nejdříve zprovoznit všechny systému.
ENGLISH:
Date and time: 2022-06-02 10:45 CEST
Expected duration: 360 minutes
Affected systems: Praha, Playground, Praha Storage, Staging
Outage type: vps_reset
Reason: Power outage in MasterDC Praha
Handled by: Pavel Šnajdr, Tomáš Srnka, Jakub Skokan, Martin Myška
Both power lines went down in MasterDC Praha. We've been working on recovery as soon as power and network connectivity were renewed. This meant restarting all of our hardware. Right now, all nodes should be up and running.
We apologies for not picking up the phone or writing sooner, all of our efforts went to recover our systems.
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6OTA0LCJwbGFubmVkIjpmYWxzZSwiYmVnaW5zX2F0IjoiMjAyMi0w
Ni0wMlQxMDo0NTowMCswMjowMCIsImR1cmF0aW9uIjozNjAsInR5cGUiOiJ2
cHNfcmVzZXQiLCJlbnRpdGllcyI6W3sibmFtZSI6IkxvY2F0aW9uIiwiaWQi
OjMsImxhYmVsIjoiUHJhaGEifSx7Im5hbWUiOiJMb2NhdGlvbiIsImlkIjo1
LCJsYWJlbCI6IlBsYXlncm91bmQifSx7Im5hbWUiOiJMb2NhdGlvbiIsImlk
Ijo2LCJsYWJlbCI6IlByYWhhIFN0b3JhZ2UifSx7Im5hbWUiOiJMb2NhdGlv
biIsImlkIjo3LCJsYWJlbCI6IlN0YWdpbmcifV0sImhhbmRsZXJzIjpbIlBh
dmVsIMWgbmFqZHIiLCJUb23DocWhIFNybmthIiwiSmFrdWIgU2tva2FuIiwi
TWFydGluIE15xaFrYSJdLCJ0cmFuc2xhdGlvbnMiOnsiZW4iOnsic3VtbWFy
eSI6IlBvd2VyIG91dGFnZSBpbiBNYXN0ZXJEQyBQcmFoYSIsImRlc2NyaXB0
aW9uIjoiQm90aCBwb3dlciBsaW5lcyB3ZW50IGRvd24gaW4gTWFzdGVyREMg
UHJhaGEuIFdlJ3ZlIGJlZW4gd29ya2luZyBvbiByZWNvdmVyeSBhcyBzb29u
IGFzIHBvd2VyIGFuZCBuZXR3b3JrIGNvbm5lY3Rpdml0eSB3ZXJlIHJlbmV3
ZWQuIFRoaXMgbWVhbnQgcmVzdGFydGluZyBhbGwgb2Ygb3VyIGhhcmR3YXJl
LiBSaWdodCBub3csIGFsbCBub2RlcyBzaG91bGQgYmUgdXAgYW5kIHJ1bm5p
bmcuXHJcblxyXG5XZSBhcG9sb2dpZXMgZm9yIG5vdCBwaWNraW5nIHVwIHRo
ZSBwaG9uZSBvciB3cml0aW5nIHNvb25lciwgYWxsIG9mIG91ciBlZmZvcnRz
IHdlbnQgdG8gcmVjb3ZlciBvdXIgc3lzdGVtcy4ifSwiY3MiOnsic3VtbWFy
eSI6IlbDvXBhZGVrIG5hcMOhamVuw60gdiBNYXN0ZXJEQyBQcmFoYSIsImRl
c2NyaXB0aW9uIjoiViBEQyB2IFByYXplIHZ5cGFkbHkgb2LEmyB2xJt0dmUg
bmFww6FqZW7DrS4gT2Qgb2Jub3Z5IG5hcMOhamVuw60gYSBrb25la3Rpdml0
eSBqc21lIHByYWNvdmFsaSBuYSB6cHJvdm96bsSbbsOtIHbFoWVjaCBWUFMu
IEFrdHXDoWxuxJsgYnkgbcSbbHkgYsSbxb5ldCB2xaFlY2hueSBub2R5IGEg
VlBTLlxyXG5cclxuT21sb3V2w6FtZSBzZSBwb2t1ZCBqc21lIG5lenZlZGxp
IHRlbGVmb24gbmVibyBuZW5hcHNhbGkgZMWZw612ZSwgbmHFocOtbSBjw61s
ZW0gYnlsbyBjbyBuZWpkxZnDrXZlIHpwcm92b3puaXQgdsWhZWNobnkgc3lz
dMOpbXUuIn19fQ==
-----END BASE64 ENCODED PARSEABLE JSON-----
Přeposílám zprávu od Master Internet s poznámkou, že naše technologie,
které jsou potřeba pro provoz VPS a jejich přístup do Internetu, mají
duální napájení, takže pokud nevypadnou obě větve najednou, nemělo by to
provoz nijak ovlivnit.
/snajpa
--------
Vážený zákazníku,
dovolte nám Vás informovat o revizním a servisním zásahu, který proběhne
na obou napájecích větvích v pražském datacentru. Se servisní organizací
jsme je naplánovali na příští týden.
V návaznosti na čtvrteční incident jsme se rozhodli provést v úterý 7.
6. 2022 mezi 19:00–21:00 revizi napájecí větve B zahrnující i
preventivní posílení UPS jednotek této větve. Při těchto pracích je
riziko výpadku velmi nízké a neočekáváme narušení běhu vašich služeb.
Ve středu 8. 6. 2022 mezi 5:00–7:00 proběhnou servisní práce na napájecí
větvi A. Během zásahu bude nutné větev odstavit, v tomto časovém okně
proto dojde k nedostupnosti služeb. Před akcí je potřeba provést
korektní vypnutí serveru. Máte-li na serveru správně nastavený
autostart, mělo by po připojení napájení dojít k automatickému zapnutí
technologie. V případě, že potřebujete s vypnutím/zapnutím či následnou
kontrolou hardware nějak pomoct, kontaktujte nás s předstihem na
support(a)master.cz.
**********************************************
DATUM A ČAS: 7. 6. 2022 19:00–21:00 a 8. 6. 2022 5:00–7:00
TYP UDÁLOSTI: Plánovaný servisní zásah
POPIS: Revize a servis UPS jednotek
DOPAD: revize větve B – minimální riziko výpadku, servis větve A –
výpadek v průběhu časového okna
ZASAŽENÉ SLUŽBY: Duální elektrický jistič - 16A, Duální elektrický
jistič - 32A, Duální elektrický jistič - 32A, Jistič - 16A - Napájecí
větev A
**********************************************
Děkujeme za pochopení a omlouváme se za případné nesnáze. Pokud máte
jakékoli dotazy, neváhejte se na nás obrátit. Kolegové z technické
podpory jsou Vám plně k dispozici na telefonu +420 515 919 805 a e-mailu
support(a)master.cz.
Za MasterDC zdraví
Veronika Jakubová
MasterDC
https://www.master.cz/
support(a)master.cz
Datum a čas: 2022-05-02 02:15 CEST
Očekavaná délka: 35 minut
Oznámení se týká serverů: node16.prg
Typ odstávky: vps_restart
Důvod: Upgrade na Linux 5.10.117
Odstávku řeší: Martin Myška
ENGLISH:
Date and time: 2022-05-02 02:15 CEST
Expected duration: 35 minutes
Affected systems: node16.prg
Maintenance type: vps_restart
Reason: Upgrade to Linux 5.10.117
Handled by: Martin Myška
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6OTAwLCJwbGFubmVkIjp0cnVlLCJiZWdpbnNfYXQiOiIyMDIyLTA1
LTAyVDAyOjE1OjAwKzAyOjAwIiwiZHVyYXRpb24iOjM1LCJ0eXBlIjoidnBz
X3Jlc3RhcnQiLCJlbnRpdGllcyI6W3sibmFtZSI6Ik5vZGUiLCJpZCI6MTE3
LCJsYWJlbCI6Im5vZGUxNi5wcmcifV0sImhhbmRsZXJzIjpbIk1hcnRpbiBN
ecWha2EiXSwidHJhbnNsYXRpb25zIjp7ImVuIjp7InN1bW1hcnkiOiJVcGdy
YWRlIHRvIExpbnV4IDUuMTAuMTE3IiwiZGVzY3JpcHRpb24iOm51bGx9LCJj
cyI6eyJzdW1tYXJ5IjoiVXBncmFkZSBuYSBMaW51eCA1LjEwLjExNyIsImRl
c2NyaXB0aW9uIjpudWxsfX19
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2022-05-02 01:40 CEST
Očekavaná délka: 35 minut
Oznámení se týká serverů: node15.prg
Typ odstávky: vps_restart
Důvod: Upgrade na Linux 5.10.117
Odstávku řeší: Martin Myška
ENGLISH:
Date and time: 2022-05-02 01:40 CEST
Expected duration: 35 minutes
Affected systems: node15.prg
Maintenance type: vps_restart
Reason: Upgrade to Linux 5.10.117
Handled by: Martin Myška
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6ODk5LCJwbGFubmVkIjp0cnVlLCJiZWdpbnNfYXQiOiIyMDIyLTA1
LTAyVDAxOjQwOjAwKzAyOjAwIiwiZHVyYXRpb24iOjM1LCJ0eXBlIjoidnBz
X3Jlc3RhcnQiLCJlbnRpdGllcyI6W3sibmFtZSI6Ik5vZGUiLCJpZCI6MTE2
LCJsYWJlbCI6Im5vZGUxNS5wcmcifV0sImhhbmRsZXJzIjpbIk1hcnRpbiBN
ecWha2EiXSwidHJhbnNsYXRpb25zIjp7ImVuIjp7InN1bW1hcnkiOiJVcGdy
YWRlIHRvIExpbnV4IDUuMTAuMTE3IiwiZGVzY3JpcHRpb24iOm51bGx9LCJj
cyI6eyJzdW1tYXJ5IjoiVXBncmFkZSBuYSBMaW51eCA1LjEwLjExNyIsImRl
c2NyaXB0aW9uIjpudWxsfX19
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2022-05-02 02:50 CEST
Očekavaná délka: 35 minut
Oznámení se týká serverů: node18.prg
Typ odstávky: vps_restart
Důvod: Upgrade na Linux 5.10.117
Odstávku řeší: Martin Myška
ENGLISH:
Date and time: 2022-05-02 02:50 CEST
Expected duration: 35 minutes
Affected systems: node18.prg
Maintenance type: vps_restart
Reason: Upgrade to Linux 5.10.117
Handled by: Martin Myška
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6OTAxLCJwbGFubmVkIjp0cnVlLCJiZWdpbnNfYXQiOiIyMDIyLTA1
LTAyVDAyOjUwOjAwKzAyOjAwIiwiZHVyYXRpb24iOjM1LCJ0eXBlIjoidnBz
X3Jlc3RhcnQiLCJlbnRpdGllcyI6W3sibmFtZSI6Ik5vZGUiLCJpZCI6MTE5
LCJsYWJlbCI6Im5vZGUxOC5wcmcifV0sImhhbmRsZXJzIjpbIk1hcnRpbiBN
ecWha2EiXSwidHJhbnNsYXRpb25zIjp7ImVuIjp7InN1bW1hcnkiOiJVcGdy
YWRlIHRvIExpbnV4IDUuMTAuMTE3IiwiZGVzY3JpcHRpb24iOm51bGx9LCJj
cyI6eyJzdW1tYXJ5IjoiVXBncmFkZSBuYSBMaW51eCA1LjEwLjExNyIsImRl
c2NyaXB0aW9uIjpudWxsfX19
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2022-05-02 01:05 CEST
Očekavaná délka: 35 minut
Oznámení se týká serverů: node13.prg
Typ odstávky: vps_restart
Důvod: Upgrade na Linux 5.10.117
Odstávku řeší: Martin Myška
ENGLISH:
Date and time: 2022-05-02 01:05 CEST
Expected duration: 35 minutes
Affected systems: node13.prg
Maintenance type: vps_restart
Reason: Upgrade to Linux 5.10.117
Handled by: Martin Myška
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6ODk4LCJwbGFubmVkIjp0cnVlLCJiZWdpbnNfYXQiOiIyMDIyLTA1
LTAyVDAxOjA1OjAwKzAyOjAwIiwiZHVyYXRpb24iOjM1LCJ0eXBlIjoidnBz
X3Jlc3RhcnQiLCJlbnRpdGllcyI6W3sibmFtZSI6Ik5vZGUiLCJpZCI6MTE0
LCJsYWJlbCI6Im5vZGUxMy5wcmcifV0sImhhbmRsZXJzIjpbIk1hcnRpbiBN
ecWha2EiXSwidHJhbnNsYXRpb25zIjp7ImVuIjp7InN1bW1hcnkiOiJVcGdy
YWRlIHRvIExpbnV4IDUuMTAuMTE3IiwiZGVzY3JpcHRpb24iOm51bGx9LCJj
cyI6eyJzdW1tYXJ5IjoiVXBncmFkZSBuYSBMaW51eCA1LjEwLjExNyIsImRl
c2NyaXB0aW9uIjpudWxsfX19
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2022-06-01 07:05 CEST
Očekavaná délka: 90 minut
Oznámení se týká serverů: node11.prg
Typ výpadku: vps_reset
Důvod: ZFS se zaseknulo
Výpadek řeší: Jakub Skokan
Omlouváme se za delší výpadek, bohužel jsme si toho všimli pozdě.
ENGLISH:
Date and time: 2022-06-01 07:05 CEST
Expected duration: 90 minutes
Affected systems: node11.prg
Outage type: vps_reset
Reason: ZFS deadlock
Handled by: Jakub Skokan
Apologies for the long outage, we haven't noticed the issue in time.
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6OTAyLCJwbGFubmVkIjpmYWxzZSwiYmVnaW5zX2F0IjoiMjAyMi0w
Ni0wMVQwNzowNTowMCswMjowMCIsImR1cmF0aW9uIjo5MCwidHlwZSI6InZw
c19yZXNldCIsImVudGl0aWVzIjpbeyJuYW1lIjoiTm9kZSIsImlkIjoxMTIs
ImxhYmVsIjoibm9kZTExLnByZyJ9XSwiaGFuZGxlcnMiOlsiSmFrdWIgU2tv
a2FuIl0sInRyYW5zbGF0aW9ucyI6eyJlbiI6eyJzdW1tYXJ5IjoiWkZTIGRl
YWRsb2NrIiwiZGVzY3JpcHRpb24iOiJBcG9sb2dpZXMgZm9yIHRoZSBsb25n
IG91dGFnZSwgd2UgaGF2ZW4ndCBub3RpY2VkIHRoZSBpc3N1ZSBpbiB0aW1l
LiJ9LCJjcyI6eyJzdW1tYXJ5IjoiWkZTIHNlIHphc2VrbnVsbyIsImRlc2Ny
aXB0aW9uIjoiT21sb3V2w6FtZSBzZSB6YSBkZWzFocOtIHbDvXBhZGVrLCBi
b2h1xb5lbCBqc21lIHNpIHRvaG8gdsWhaW1saSBwb3pkxJsuIn19fQ==
-----END BASE64 ENCODED PARSEABLE JSON-----