Datum a čas: 2019-03-27 16:00 CET
Očekavaná délka: 90 minut
Oznámení se týká serverů: node2.brq
Typ výpadku: reset
Důvod: System nereagoval
Výpadek řeší: Pavel Šnajdr, Jakub Skokan
ENGLISH:
Date and time: 2019-03-27 16:00 CET
Expected duration: 90 minutes
Affected systems: node2.brq
Outage type: reset
Reason: System unresponsive
Handled by: Pavel Šnajdr, Jakub Skokan
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6NTEzLCJwbGFubmVkIjpmYWxzZSwiYmVnaW5zX2F0IjoiMjAxOS0w
My0yN1QxNjowMDowMCswMTowMCIsImR1cmF0aW9uIjo5MCwidHlwZSI6InJl
c2V0IiwiZW50aXRpZXMiOlt7Im5hbWUiOiJOb2RlIiwiaWQiOjIxMSwibGFi
ZWwiOiJub2RlMi5icnEifV0sImhhbmRsZXJzIjpbIlBhdmVsIMWgbmFqZHIi
LCJKYWt1YiBTa29rYW4iXSwidHJhbnNsYXRpb25zIjp7ImVuIjp7InN1bW1h
cnkiOiJTeXN0ZW0gdW5yZXNwb25zaXZlIiwiZGVzY3JpcHRpb24iOm51bGx9
LCJjcyI6eyJzdW1tYXJ5IjoiU3lzdGVtIG5lcmVhZ292YWwiLCJkZXNjcmlw
dGlvbiI6bnVsbH19fQ==
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2019-03-15 15:25 CET
Očekavaná délka: 180 minut
Oznámení se týká serverů: nasbox.prg
Typ výpadku: maintenance
Důvod: Nedostupne mounty z nasboxu
Výpadek řeší: Pavel Šnajdr, Jakub Skokan
Exportovani NAS datasetu na staging zpusobilo nedostupnost vsech mountu. Pracujeme na naprave. Prosim nerestartujte VPS, nicemu to nepomuze.
ENGLISH:
Date and time: 2019-03-15 15:25 CET
Expected duration: 180 minutes
Affected systems: nasbox.prg
Outage type: maintenance
Reason: NAS mounts unavailable
Handled by: Pavel Šnajdr, Jakub Skokan
While trying to export NAS datasets to staging, all mounts inadvertently became unavailable. We're in the process of restoring access. Please do not restart your VPS, it won't help.
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6NTExLCJwbGFubmVkIjpmYWxzZSwiYmVnaW5zX2F0IjoiMjAxOS0w
My0xNVQxNToyNTowMCswMTowMCIsImR1cmF0aW9uIjoxODAsInR5cGUiOiJt
YWludGVuYW5jZSIsImVudGl0aWVzIjpbeyJuYW1lIjoiTm9kZSIsImlkIjox
NzAsImxhYmVsIjoibmFzYm94LnByZyJ9XSwiaGFuZGxlcnMiOlsiUGF2ZWwg
xaBuYWpkciIsIkpha3ViIFNrb2thbiJdLCJ0cmFuc2xhdGlvbnMiOnsiZW4i
Onsic3VtbWFyeSI6Ik5BUyBtb3VudHMgdW5hdmFpbGFibGUiLCJkZXNjcmlw
dGlvbiI6IldoaWxlIHRyeWluZyB0byBleHBvcnQgTkFTIGRhdGFzZXRzIHRv
IHN0YWdpbmcsIGFsbCBtb3VudHMgaW5hZHZlcnRlbnRseSBiZWNhbWUgdW5h
dmFpbGFibGUuIFdlJ3JlIGluIHRoZSBwcm9jZXNzIG9mIHJlc3RvcmluZyBh
Y2Nlc3MuIFBsZWFzZSBkbyBub3QgcmVzdGFydCB5b3VyIFZQUywgaXQgd29u
J3QgaGVscC4ifSwiY3MiOnsic3VtbWFyeSI6Ik5lZG9zdHVwbmUgbW91bnR5
IHogbmFzYm94dSIsImRlc2NyaXB0aW9uIjoiRXhwb3J0b3ZhbmkgTkFTIGRh
dGFzZXR1IG5hIHN0YWdpbmcgenB1c29iaWxvIG5lZG9zdHVwbm9zdCB2c2Vj
aCBtb3VudHUuIFByYWN1amVtZSBuYSBuYXByYXZlLiBQcm9zaW0gbmVyZXN0
YXJ0dWp0ZSBWUFMsIG5pY2VtdSB0byBuZXBvbXV6ZS4ifX19
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2019-03-15 15:00 CET
Očekavaná délka: 120 minut
Oznámení se týká serverů: vpsadmin.prg
Typ odstávky: maintenance
Důvod: Aktualizace vpsAdminu
Odstávku řeší: Jakub Skokan
vpsAdmin nebude dostupny, nutne veci v tu dobu reste prosim pres podporu.
ENGLISH:
Date and time: 2019-03-15 15:00 CET
Expected duration: 120 minutes
Affected systems: vpsadmin.prg
Maintenance type: maintenance
Reason: vpsAdmin upgrade
Handled by: Jakub Skokan
vpsAdmin will be unavailable during the upgrade. Contact our support in case of an emergency.
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6NTEwLCJwbGFubmVkIjp0cnVlLCJiZWdpbnNfYXQiOiIyMDE5LTAz
LTE1VDE1OjAwOjAwKzAxOjAwIiwiZHVyYXRpb24iOjEyMCwidHlwZSI6Im1h
aW50ZW5hbmNlIiwiZW50aXRpZXMiOlt7Im5hbWUiOiJOb2RlIiwiaWQiOjUs
ImxhYmVsIjoidnBzYWRtaW4ucHJnIn1dLCJoYW5kbGVycyI6WyJKYWt1YiBT
a29rYW4iXSwidHJhbnNsYXRpb25zIjp7ImVuIjp7InN1bW1hcnkiOiJ2cHNB
ZG1pbiB1cGdyYWRlIiwiZGVzY3JpcHRpb24iOiJ2cHNBZG1pbiB3aWxsIGJl
IHVuYXZhaWxhYmxlIGR1cmluZyB0aGUgdXBncmFkZS4gQ29udGFjdCBvdXIg
c3VwcG9ydCBpbiBjYXNlIG9mIGFuIGVtZXJnZW5jeS4ifSwiY3MiOnsic3Vt
bWFyeSI6IkFrdHVhbGl6YWNlIHZwc0FkbWludSIsImRlc2NyaXB0aW9uIjoi
dnBzQWRtaW4gbmVidWRlIGRvc3R1cG55LCBudXRuZSB2ZWNpIHYgdHUgZG9i
dSByZXN0ZSBwcm9zaW0gcHJlcyBwb2Rwb3J1LiJ9fX0=
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2019-03-14 01:00 CET
Očekavaná délka: 240 minut
Oznámení se týká serverů: nasbox.prg
Typ odstávky: tbd
Důvod: upgrade ZFS + kernelu
Odstávku řeší: Pavel Šnajdr, Martin Myška
ZFS upgrade společně s kernelem
ENGLISH:
Date and time: 2019-03-14 01:00 CET
Expected duration: 240 minutes
Affected systems: nasbox.prg
Maintenance type: tbd
Reason: upgrade of zfs and kernel
Handled by: Pavel Šnajdr, Martin Myška
upgrade of ZFS and kernel
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6NTA5LCJwbGFubmVkIjp0cnVlLCJiZWdpbnNfYXQiOiIyMDE5LTAz
LTE0VDAxOjAwOjAwKzAxOjAwIiwiZHVyYXRpb24iOjI0MCwidHlwZSI6InRi
ZCIsImVudGl0aWVzIjpbeyJuYW1lIjoiTm9kZSIsImlkIjoxNzAsImxhYmVs
IjoibmFzYm94LnByZyJ9XSwiaGFuZGxlcnMiOlsiUGF2ZWwgxaBuYWpkciIs
Ik1hcnRpbiBNecWha2EiXSwidHJhbnNsYXRpb25zIjp7ImVuIjp7InN1bW1h
cnkiOiJ1cGdyYWRlIG9mIHpmcyBhbmQga2VybmVsIiwiZGVzY3JpcHRpb24i
OiJ1cGdyYWRlIG9mIFpGUyBhbmQga2VybmVsIn0sImNzIjp7InN1bW1hcnki
OiJ1cGdyYWRlIFpGUyArIGtlcm5lbHUiLCJkZXNjcmlwdGlvbiI6IlpGUyB1
cGdyYWRlIHNwb2xlxI1uxJsgcyBrZXJuZWxlbSJ9fX0=
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2019-03-14 01:00 CET
Očekavaná délka: 60 minut
Oznámení se týká serverů: node4.prg
Typ odstávky: maintenance
Důvod: Výměna RAM modulů v serveru
Odstávku řeší: Pavel Šnajdr, Martin Myška
Při včerejší výměně vadných disků jsme objevili na node4.prg dvě vadné paměti, které potřebují vyměnit.
ENGLISH:
Date and time: 2019-03-14 01:00 CET
Expected duration: 60 minutes
Affected systems: node4.prg
Maintenance type: maintenance
Reason: Replacement of broken memory modules
Handled by: Pavel Šnajdr, Martin Myška
Found 2 bad RAM memories during basic maintenance yesterday. Going to replace them tomorrow.
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6NTA4LCJwbGFubmVkIjp0cnVlLCJiZWdpbnNfYXQiOiIyMDE5LTAz
LTE0VDAxOjAwOjAwKzAxOjAwIiwiZHVyYXRpb24iOjYwLCJ0eXBlIjoibWFp
bnRlbmFuY2UiLCJlbnRpdGllcyI6W3sibmFtZSI6Ik5vZGUiLCJpZCI6MTA0
LCJsYWJlbCI6Im5vZGU0LnByZyJ9XSwiaGFuZGxlcnMiOlsiUGF2ZWwgxaBu
YWpkciIsIk1hcnRpbiBNecWha2EiXSwidHJhbnNsYXRpb25zIjp7ImVuIjp7
InN1bW1hcnkiOiJSZXBsYWNlbWVudCBvZiBicm9rZW4gbWVtb3J5IG1vZHVs
ZXMiLCJkZXNjcmlwdGlvbiI6IkZvdW5kIDIgYmFkIFJBTSBtZW1vcmllcyBk
dXJpbmcgYmFzaWMgbWFpbnRlbmFuY2UgeWVzdGVyZGF5LiBHb2luZyB0byBy
ZXBsYWNlIHRoZW0gdG9tb3Jyb3cuIn0sImNzIjp7InN1bW1hcnkiOiJWw71t
xJtuYSBSQU0gbW9kdWzFryB2IHNlcnZlcnUiLCJkZXNjcmlwdGlvbiI6IlDF
mWkgdsSNZXJlasWhw60gdsO9bcSbbsSbIHZhZG7DvWNoIGRpc2vFryBqc21l
IG9iamV2aWxpIG5hIG5vZGU0LnByZyBkdsSbIHZhZG7DqSBwYW3Em3RpLCBr
dGVyw6kgcG90xZllYnVqw60gdnltxJtuaXQuIn19fQ==
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2019-03-09 20:24 CET
Očekavaná délka: 30 minut
Oznámení se týká serverů: node14.prg
Typ výpadku: reset
Důvod: Kernel panic
Výpadek řeší: Pavel Šnajdr, Richard Marko
ENGLISH:
Date and time: 2019-03-09 20:24 CET
Expected duration: 30 minutes
Affected systems: node14.prg
Outage type: reset
Reason: Kernel panic
Handled by: Pavel Šnajdr, Richard Marko
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6NTA3LCJwbGFubmVkIjpmYWxzZSwiYmVnaW5zX2F0IjoiMjAxOS0w
My0wOVQyMDoyNDowMCswMTowMCIsImR1cmF0aW9uIjozMCwidHlwZSI6InJl
c2V0IiwiZW50aXRpZXMiOlt7Im5hbWUiOiJOb2RlIiwiaWQiOjExNSwibGFi
ZWwiOiJub2RlMTQucHJnIn1dLCJoYW5kbGVycyI6WyJQYXZlbCDFoG5hamRy
IiwiUmljaGFyZCBNYXJrbyJdLCJ0cmFuc2xhdGlvbnMiOnsiZW4iOnsic3Vt
bWFyeSI6Iktlcm5lbCBwYW5pYyIsImRlc2NyaXB0aW9uIjpudWxsfSwiY3Mi
Onsic3VtbWFyeSI6Iktlcm5lbCBwYW5pYyIsImRlc2NyaXB0aW9uIjpudWxs
fX19
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2019-03-08 17:00 CET
Očekavaná délka: 40 minut
Oznámení se týká serverů: node1.stg
Typ odstávky: restart
Důvod: Aktualizace OS
Odstávku řeší: Jakub Skokan, Richard Marko
U všech VPS budeme měnit seccomp profil pro povolení přístupu ke kernel keyringu. V minulosti jsme s tím měli potíže, např. systemd nestartoval některé služby. Teď už mají všechny VPS alokován svůj vlastní keyring, takže by to mělo být v pohodě. VPS s povoleným Dockerem už tenhle profil používají, u těch se nic nemění.
Pokud máte na stagingu VPS se systemd a službami jako web server nebo databáze, můžeme ten profil zkusit změnit i teď a ověřit že to bude v pořádku. Může se to lišit podle distribuce a verze systemd. Změna vyžaduje jen restart VPS, kdo máte zájem ozvěte se prosím na IRC.
ENGLISH:
Date and time: 2019-03-08 17:00 CET
Expected duration: 40 minutes
Affected systems: node1.stg
Maintenance type: restart
Reason: OS upgrade
Handled by: Jakub Skokan, Richard Marko
We'll be changing seccomp profiles of all VPS to enable access to kernel keyring. We've had issues with this in the past, e.g. systemd failed to start certain services when the keyring was enabled. Now that each VPS has its own keyring allocated, it should work just fine. VPS with Docker feature already use this profile, so no changes there.
Nevertheless, if you have VPS on staging with systemd and some services such as web server or database and would like to be sure it's going to work, we can switch over VPS to the new seccomp profile even now. Please ping us on IRC if you'd like to try it. I've done some tests myself, but it may vary per distribution and systemd version.
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6NTA2LCJwbGFubmVkIjp0cnVlLCJiZWdpbnNfYXQiOiIyMDE5LTAz
LTA4VDE3OjAwOjAwKzAxOjAwIiwiZHVyYXRpb24iOjQwLCJ0eXBlIjoicmVz
dGFydCIsImVudGl0aWVzIjpbeyJuYW1lIjoiTm9kZSIsImlkIjo0MDAsImxh
YmVsIjoibm9kZTEuc3RnIn1dLCJoYW5kbGVycyI6WyJKYWt1YiBTa29rYW4i
LCJSaWNoYXJkIE1hcmtvIl0sInRyYW5zbGF0aW9ucyI6eyJlbiI6eyJzdW1t
YXJ5IjoiT1MgdXBncmFkZSIsImRlc2NyaXB0aW9uIjoiV2UnbGwgYmUgY2hh
bmdpbmcgc2VjY29tcCBwcm9maWxlcyBvZiBhbGwgVlBTIHRvIGVuYWJsZSBh
Y2Nlc3MgdG8ga2VybmVsIGtleXJpbmcuIFdlJ3ZlIGhhZCBpc3N1ZXMgd2l0
aCB0aGlzIGluIHRoZSBwYXN0LCBlLmcuIHN5c3RlbWQgZmFpbGVkIHRvIHN0
YXJ0IGNlcnRhaW4gc2VydmljZXMgd2hlbiB0aGUga2V5cmluZyB3YXMgZW5h
YmxlZC4gTm93IHRoYXQgZWFjaCBWUFMgaGFzIGl0cyBvd24ga2V5cmluZyBh
bGxvY2F0ZWQsIGl0IHNob3VsZCB3b3JrIGp1c3QgZmluZS4gVlBTIHdpdGgg
RG9ja2VyIGZlYXR1cmUgYWxyZWFkeSB1c2UgdGhpcyBwcm9maWxlLCBzbyBu
byBjaGFuZ2VzIHRoZXJlLlxyXG5cclxuTmV2ZXJ0aGVsZXNzLCBpZiB5b3Ug
aGF2ZSBWUFMgb24gc3RhZ2luZyB3aXRoIHN5c3RlbWQgYW5kIHNvbWUgc2Vy
dmljZXMgc3VjaCBhcyB3ZWIgc2VydmVyIG9yIGRhdGFiYXNlIGFuZCB3b3Vs
ZCBsaWtlIHRvIGJlIHN1cmUgaXQncyBnb2luZyB0byB3b3JrLCB3ZSBjYW4g
c3dpdGNoIG92ZXIgVlBTIHRvIHRoZSBuZXcgc2VjY29tcCBwcm9maWxlIGV2
ZW4gbm93LiBQbGVhc2UgcGluZyB1cyBvbiBJUkMgaWYgeW91J2QgbGlrZSB0
byB0cnkgaXQuIEkndmUgZG9uZSBzb21lIHRlc3RzIG15c2VsZiwgYnV0IGl0
IG1heSB2YXJ5IHBlciBkaXN0cmlidXRpb24gYW5kIHN5c3RlbWQgdmVyc2lv
bi4ifSwiY3MiOnsic3VtbWFyeSI6IkFrdHVhbGl6YWNlIE9TIiwiZGVzY3Jp
cHRpb24iOiJVIHbFoWVjaCBWUFMgYnVkZW1lIG3Em25pdCBzZWNjb21wIHBy
b2ZpbCBwcm8gcG92b2xlbsOtIHDFmcOtc3R1cHUga2Uga2VybmVsIGtleXJp
bmd1LiBWIG1pbnVsb3N0aSBqc21lIHMgdMOtbSBtxJtsaSBwb3TDrcW+ZSwg
bmFwxZkuIHN5c3RlbWQgbmVzdGFydG92YWwgbsSba3RlcsOpIHNsdcW+Ynku
IFRlxI8gdcW+IG1hasOtIHbFoWVjaG55IFZQUyBhbG9rb3bDoW4gc3bFr2og
dmxhc3Ruw60ga2V5cmluZywgdGFrxb5lIGJ5IHRvIG3Em2xvIGLDvXQgdiBw
b2hvZMSbLiBWUFMgcyBwb3ZvbGVuw71tIERvY2tlcmVtIHXFviB0ZW5obGUg
cHJvZmlsIHBvdcW+w612YWrDrSwgdSB0xJtjaCBzZSBuaWMgbmVtxJtuw60u
XHJcblxyXG5Qb2t1ZCBtw6F0ZSBuYSBzdGFnaW5ndSBWUFMgc2Ugc3lzdGVt
ZCBhIHNsdcW+YmFtaSBqYWtvIHdlYiBzZXJ2ZXIgbmVibyBkYXRhYsOhemUs
IG3Fr8W+ZW1lIHRlbiBwcm9maWwgemt1c2l0IHptxJtuaXQgaSB0ZcSPIGEg
b3bEm8WZaXQgxb5lIHRvIGJ1ZGUgdiBwb8WZw6Fka3UuIE3Fr8W+ZSBzZSB0
byBsacWhaXQgcG9kbGUgZGlzdHJpYnVjZSBhIHZlcnplIHN5c3RlbWQuIFpt
xJtuYSB2ecW+YWR1amUgamVuIHJlc3RhcnQgVlBTLCBrZG8gbcOhdGUgesOh
amVtIG96dsSbdGUgc2UgcHJvc8OtbSBuYSBJUkMuIn19fQ==
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2019-03-08 15:00 CET
Očekavaná délka: 240 minut
Oznámení se týká serverů: vpsadmin.prg
Typ odstávky: maintenance
Důvod: Aktualizace vpsAdminu
Odstávku řeší: Jakub Skokan
vpsAdmin nebude dostupny, nutne veci v tu dobu reste prosim pres podporu.
ENGLISH:
Date and time: 2019-03-08 15:00 CET
Expected duration: 240 minutes
Affected systems: vpsadmin.prg
Maintenance type: maintenance
Reason: vpsAdmin upgrade
Handled by: Jakub Skokan
vpsAdmin will be unavailable during the upgrade. Contact our support in case of an emergency.
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6NTA1LCJwbGFubmVkIjp0cnVlLCJiZWdpbnNfYXQiOiIyMDE5LTAz
LTA4VDE1OjAwOjAwKzAxOjAwIiwiZHVyYXRpb24iOjI0MCwidHlwZSI6Im1h
aW50ZW5hbmNlIiwiZW50aXRpZXMiOlt7Im5hbWUiOiJOb2RlIiwiaWQiOjUs
ImxhYmVsIjoidnBzYWRtaW4ucHJnIn1dLCJoYW5kbGVycyI6WyJKYWt1YiBT
a29rYW4iXSwidHJhbnNsYXRpb25zIjp7ImVuIjp7InN1bW1hcnkiOiJ2cHNB
ZG1pbiB1cGdyYWRlIiwiZGVzY3JpcHRpb24iOiJ2cHNBZG1pbiB3aWxsIGJl
IHVuYXZhaWxhYmxlIGR1cmluZyB0aGUgdXBncmFkZS4gQ29udGFjdCBvdXIg
c3VwcG9ydCBpbiBjYXNlIG9mIGFuIGVtZXJnZW5jeS4ifSwiY3MiOnsic3Vt
bWFyeSI6IkFrdHVhbGl6YWNlIHZwc0FkbWludSIsImRlc2NyaXB0aW9uIjoi
dnBzQWRtaW4gbmVidWRlIGRvc3R1cG55LCBudXRuZSB2ZWNpIHYgdHUgZG9i
dSByZXN0ZSBwcm9zaW0gcHJlcyBwb2Rwb3J1LiJ9fX0=
-----END BASE64 ENCODED PARSEABLE JSON-----