Datum a čas: 2019-10-20 01:00 CEST
Očekavaná délka: 180 minut
Oznámení se týká serverů: nasbox.prg
Typ odstávky: maintenance
Důvod: Druhý pokus aktualizace nasboxu
Odstávku řeší: Pavel Šnajdr, Jakub Skokan
Podařilo se nám přijít na to proč na novém systému nefungovaly NFS exporty a chceme se tak znovu pokusit o aktualizaci. Bez aktualizace nasboxu se totiž nepohneme dál s nasazováním vpsAdminOS. Omlouváme se za nahlášení na poslední chvíli.
ENGLISH:
Date and time: 2019-10-20 01:00 CEST
Expected duration: 180 minutes
Affected systems: nasbox.prg
Maintenance type: maintenance
Reason: nasbox upgrade, second attempt
Handled by: Pavel Šnajdr, Jakub Skokan
We managed to isolate the issue which prevented us from exporting file systems over NFS and we'd like to give it another try. Upgrading nasbox is an integral part of our move to vpsAdminOS and we can't continue until it is done. We apologize for the short notice.
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6NjA4LCJwbGFubmVkIjp0cnVlLCJiZWdpbnNfYXQiOiIyMDE5LTEw
LTIwVDAxOjAwOjAwKzAyOjAwIiwiZHVyYXRpb24iOjE4MCwidHlwZSI6Im1h
aW50ZW5hbmNlIiwiZW50aXRpZXMiOlt7Im5hbWUiOiJOb2RlIiwiaWQiOjE3
MCwibGFiZWwiOiJuYXNib3gucHJnIn1dLCJoYW5kbGVycyI6WyJQYXZlbCDF
oG5hamRyIiwiSmFrdWIgU2tva2FuIl0sInRyYW5zbGF0aW9ucyI6eyJlbiI6
eyJzdW1tYXJ5IjoibmFzYm94IHVwZ3JhZGUsIHNlY29uZCBhdHRlbXB0Iiwi
ZGVzY3JpcHRpb24iOiJXZSBtYW5hZ2VkIHRvIGlzb2xhdGUgdGhlIGlzc3Vl
IHdoaWNoIHByZXZlbnRlZCB1cyBmcm9tIGV4cG9ydGluZyBmaWxlIHN5c3Rl
bXMgb3ZlciBORlMgYW5kIHdlJ2QgbGlrZSB0byBnaXZlIGl0IGFub3RoZXIg
dHJ5LiBVcGdyYWRpbmcgbmFzYm94IGlzIGFuIGludGVncmFsIHBhcnQgb2Yg
b3VyIG1vdmUgdG8gdnBzQWRtaW5PUyBhbmQgd2UgY2FuJ3QgY29udGludWUg
dW50aWwgaXQgaXMgZG9uZS4gV2UgYXBvbG9naXplIGZvciB0aGUgc2hvcnQg
bm90aWNlLiJ9LCJjcyI6eyJzdW1tYXJ5IjoiRHJ1aMO9IHBva3VzIGFrdHVh
bGl6YWNlIG5hc2JveHUiLCJkZXNjcmlwdGlvbiI6IlBvZGHFmWlsbyBzZSBu
w6FtIHDFmWlqw610IG5hIHRvIHByb8SNIG5hIG5vdsOpbSBzeXN0w6ltdSBu
ZWZ1bmdvdmFseSBORlMgZXhwb3J0eSBhIGNoY2VtZSBzZSB0YWsgem5vdnUg
cG9rdXNpdCBvIGFrdHVhbGl6YWNpLiBCZXogYWt0dWFsaXphY2UgbmFzYm94
dSBzZSB0b3Rpxb4gbmVwb2huZW1lIGTDoWwgcyBuYXNhem92w6Fuw61tIHZw
c0FkbWluT1MuIE9tbG91dsOhbWUgc2UgemEgbmFobMOhxaFlbsOtIG5hIHBv
c2xlZG7DrSBjaHbDrWxpLiJ9fX0=
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2019-10-19 01:00 CEST
Očekavaná délka: 240 minut
Oznámení se týká serverů: nasbox.prg
Typ odstávky: maintenance
Důvod: Přechod na vpsAdminOS
Odstávku řeší: Pavel Šnajdr, Jakub Skokan, Martin Myška
Po dobu odstávky budou mounty z nasboxu nedostupné. Vše by mělo fungovat jako doposud a není potřeba žádná akce z vaší strany. Po aktualizaci se mounty samy opět zpřístupní.
ENGLISH:
Date and time: 2019-10-19 01:00 CEST
Expected duration: 240 minutes
Affected systems: nasbox.prg
Maintenance type: maintenance
Reason: Upgrade to vpsAdminOS
Handled by: Pavel Šnajdr, Jakub Skokan, Martin Myška
Mounts from nasbox will be unavailable during the outage. Everything should work the same as before and no action is required from you. Once upgraded, mounts should become available again.
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6NjA2LCJwbGFubmVkIjp0cnVlLCJiZWdpbnNfYXQiOiIyMDE5LTEw
LTE5VDAxOjAwOjAwKzAyOjAwIiwiZHVyYXRpb24iOjI0MCwidHlwZSI6Im1h
aW50ZW5hbmNlIiwiZW50aXRpZXMiOlt7Im5hbWUiOiJOb2RlIiwiaWQiOjE3
MCwibGFiZWwiOiJuYXNib3gucHJnIn1dLCJoYW5kbGVycyI6WyJQYXZlbCDF
oG5hamRyIiwiSmFrdWIgU2tva2FuIiwiTWFydGluIE15xaFrYSJdLCJ0cmFu
c2xhdGlvbnMiOnsiZW4iOnsic3VtbWFyeSI6IlVwZ3JhZGUgdG8gdnBzQWRt
aW5PUyIsImRlc2NyaXB0aW9uIjoiTW91bnRzIGZyb20gbmFzYm94IHdpbGwg
YmUgdW5hdmFpbGFibGUgZHVyaW5nIHRoZSBvdXRhZ2UuIEV2ZXJ5dGhpbmcg
c2hvdWxkIHdvcmsgdGhlIHNhbWUgYXMgYmVmb3JlIGFuZCBubyBhY3Rpb24g
aXMgcmVxdWlyZWQgZnJvbSB5b3UuIE9uY2UgdXBncmFkZWQsIG1vdW50cyBz
aG91bGQgYmVjb21lIGF2YWlsYWJsZSBhZ2Fpbi4ifSwiY3MiOnsic3VtbWFy
eSI6IlDFmWVjaG9kIG5hIHZwc0FkbWluT1MiLCJkZXNjcmlwdGlvbiI6IlBv
IGRvYnUgb2RzdMOhdmt5IGJ1ZG91IG1vdW50eSB6IG5hc2JveHUgbmVkb3N0
dXBuw6kuIFbFoWUgYnkgbcSbbG8gZnVuZ292YXQgamFrbyBkb3Bvc3VkIGEg
bmVuw60gcG90xZllYmEgxb7DoWRuw6EgYWtjZSB6IHZhxaHDrSBzdHJhbnku
IFBvIGFrdHVhbGl6YWNpIHNlIG1vdW50eSBzYW15IG9wxJt0IHpwxZnDrXN0
dXBuw60uIn19fQ==
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2019-10-14 23:55 CEST
Očekavaná délka: 40 minut
Oznámení se týká serverů: node1.stg
Typ výpadku: restart
Důvod: ZFS hotfix
Výpadek řeší: Pavel Šnajdr, Jakub Skokan
Od pátečního upgradu byl v ZFS bug, který způsobil, že smazané soubory i nadále zabírají místo, které nejde uvolnit. Po restartu už se to dít nebude, nicméně uniklé soubory na discích zůstanou a stále budou zabírat místo. Zbavit se jich jde jedině reinstalací VPS, případně manuálním zásahem z naší strany, kdy data VPS překopírujeme do nového datasetu. V následujících dnech to budeme takto plošně opravovat.
ENGLISH:
Date and time: 2019-10-14 23:55 CEST
Expected duration: 40 minutes
Affected systems: node1.stg
Outage type: restart
Reason: ZFS hotfix
Handled by: Pavel Šnajdr, Jakub Skokan
Since the last upgrade on Friday, there has been a bug which caused deleted files to leak and no space could be freed. This bug should be fixed after this outage, however, the leaked files will still be present and will take space. The only way to free them is to reinstall the VPS or a manual intervention from our side, where we can copy your data to a new dataset. We intend to fix it like this in the following days.
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6NjA1LCJwbGFubmVkIjpmYWxzZSwiYmVnaW5zX2F0IjoiMjAxOS0x
MC0xNFQyMzo1NTowMCswMjowMCIsImR1cmF0aW9uIjo0MCwidHlwZSI6InJl
c3RhcnQiLCJlbnRpdGllcyI6W3sibmFtZSI6Ik5vZGUiLCJpZCI6NDAwLCJs
YWJlbCI6Im5vZGUxLnN0ZyJ9XSwiaGFuZGxlcnMiOlsiUGF2ZWwgxaBuYWpk
ciIsIkpha3ViIFNrb2thbiJdLCJ0cmFuc2xhdGlvbnMiOnsiZW4iOnsic3Vt
bWFyeSI6IlpGUyBob3RmaXgiLCJkZXNjcmlwdGlvbiI6IlNpbmNlIHRoZSBs
YXN0IHVwZ3JhZGUgb24gRnJpZGF5LCB0aGVyZSBoYXMgYmVlbiBhIGJ1ZyB3
aGljaCBjYXVzZWQgZGVsZXRlZCBmaWxlcyB0byBsZWFrIGFuZCBubyBzcGFj
ZSBjb3VsZCBiZSBmcmVlZC4gVGhpcyBidWcgc2hvdWxkIGJlIGZpeGVkIGFm
dGVyIHRoaXMgb3V0YWdlLCBob3dldmVyLCB0aGUgbGVha2VkIGZpbGVzIHdp
bGwgc3RpbGwgYmUgcHJlc2VudCBhbmQgd2lsbCB0YWtlIHNwYWNlLiBUaGUg
b25seSB3YXkgdG8gZnJlZSB0aGVtIGlzIHRvIHJlaW5zdGFsbCB0aGUgVlBT
IG9yIGEgbWFudWFsIGludGVydmVudGlvbiBmcm9tIG91ciBzaWRlLCB3aGVy
ZSB3ZSBjYW4gY29weSB5b3VyIGRhdGEgdG8gYSBuZXcgZGF0YXNldC4gV2Ug
aW50ZW5kIHRvIGZpeCBpdCBsaWtlIHRoaXMgaW4gdGhlIGZvbGxvd2luZyBk
YXlzLiJ9LCJjcyI6eyJzdW1tYXJ5IjoiWkZTIGhvdGZpeCIsImRlc2NyaXB0
aW9uIjoiT2QgcMOhdGXEjW7DrWhvIHVwZ3JhZHUgYnlsIHYgWkZTIGJ1Zywg
a3RlcsO9IHpwxa9zb2JpbCwgxb5lIHNtYXphbsOpIHNvdWJvcnkgaSBuYWTD
oWxlIHphYsOtcmFqw60gbcOtc3RvLCBrdGVyw6kgbmVqZGUgdXZvbG5pdC4g
UG8gcmVzdGFydHUgdcW+IHNlIHRvIGTDrXQgbmVidWRlLCBuaWNtw6luxJsg
dW5pa2zDqSBzb3Vib3J5IG5hIGRpc2PDrWNoIHrFr3N0YW5vdSBhIHN0w6Fs
ZSBidWRvdSB6YWLDrXJhdCBtw61zdG8uIFpiYXZpdCBzZSBqaWNoIGpkZSBq
ZWRpbsSbIHJlaW5zdGFsYWPDrSBWUFMsIHDFmcOtcGFkbsSbIG1hbnXDoWxu
w61tIHrDoXNhaGVtIHogbmHFocOtIHN0cmFueSwga2R5IGRhdGEgVlBTIHDF
mWVrb3DDrXJ1amVtZSBkbyBub3bDqWhvIGRhdGFzZXR1LiBWIG7DoXNsZWR1
asOtY8OtY2ggZG5lY2ggdG8gYnVkZW1lIHRha3RvIHBsb8WhbsSbIG9wcmF2
b3ZhdC4ifX19
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2019-10-11 21:00 CEST
Očekavaná délka: 40 minut
Oznámení se týká serverů: node1.stg
Typ odstávky: restart
Důvod: Aktualizace OS
Odstávku řeší: Jakub Skokan
Po tomto upgrade by měl docker používat overlay2 storage driver, což by mělo výrazně zrychlit sestavování kontejnerů. Ověřit to můžete pomocí příkazu `docker info`.
ENGLISH:
Date and time: 2019-10-11 21:00 CEST
Expected duration: 40 minutes
Affected systems: node1.stg
Maintenance type: restart
Reason: OS upgrade
Handled by: Jakub Skokan
After this upgrade, docker should be able to use its overlay2 storage driver, which should result in much faster container build times. You can verify this by running `docker info`.
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6NjAzLCJwbGFubmVkIjp0cnVlLCJiZWdpbnNfYXQiOiIyMDE5LTEw
LTExVDIxOjAwOjAwKzAyOjAwIiwiZHVyYXRpb24iOjQwLCJ0eXBlIjoicmVz
dGFydCIsImVudGl0aWVzIjpbeyJuYW1lIjoiTm9kZSIsImlkIjo0MDAsImxh
YmVsIjoibm9kZTEuc3RnIn1dLCJoYW5kbGVycyI6WyJKYWt1YiBTa29rYW4i
XSwidHJhbnNsYXRpb25zIjp7ImVuIjp7InN1bW1hcnkiOiJPUyB1cGdyYWRl
IiwiZGVzY3JpcHRpb24iOiJBZnRlciB0aGlzIHVwZ3JhZGUsIGRvY2tlciBz
aG91bGQgYmUgYWJsZSB0byB1c2UgaXRzIG92ZXJsYXkyIHN0b3JhZ2UgZHJp
dmVyLCB3aGljaCBzaG91bGQgcmVzdWx0IGluIG11Y2ggZmFzdGVyIGNvbnRh
aW5lciBidWlsZCB0aW1lcy4gWW91IGNhbiB2ZXJpZnkgdGhpcyBieSBydW5u
aW5nIGBkb2NrZXIgaW5mb2AuIn0sImNzIjp7InN1bW1hcnkiOiJBa3R1YWxp
emFjZSBPUyIsImRlc2NyaXB0aW9uIjoiUG8gdG9tdG8gdXBncmFkZSBieSBt
xJtsIGRvY2tlciBwb3XFvsOtdmF0IG92ZXJsYXkyIHN0b3JhZ2UgZHJpdmVy
LCBjb8W+IGJ5IG3Em2xvIHbDvXJhem7EmyB6cnljaGxpdCBzZXN0YXZvdsOh
bsOtIGtvbnRlam5lcsWvLiBPdsSbxZlpdCB0byBtxa/FvmV0ZSBwb21vY8Ot
IHDFmcOta2F6dSBgZG9ja2VyIGluZm9gLiJ9fX0=
-----END BASE64 ENCODED PARSEABLE JSON-----
Datum a čas: 2019-10-01 02:10 CEST
Očekavaná délka: 35 minut
Oznámení se týká serverů: node7.prg
Typ výpadku: reset
Důvod: ZFS panic
Výpadek řeší: Pavel Šnajdr
Postupne jeden po druhem... dalsi v rade na downgrade na 0.7.9
ENGLISH:
Date and time: 2019-10-01 02:10 CEST
Expected duration: 35 minutes
Affected systems: node7.prg
Outage type: reset
Reason: ZFS panic
Handled by: Pavel Šnajdr
Eventually bound to happen, downgrading this node too
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6NjAwLCJwbGFubmVkIjpmYWxzZSwiYmVnaW5zX2F0IjoiMjAxOS0x
MC0wMVQwMjoxMDowMCswMjowMCIsImR1cmF0aW9uIjozNSwidHlwZSI6InJl
c2V0IiwiZW50aXRpZXMiOlt7Im5hbWUiOiJOb2RlIiwiaWQiOjEwOCwibGFi
ZWwiOiJub2RlNy5wcmcifV0sImhhbmRsZXJzIjpbIlBhdmVsIMWgbmFqZHIi
XSwidHJhbnNsYXRpb25zIjp7ImVuIjp7InN1bW1hcnkiOiJaRlMgcGFuaWMi
LCJkZXNjcmlwdGlvbiI6IkV2ZW50dWFsbHkgYm91bmQgdG8gaGFwcGVuLCBk
b3duZ3JhZGluZyB0aGlzIG5vZGUgdG9vIn0sImNzIjp7InN1bW1hcnkiOiJa
RlMgcGFuaWMiLCJkZXNjcmlwdGlvbiI6IlBvc3R1cG5lIGplZGVuIHBvIGRy
dWhlbS4uLiBkYWxzaSB2IHJhZGUgbmEgZG93bmdyYWRlIG5hIDAuNy45In19
fQ==
-----END BASE64 ENCODED PARSEABLE JSON-----