Outage-list December 2011

outage-list@lists.vpsfree.cz

4 participants
5 discussions

node2a neplanovany vypadek
by Pavel Snajdr 03 Jan '12

03 Jan '12

-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 node2a prave startuje, umrel tam disk, ze ktereho RAID1 aktivne cetl data, takze se to odporoucelo na kernel oops. Aktualne server bezi tedy jenom s jednim diskem, novy disk tam dame v pondeli-utery - to by nemelo znamenat zadny vypadek a kdyz, tak to udelam po jedne v noci -> doufam, ze nebude vadit, kdyz to neoznamim, prave jste byli varovani :) - -- Pavel Snajdr +420 720 107 791 http://vpsfree.cz -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.11 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/ iF4EAREIAAYFAk79BIYACgkQdh+64ds5DaacNAD8DGOFpb2MQq30AB2BryyRsGVw RBVNv+4IDYFAePPZe2MBAMZQ5COtVe55dMR+Zgc0sztMaM/dHYqrAZfKlQm0y2HC =EwXf -----END PGP SIGNATURE-----

1 1

Přetěžování node3a každou půlnoc
by Vojtěch Brzek 29 Dec '11

29 Dec '11

Ahoj, všiml jsem si, že každou půlnoc je na několik minut kompletně přetěžován server node3a. Zezačátku jsem si myslel, že je přetěžována jenom moje VPS, ale prohledal jsem všechny crony a žádný se o půlnoci nespouští. Také podle výpisu z topu to nevypadá, že by závada byla na mojí VPS. Třeba tady je situace z dneška. Je už patnáct minut po půlnoci a zátěž serveru neklesá - spíš naopak. Přitom drtivá většina procesů je ve stavu waiting. top - 00:14:11 up 64 days, 23:27, 1 user, load average: 24.34, 21.50, 11.70 Tasks: 79 total, 1 running, 78 sleeping, 0 stopped, 0 zombie Cpu(s): 0.1%us, 0.1%sy, 0.0%ni, 0.0%id, 99.7%wa, 0.0%hi, 0.0%si, 0.0%st Mem: 4194304k total, 1710052k used, 2484252k free, 0k buffers Swap: 0k total, 0k used, 0k free, 0k cached PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 20968 root 20 0 70452 3280 2588 S 0 0.1 0:00.07 sshd 1 root 20 0 8352 596 476 S 0 0.0 3:00.52 init 299 root 20 0 5976 568 424 D 0 0.0 2:07.36 syslogd 310 root 20 0 308m 10m 3792 S 0 0.3 2:51.20 apache2 331 root 20 0 22540 652 512 S 0 0.0 0:06.38 cron 336 messageb 20 0 23260 344 208 S 0 0.0 0:00.00 dbus-daemon 339 root 20 0 3872 316 268 S 0 0.0 0:00.00 klogd 724 root 20 0 37160 1852 1436 S 0 0.0 0:26.94 master 730 postfix 20 0 39500 2228 1532 S 0 0.1 0:11.35 qmgr 742 root 20 0 49168 864 468 S 0 0.0 0:09.30 sshd 7008 postfix 20 0 41892 2556 1664 S 0 0.1 0:01.52 tlsmgr 11434 proftpd 20 0 99492 1596 456 S 0 0.0 0:03.18 proftpd 19040 root 20 0 70452 3160 2504 S 0 0.1 0:00.02 sshd 19042 marbuel 20 0 70452 1740 988 S 0 0.0 0:00.04 sshd 19043 marbuel 20 0 12452 960 700 S 0 0.0 0:00.02 sftp-server 19094 root 20 0 70452 3184 2504 S 0 0.1 0:00.02 sshd 19096 marbuel 20 0 70596 1716 992 S 0 0.0 0:00.04 sshd 19097 marbuel 20 0 12444 952 700 S 0 0.0 0:00.01 sftp-server 20463 www-data 20 0 350m 49m 6540 D 0 1.2 0:06.87 apache2 20720 www-data 20 0 347m 47m 6144 S 0 1.1 0:03.36 apache2 20722 www-data 20 0 353m 54m 6048 S 0 1.3 0:04.96 apache2 20865 www-data 20 0 341m 43m 4648 S 0 1.1 0:01.06 apache2 20867 www-data 20 0 340m 42m 4644 S 0 1.0 0:01.23 apache2 20927 www-data 20 0 311m 11m 3764 D 0 0.3 0:00.06 apache2 Dá se s tím něco dělat? Vojta Brzek

2 1

Praha - mozne vypadky dnes v noci
by Pavel Snajdr 27 Dec '11

27 Dec '11

-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 Ahoj clenove, omlouvam se, ze jsem nedal vedet driv, jaksi mi to v tom svatecnim shonu vypadlo - dnes v noci (po jedenacte vecer) se chystame do datacentra v Praze, budeme predelavat nastaveni site ze single sitovky na bonding 2 interfaces pres 2 switche - eliminujeme tim SPOF v podobne switchu. Vypadky budou doufam bez restartu a kratsi nez 5 minut / server, takze by si toho asi ani nikdo nevsimnul, ale je lepsi dat vedet. Preju vsem hodne stesti v nadchazejicim roce a co nejmin segfaultu :) Pavel Snajdr +420 720 107 791 http://vpsfree.cz -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.11 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/ iF4EAREIAAYFAk75ruUACgkQdh+64ds5DaYxkQEAo5+nAAafnwEDxf+cX9cjSmfX xyVG+RUNxcdvZBUFAhYBAJ0eWbvc7v0EEzDsuwKbpUegmHW8qKoRoJLdtzXPsGzU =eHmL -----END PGP SIGNATURE-----

1 0

Stanovisko Platon Technologies k vypadku
by Ondrej Jombik 11 Dec '11

11 Dec '11

Dobry den Zvykli sme pravidelne citat tento mailinglist a aj ked sme sa citili castokrat dotknuti roznymi vyjadreniami, vzdy sme to ignorovali. Dnes sme vsak boli nazvani "banda neschopnych hovad", tak uz reagovat musime. So serverom Epsilon bol za posledne mesiace castokrat problem. Niekto ten server zrejme pretazuje a to tak, ze je nutny restart. Tento restart sme robili pravidelne na dialku. Problem bol/je, ze server skoro nikdy nenabehol, ostal na FSCK a bola teda nutna navsteva serverovne. Tuto navstevu sme vykonavali my (firma Platon). Nie su to nase servery a nemame k nim administratorsky pristup, pomahali sme vsak vpsFree a to aj napriek tomu, ze tieto (caste) zasahy nikdy neboli oficialne dohodnute (tazko sa pracuje so serverom, ktory sami nespravujeme). Rovnaka situacia nastala aj dnes. Bohuzial celkom dobre nechapem preco boli nutne tieto invektivy na nasich ludi. Chronologia - ako som si ju vyziadal od zamestnancov: 17:45 - vypadok servera (podla mailinglistu outage-list) 18:00 - nahlaseny problem u nas (priblizny cas) 18:45 - nas zamestnanec v serverovi zistuje situaciu a posiela prvy e-mail zakaznikovi (vpsFree) Nasledne sa zakaznik stazuje, ze nema pristup na remote management. V tejto chvili som ako konatel postavil do pozoru celu firmu (aj ked je sobota), ze ako je mozne, ze tato vec, ktoru tam zakaznik osobne doniesol a nefunguje! Fakt som bol nastvany, za taketo lajdactvo! Lenze ukazalo sa, ze tento pristup bol nakonfigurovany dna 27-Oct-2011. To co nebolo nakonfigurovane bol samotny remote management device. Mame vsetky switche v SVN, takze vieme presne kedy ktora zmena nastala, vieme kedy bol dany port otvoreny: +! Last configuration change at 11:36:16 CEST Thu Oct 27 2011 by miquel +! NVRAM config last updated at 11:36:26 CEST Thu Oct 27 2011 by miquel + description zeta.vpsFree.cz - MNG + switchport access vlan 201 Nasledne teda zacali nasi ludia na zaklade instrukcii od zakaznika konfigurovat toto zariadenie na remote pristup. Samozrejme to je vec, s ktorou my nemame ziadne skusenosti, ani taketo zariadenie nevlastnime, ani sme nikdy nepredpokladali, ze s tym budeme musiet robit. Mysleli sme, ze dane zariadenie je nakonfigurovane, ved to bol primarny ciel pred niekolkymi mesiacmi. Aj po oprave remote managementu server stale nestartoval kvoli chybnemu filesystemu. Ten bol po cca hodine opraveny a nasledne server funkcny. Cely tento cas boli zamestnanci firmy osobne pritomni v datovom centre pre pripad, ze by zakaznik vyzadoval este dalsi zasah. Nemame problem remote management zariadenie nakonfigurovat ak treba, ale mohli sme tak urobit za posledne dva mesiace kedykolvek. Neprisel vsak ziadny e-mail ohladom toho, ze s tym treba cokolvek robit. To naozaj nik za 2 mesiace neotestoval ten remote management pristup ci funguje? Aky zmysel ma nefunkcny remote management? Ved to je akoby tam ziadny nebol. Mrzi nas vzniknuta situacia a sposobeny vypadok, ktory sa dotkol urcite mnohych ludi, kedze virtualnych serverov tam bezi vela. Z nasej strany sme ale spravili maximum, alebo aspon sme sa o to pokusili. Urcite nie sme dokonala firma, mame svoje chyby a muchy, na ktorych musime pracovat. Kazdopadne moji zamestnaci si nezasluzia oznacenie "banda neschopnych hovad". Zvlast nie po dnesnej sobote. Este raz sa opravedlnujem za vypadok. Plynie z toho pre nas ponaucenie do buducnosti pro-aktivne pristupovat aj k veciam, ktore su mimo nasej spravy, aby vzniknute emergency situacie neboli takto stresujuce. Dakujem za precitanie S pozdravom Ondrej Jombik konatel spolocnosti -- Ondrej JOMBIK Platon Technologies Ltd., Hlavna 3, Sala SK-92701 +421 903 PLATON - info(a)platon.org - http://platon.org

1 0

Epsilon down
by Pavel Snajdr 10 Dec '11

10 Dec '11

-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 $subj, netusim pricinu, resetoval jsem to (nedalo se prihlasit) za nedlouho by mel byt up. - -- Pavel Snajdr +420 720 107 791 http://vpsfree.cz -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.11 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/ iF4EAREIAAYFAk7jjBoACgkQdh+64ds5DaZj5QD/TW1Ax80PGuoEnm0oYqpV1fa/ FhzPDtcz/QORbF63rAMA/inDz0W5YtIa+abspONCCpHjlKAkZ0twQnAOe9bvNOfU =1mtX -----END PGP SIGNATURE-----

2 4

2025

2024

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

Outage-list December 2011