Outage-list

outage-list@lists.vpsfree.cz

1 participants
1144 discussions

by Vojtěch Brzek

Ahoj, všiml jsem si, že každou půlnoc je na několik minut kompletně přetěžován server node3a. Zezačátku jsem si myslel, že je přetěžována jenom moje VPS, ale prohledal jsem všechny crony a žádný se o půlnoci nespouští. Také podle výpisu z topu to nevypadá, že by závada byla na mojí VPS. Třeba tady je situace z dneška. Je už patnáct minut po půlnoci a zátěž serveru neklesá - spíš naopak. Přitom drtivá většina procesů je ve stavu waiting. top - 00:14:11 up 64 days, 23:27, 1 user, load average: 24.34, 21.50, 11.70 Tasks: 79 total, 1 running, 78 sleeping, 0 stopped, 0 zombie Cpu(s): 0.1%us, 0.1%sy, 0.0%ni, 0.0%id, 99.7%wa, 0.0%hi, 0.0%si, 0.0%st Mem: 4194304k total, 1710052k used, 2484252k free, 0k buffers Swap: 0k total, 0k used, 0k free, 0k cached PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 20968 root 20 0 70452 3280 2588 S 0 0.1 0:00.07 sshd 1 root 20 0 8352 596 476 S 0 0.0 3:00.52 init 299 root 20 0 5976 568 424 D 0 0.0 2:07.36 syslogd 310 root 20 0 308m 10m 3792 S 0 0.3 2:51.20 apache2 331 root 20 0 22540 652 512 S 0 0.0 0:06.38 cron 336 messageb 20 0 23260 344 208 S 0 0.0 0:00.00 dbus-daemon 339 root 20 0 3872 316 268 S 0 0.0 0:00.00 klogd 724 root 20 0 37160 1852 1436 S 0 0.0 0:26.94 master 730 postfix 20 0 39500 2228 1532 S 0 0.1 0:11.35 qmgr 742 root 20 0 49168 864 468 S 0 0.0 0:09.30 sshd 7008 postfix 20 0 41892 2556 1664 S 0 0.1 0:01.52 tlsmgr 11434 proftpd 20 0 99492 1596 456 S 0 0.0 0:03.18 proftpd 19040 root 20 0 70452 3160 2504 S 0 0.1 0:00.02 sshd 19042 marbuel 20 0 70452 1740 988 S 0 0.0 0:00.04 sshd 19043 marbuel 20 0 12452 960 700 S 0 0.0 0:00.02 sftp-server 19094 root 20 0 70452 3184 2504 S 0 0.1 0:00.02 sshd 19096 marbuel 20 0 70596 1716 992 S 0 0.0 0:00.04 sshd 19097 marbuel 20 0 12444 952 700 S 0 0.0 0:00.01 sftp-server 20463 www-data 20 0 350m 49m 6540 D 0 1.2 0:06.87 apache2 20720 www-data 20 0 347m 47m 6144 S 0 1.1 0:03.36 apache2 20722 www-data 20 0 353m 54m 6048 S 0 1.3 0:04.96 apache2 20865 www-data 20 0 341m 43m 4648 S 0 1.1 0:01.06 apache2 20867 www-data 20 0 340m 42m 4644 S 0 1.0 0:01.23 apache2 20927 www-data 20 0 311m 11m 3764 D 0 0.3 0:00.06 apache2 Dá se s tím něco dělat? Vojta Brzek

12 years, 8 months

Praha - mozne vypadky dnes v noci

by Pavel Snajdr

-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 Ahoj clenove, omlouvam se, ze jsem nedal vedet driv, jaksi mi to v tom svatecnim shonu vypadlo - dnes v noci (po jedenacte vecer) se chystame do datacentra v Praze, budeme predelavat nastaveni site ze single sitovky na bonding 2 interfaces pres 2 switche - eliminujeme tim SPOF v podobne switchu. Vypadky budou doufam bez restartu a kratsi nez 5 minut / server, takze by si toho asi ani nikdo nevsimnul, ale je lepsi dat vedet. Preju vsem hodne stesti v nadchazejicim roce a co nejmin segfaultu :) Pavel Snajdr +420 720 107 791 http://vpsfree.cz -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.11 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/ iF4EAREIAAYFAk75ruUACgkQdh+64ds5DaYxkQEAo5+nAAafnwEDxf+cX9cjSmfX xyVG+RUNxcdvZBUFAhYBAJ0eWbvc7v0EEzDsuwKbpUegmHW8qKoRoJLdtzXPsGzU =eHmL -----END PGP SIGNATURE-----

12 years, 8 months

Stanovisko Platon Technologies k vypadku

by Ondrej Jombik

Dobry den Zvykli sme pravidelne citat tento mailinglist a aj ked sme sa citili castokrat dotknuti roznymi vyjadreniami, vzdy sme to ignorovali. Dnes sme vsak boli nazvani "banda neschopnych hovad", tak uz reagovat musime. So serverom Epsilon bol za posledne mesiace castokrat problem. Niekto ten server zrejme pretazuje a to tak, ze je nutny restart. Tento restart sme robili pravidelne na dialku. Problem bol/je, ze server skoro nikdy nenabehol, ostal na FSCK a bola teda nutna navsteva serverovne. Tuto navstevu sme vykonavali my (firma Platon). Nie su to nase servery a nemame k nim administratorsky pristup, pomahali sme vsak vpsFree a to aj napriek tomu, ze tieto (caste) zasahy nikdy neboli oficialne dohodnute (tazko sa pracuje so serverom, ktory sami nespravujeme). Rovnaka situacia nastala aj dnes. Bohuzial celkom dobre nechapem preco boli nutne tieto invektivy na nasich ludi. Chronologia - ako som si ju vyziadal od zamestnancov: 17:45 - vypadok servera (podla mailinglistu outage-list) 18:00 - nahlaseny problem u nas (priblizny cas) 18:45 - nas zamestnanec v serverovi zistuje situaciu a posiela prvy e-mail zakaznikovi (vpsFree) Nasledne sa zakaznik stazuje, ze nema pristup na remote management. V tejto chvili som ako konatel postavil do pozoru celu firmu (aj ked je sobota), ze ako je mozne, ze tato vec, ktoru tam zakaznik osobne doniesol a nefunguje! Fakt som bol nastvany, za taketo lajdactvo! Lenze ukazalo sa, ze tento pristup bol nakonfigurovany dna 27-Oct-2011. To co nebolo nakonfigurovane bol samotny remote management device. Mame vsetky switche v SVN, takze vieme presne kedy ktora zmena nastala, vieme kedy bol dany port otvoreny: +! Last configuration change at 11:36:16 CEST Thu Oct 27 2011 by miquel +! NVRAM config last updated at 11:36:26 CEST Thu Oct 27 2011 by miquel + description zeta.vpsFree.cz - MNG + switchport access vlan 201 Nasledne teda zacali nasi ludia na zaklade instrukcii od zakaznika konfigurovat toto zariadenie na remote pristup. Samozrejme to je vec, s ktorou my nemame ziadne skusenosti, ani taketo zariadenie nevlastnime, ani sme nikdy nepredpokladali, ze s tym budeme musiet robit. Mysleli sme, ze dane zariadenie je nakonfigurovane, ved to bol primarny ciel pred niekolkymi mesiacmi. Aj po oprave remote managementu server stale nestartoval kvoli chybnemu filesystemu. Ten bol po cca hodine opraveny a nasledne server funkcny. Cely tento cas boli zamestnanci firmy osobne pritomni v datovom centre pre pripad, ze by zakaznik vyzadoval este dalsi zasah. Nemame problem remote management zariadenie nakonfigurovat ak treba, ale mohli sme tak urobit za posledne dva mesiace kedykolvek. Neprisel vsak ziadny e-mail ohladom toho, ze s tym treba cokolvek robit. To naozaj nik za 2 mesiace neotestoval ten remote management pristup ci funguje? Aky zmysel ma nefunkcny remote management? Ved to je akoby tam ziadny nebol. Mrzi nas vzniknuta situacia a sposobeny vypadok, ktory sa dotkol urcite mnohych ludi, kedze virtualnych serverov tam bezi vela. Z nasej strany sme ale spravili maximum, alebo aspon sme sa o to pokusili. Urcite nie sme dokonala firma, mame svoje chyby a muchy, na ktorych musime pracovat. Kazdopadne moji zamestnaci si nezasluzia oznacenie "banda neschopnych hovad". Zvlast nie po dnesnej sobote. Este raz sa opravedlnujem za vypadok. Plynie z toho pre nas ponaucenie do buducnosti pro-aktivne pristupovat aj k veciam, ktore su mimo nasej spravy, aby vzniknute emergency situacie neboli takto stresujuce. Dakujem za precitanie S pozdravom Ondrej Jombik konatel spolocnosti -- Ondrej JOMBIK Platon Technologies Ltd., Hlavna 3, Sala SK-92701 +421 903 PLATON - info(a)platon.org - http://platon.org

12 years, 9 months

Epsilon down

by Pavel Snajdr

-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 $subj, netusim pricinu, resetoval jsem to (nedalo se prihlasit) za nedlouho by mel byt up. - -- Pavel Snajdr +420 720 107 791 http://vpsfree.cz -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.11 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/ iF4EAREIAAYFAk7jjBoACgkQdh+64ds5DaZj5QD/TW1Ax80PGuoEnm0oYqpV1fa/ FhzPDtcz/QORbF63rAMA/inDz0W5YtIa+abspONCCpHjlKAkZ0twQnAOe9bvNOfU =1mtX -----END PGP SIGNATURE-----

12 years, 9 months

zalohy

by Martin Mančuška

caute, pozeram ze posledna zaloha na epsilone prebehla 5.11. 2011, aspon podla vpsadminu. nieco sa stalo, ci som nieco prehliadol? mato

12 years, 9 months

Fwd: Oznámení o plánovaném servisním zásahu

by Pavel Snajdr

-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 - -------- Original Message -------- Subject: Oznámení o plánovaném servisním zásahu Date: Mon, 21 Nov 2011 14:43:22 +0100 (CET) From: IS robot <info(a)master.cz> To: Šnajdr Pavel <snajpa(a)snajpa.net> Vážený zákazníku, rádi bychom Vás informovali o plánovaném servisním zásahu na UPS zařízeních v Master DC Praha. Jedná se o preventivní údržbu a nepředpokládá se žádné omezení poskytovaných služeb. ************************************************************ DATUM A ČAS: 28. a 29. 11. 2011 vždy v době od 8:00 do 18:00 TYP UDÁLOSTI: Plánovaná údržba POPIS: Servisní zásah na zařízeních UPS OMEZENÍ SLUŽEB: Velmi nepravděpodobný výpadek napájení (1%) ************************************************************ Děkujeme za pochopení a omlouváme se za případné nesnáze. Master Internet, s.r.o. http://www.master.cz/ info(a)master.cz Pokud si nepřejete zasílat informační sdělení tohoto typu, odškrtněte prosím v zákaznickém informačním systému (master.cz/cis) položku "posílat zprávy emailem". -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.11 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/ iF4EAREIAAYFAk7KVaYACgkQdh+64ds5DaYMGAEA0CcUjDUGlLnREecybcAOoAeA qdRGtwuhsTgSCFX7ZvwBANmggehHkd2OkgECyPRaXmH3B5tGzX67IOtVFC2e5f3d =SpFJ -----END PGP SIGNATURE-----

12 years, 9 months

Router1 Unplanned Outage - Postmortem

by Pavel Snajdr

-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 Ahoj, dnes v noci nam umrel Router1 (od ~1:30 rano do 10:30, nez jsme si toho vsimli). Failover zafungoval dobre, az na nektery NAT pravidla, ktery jsem daval akorat na router1 - aktualne pisu demon na synchronizaci techhle veci mezi routery. Proc umrel, je docela zahada, ale jisty je, ze byl kompletne down (nemel napajeni) - support mi rekl, ze tam byl uvolnenej napajeci kabel, ale mam problemy tomu verit, protoze pokazdy, kdyz odchazim z DC, tohle kontroluju. Ale, stat se to asi mohlo, jiny vysvetleni nemame. Jedno je jisty - investice do redundantni infrastruktury se vzdycky vyplati. - -- Pavel Snajdr +420 720 107 791 http://vpsfree.cz -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.11 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/ iF4EAREIAAYFAk6ry0YACgkQdh+64ds5DabL+gD+LKJmXueG/j60ApOI1w/rZ9qH dfbbSrFTyJFG3C/U+uMA/1cnQule6J9z8OtSM41VOZPTRmLQb5+nhCSvyTi+PxVb =KXTX -----END PGP SIGNATURE-----

12 years, 10 months

Planovany vypadek / Planned outage - node1a, node1b, node2a, node2b, node3a, node3b, gamma, epsilon - 25.10.2011 @ 0:30

by podpora＠vpsFree.cz

12 years, 10 months

Planovany vypadek / Planned outage - gamma, epsilon - 21.10.2011

by podpora＠vpsFree.cz

12 years, 11 months

Epsilon down znova

by Pavel Snajdr

-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 Uz me to nebavi, necham to bez resetu a pokusim se tam dostat nasilim i presto ze me timeoutuje. Podle vseho v noci to delalo znova a vzpamatovalo se to, pocitam ze je to opravdu nejaka pitoma zatez. - -- Pavel Snajdr +420 720 107 791 http://vpsfree.cz -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.11 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/ iF4EAREIAAYFAk6V6T4ACgkQdh+64ds5DaYm9AD+KLIBfaPIxESjXBFFnC9JLahX SLfE23khkN+O4xKVluoBAIoDgNH5BFcxjlQLVP5WyfH+shIzwJikCNImUtg3M0py =Yq8F -----END PGP SIGNATURE-----

12 years, 11 months

Jump to page:

2024

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

Outage-list