Re: [vpsFree.cz: community-list] Vypadky Node5

-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 Ahojte, o vypadcich node5 vime a nenechavame to jen tak. Nicmene neni jednoduche odladit, kde presne vznika problem, kdyz se ta masina zasekne tak, ze ani stack trace z ni nejde vydolovat. Nejlepsim resenim pro ted bude z nejvice postizenych stroju odhazet kontejnery, ktere vyuzivaji nejvic RAM, na cisty stroj, ktery bych mel dnes/zitra nainstalovat. Tim by melo mnozstvi problemu radove ustat. Dalsi vec je, ze vsechny ty problemy resime s upstreamem, at uz s vyvojari OpenVZ nebo ZFS, cili by se situace mela zlepsovat. Pokud pro nekoho je (ted vcelku casty) restart problem, coz se ani nedivim, ze problem je - neni potreba cekat, az pretece cise trpelivosti, kdyz se clovek rozhlidne, node5 neni jediny server, co mame a v clusteru mame taky stroje, ktere maji uptime aktualne 146 dni. Z nejakeho duvodu se nam na node4.prg, node5.prg, node8.prg a node2.brq seslo neco, co tomu jadru nedela dobre. Pred 7mi dny jsme na nich aktualizovali jadro a ZFS patchnute o dlouhodobe resene problemy se spravou pameti, na node8.prg a node2.brq to, zda se, problemy vyresilo, ale node4.prg a node5.prg trpi problemy dal, pricemz node5 je na tom absolutne nejhur. Pro ty z vas, kteri potrebuji situaci resit ASAP, piste na podporu, popresouvame ty VPS na stabilnejsi stroje (a ano, je pravdepodobnost, ze tim presunem i kontejner, ktery to shazuje tim, co dela - ale to by bylo spis dobre, nez spatne, protoze budeme mit jasno). K tomu, co pise Nikos - ano, dostupnost a garance jsou u nas "ozehave" tema zhruba ve smyslu, jak to Nikos popisuje, ale v momente, kdy jsme se s poctem clenu prehoupnuli pres pul tisicovky a mirime k tisicovce cele, uz to tak jak tak, at jsme dobrovolne sdruzeni nebo ne, nejde brat jen tak na lehkou vahu - problemy s jednim nebo izolovanym poctem stroju pak hazi spatne svetlo na cele sdruzeni, zatim co stovky clenu jsou spokojene, najde se par desitek, ktere jsme vypekli temi vypadky a kteri o nas moc dobreho mezi lidmi nereknou - a to nechceme. No a k poslednimu Nikove odstavci mam akorat aktualni zpravu :) Jelikoz jsme se rozhodli ukoncit podnikani v Bratislave a zavrit spolecnost Relbit, ktere jsem do ted venoval drtivou vetsinu casu, mel jsem ted moznost se rozhodnout, co dal se sebou, jestli mam jit nekam pracovat (vzhledem k me praxi za celkem slusne penize), nebo jestli zkusit cestu "vetsiho punku" a jit delat vpsFree na full-time. Tedy, situace se vyvinula tak, ze jsem se pred tydnem a neco konecne zabydlel v Brne, aktualne se venuju rozbehani clusteru pro jednoho zakaznika, ale jakmile to budu mit hotove, dostane to nase sdruzeni moji maximalni pozornost. Cili odhadem cca 3-4 tydny a potom se budu vpsFree venovat vicemene na plny uvazek - ale jelikoz by mne vpsFree nezvladlo adekvatne zaplatit, musim si prave vyresit dalsi prijem k tomu, proto mesicni zbrzdeni. Mezitim vyplnuju bugy a komunikuju s vyvojari software, ktery pouzivame a ktery ma nejvetsi problemy u nas, cili veci se hybou, ale nez budu mit cas naplno se ponorit do Ccka a zdrojaku, ktere pouzivame, bude to cca mesic trvat. Do te doby jako docasny workaround rozbalancujeme zatez a popresouvame VPSka, jak to pujde + musime posbirat dostatecne mnozstvi debug informaci, aby bylo od ceho se odrazit. All in all, tyhle problemy mame, protoze nepouzivame zadny dobre znamy stack software - kdybychom pouzivali KVM a jako storage LVM, to je velmi dobre testovane (Red Hat na tom stavi byznys preci) a funguje to, nicmene takovy pristup je IMHO prave vhodny pro komercni poskytovatele, kteri potrebuji poskytnout sluzbu, zkasirovat a vic neresit. U nas je to o co nejlepsim sharovani tech HW prostredku, co uz jsme si nakoupili, coz KVM ani trochu neumoznuje. V podstate to neumoznuje zadna out-of-box dostupna technologie v Linuxu, proto se starame o vlastni platformu. Vlastni platforma nam potom umoznuje delat kouzla a integraci, jaka by s cizi (a plnou) virtualizaci nebyla vubec myslitelna. Uz pred 6 lety jsem si myslel, ze jit cestou kontejneru, i kdyz vsichni jdou cestou plne virtualizace, je ta spravna cesta pro nas. Snahy o LXC a use-cases, pro ktere jsou podobne technologie mirene, to akorat potvrzuji a ukazuje se, ze kontejnery jako technologie jsou mnohem vhodnejsi pro typy workloadu, jako mame my. Chtel bych tohle obhajit a dal byt prukopnikem v oblasti, chci, abychom technologie spis rozvijeli a byli na spicce vyvoje, nez se jenom vezli a pouzivali to nejposlednejsi a nejvic otestovane. Samozrejme to znamena uplne jinou casovou narocnost a narocnost na vedomosti, ale presne proto vpsFree.cz od zacatku aspon ja osobne delam - silene mne to bavi. A ted mam prilezitost se tomu venovat na plno. Hodlam ji vyuzit a tesim se na ni. S pozdravem / Best regards, Pavel Snajdr +421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com On 02/10/2015 10:04 AM, Nikos Timiopulos wrote: