<html><body>Jop, resil. Resil jsem situaci kdy mi kleknula pulka datovyho centra :D A fakt bych to nedal, kdybych musel s bezici aplikaci pockat, at se obnovi databaze a storage. Takhle se mi proste degradovaly clustery, nicmene to po chvili fungovalo dal (plus minus, treba galeru to asi na 30s zasekne, dokukd si neuvedomi, ze ten node je fakt mrtvej a ze ho ma ignorovat, stejne tak glusterfs). Pak se postupne startovaly novy stroje nebo opraveny stroje a donahravaly si data z beziciho clusteru.<br><br>Dopad na uzivatele - asi 3 minuty aplikace s pomalou odezvou (chce to mit na loadbalancerech velky timeouty, aby to nezarizlo spojeni, ale cekalo az se galera probere). Dopad na adminy - nekolik hodin fixovani a telefonovani se supportem datacentra. Vetsi problemy mi delal elasticsearcha jeho neochota se upgradnout, resp. pri upgradu nesejmout data (verze 1.3.5 tusim to byla).<br><br>Ondra Flidr<br><br><aside>
---------- Původní e-mail ----------<br>
Od: Pavel Hruška <mrpear@mrpear.net><br>
Komu: vpsFree.cz Community list <community-list@lists.vpsfree.cz><br>
Datum: 18. 4. 2018 13:01:24<br>
Předmět: Re: [vpsFree.cz: community-list] Infrastruktura vpsfree.cz
</aside><br><blockquote data-email="mrpear@mrpear.net"><div dir="ltr">Nad cluster storage jsem taky uvažoval, ale četl jsem, že tam "může" být problém s výkonem (i kdyby 10GbE, tak má sice propustnost, ale problém může být latence a je třeba počkat na potvrzení od všech nodů v clusteru) - nevím, jen jsem četl, nezkoušel jsem.<div><br></div><div>Pro zajímavost, řešili jste někdy takovou situaci, že by klekl HW celého node tak jak to tu diskutujeme?<br><div><br></div><div><br></div><div>P.</div></div></div><div><br><div>Dne 18. dubna 2018 12:46 sorki <span dir="ltr"><<a href="mailto:srk@48.io">srk@48.io</a>></span> napsal(a):<br><blockquote style="margin:0 0 0 0.8ex;border-left:1px#ccc solid;padding-left:1ex">
<div>
<p>Ahoj,</p>
<p>data VPSiek su momentalne na nodach a je to vcelku nestastne lebo
ked umre hardware tak jedina moznost je prehadzat disky do inej
masiny aby sli VPSky aspon odmigrovat. Pohravali sme sa s
myslienkou stand-by node, do ktorych by prave sli disky takto
prehadzat, problem je vsak, ze niektore nody maju iny pocet diskov
a po novom sa nam do toho miesa este aj NVMe. <br>
</p>
<p>Dalsia moznost by bola bezat nad clustrovym storageom (snajpa
navrhoval skusit DRBD9), kde by v pripade vypadku hw mohli VPS
nastartovat na inych nodach (storage zdielany cez vsetky nody v
lokacii). Prave druhu moznost by som rad casom virtualizovane
vyskusal, otazka je ako to bude fungovat so zfs.</p>
<pre>- srk
</pre><div><div>
<div>On 04/18/2018 11:06 AM, Ondrej.Flidr
wrote:<br>
</div>
<blockquote>Hoj,<br>
Co ti muzu rict ze svoji zkusenosti, tak data jsou na nodu, kde
bezi virtual. Kdyz node slitne, virtual nejede. Delaly se nejaky
experimenty s centralnim storage, ale bylo to nechutne pomaly
(prakticky takhle vznikl NASbox). Ostatne to je problem vzdycky,
ono i 100Gbit linky jsou pomaly, kdyz pres to tahas image stovek
virtualu.<br>
<br>
Pokud chces mit jistotu, ze ti veci pojedou at se stane cokoliv,
musis jit do klasickejch HA technik - balancing napric vic VPS,
nesmej bejt na stejnym nodu (idealne pulka v Praze, pulka v Brne,
abys dokazal ustat i DDoS). Je to drahy ale to je HA vzdycky.<br>
<br>
At tvuj stack a jak to udelat lip - vsechno musi byt min. 2x :)
Pokud chces mit jistotu, ze to bude OK, musis to postavit takhle:<br>
<br>
- min 3x vypocetni stroj<br>
- v kazdym 2x radic diskovyho pole<br>
- 2x SAS/FC switch<br>
- Z kazdyho serveru kabel do kazdyho SAS/FC switche<br>
- Z kazdyho SAS/FC switche kabely do kazdyho pole<br>
- V kazdym poli 2x radic, kazdej pripojenej do jednoho switche<br>
- Na obou polich totozny data<br>
<br>
Takhle budes mit jistotu, ze at uz umre cokoliv, porad bude nejaka
cesta jak se danej node dostane k datum. Nicmene uprimne - na
tohle bych se vykaslal, delal storage primo na serverech a
mirror/HA na urovni aplikaci ve virtualech. A proste pocitat s
tim, ze hardware muze umrit, ale aplikaci je to jedno.<br>
<br>
Co se tyce site, tu pak res stejnym konceptem:<br>
<br>
- 2x switch<br>
- v kazdym serveru 2x sitovka, kazda 2 porty (1 muze byt onboard)<br>
- Nakonfigurovany Bond-over-Bond - vzdycky 1 port z kazdy sitovky
do stejnyho switche, nad tim LACP bond a nad temahle dvouma
bondama dalsi v rezimu active-passive (pokud nemas switche co umej
stackovat a LACP pres ruzny zarizeni)<br>
- 2x router, kazdej vlastni uplink<br>
- kazdej switch pripojenej do obou routeru a mezi sebou. Je
potreba mit dobre nastaveny STP, aby jsi se nezabil na smyckach<br>
<br>
Ondra Flidr<br>
<br>
<br>
<aside>
---------- Původní e-mail ----------<br>
Od: Pavel Hruška <a href="mailto:mrpear@mrpear.net"><mrpear@mrpear.net></a><br>
Komu: vpsFree.cz Community list
<a href="mailto:community-list@lists.vpsfree.cz"><community-list@lists.vpsfree.<wbr>cz></a><br>
Datum: 18. 4. 2018 10:45:27<br>
Předmět: Re: [vpsFree.cz: community-list] Infrastruktura
<a href="http://vpsfree.cz">vpsfree.cz</a>
</aside>
<br>
<blockquote>
<div dir="ltr">Ahoj Pavle, díky za odpověď.
<div><br>
</div>
<div>Pro mě je záběr <a href="http://vpsfree.cz">vpsfree.cz</a>, resp. vpsadminos,
tedy to, že bych se hrabal ve zdrojácích na githubu, trošku
za hranou, navíc pokud píšeš, že to není příliš friendly pro
lidi neznalé "z venku" :). Jsem o "několik pater jako admin
výš" a některé věci nechávám raději jako black-box. Jinak
virtualizuju spíš Windows stroje přes KVM (tedy ne u vás,
ale tady na firmě). </div>
<div><br>
</div>
<div>Nicméně rád bych věděl trošku víc jak máte z principu
postavený celý systém - jestli chápu dobře, tak každý node
je samostatný, tzn. je včetně svého úložiště (prostě když
mám svůj virtuál na node14, data mám taky na něm)? NAS je
samozřejmě po síti dostupný z každého node. Zajímá mě co se
děje při výpadku node: hostované virtály na něm pak nejedou?
Chodí mi samozřejmě maily z outage listu, ale když mi něco
přijde a zkusím si svůj server, vždy to běží, tak nevím,
jestli to chodí až po výpadku nebo jak přesně? Nebo je to
úplně jinak? A pak samozřejmě jde o to, kdyby byl nějaký
horší výpadek, třeba to, že se node celý sesype (hw serveru,
disky), co pak?</div>
<div><br>
</div>
<div>Aktuálně mám virtualizovaný dva fyzický stroje, které
sdílí společné diskové pole, nepřijde mi to moc šťastné,
protože při výpadku toho pole jsem....no asi víš kde. Tak
přemýšlím, jak to vyřešit lépe.</div>
<div><br>
</div>
<div>Na tom vašem HW mě překvapilo i to, že se v nodech
používají desktop-grade disky (WD black jsem tam viděl),
teda jestli jsem to pochopil správně. A jaké máš dlouhodobě
zkušenosti s Supermicro servery, jsou ok? Četl jsem
rozporuplné názory... Já jedu na HP.</div>
<div><br>
</div>
<div>V podstatě v tom prvním mailu jsem se ptal na to, jestli
už třeba někde nevisí přednáška nebo něco, která by tohle
popisovala. Nechci zbytečně otravovat ;).</div>
<div><br>
</div>
<div><br>
</div>
<div>P.</div>
</div>
<div><br>
<div>Dne 17. dubna 2018 16:27 Pavel Snajdr <span dir="ltr"><<a href="mailto:snajpa@snajpa.net">snajpa@snajpa.net</a>></span>
napsal(a):<br>
<blockquote style="margin:0 0 0 0.8ex;border-left:1px#ccc solid;padding-left:1ex">Cauko Pavle,<br>
<br>
v te tabulce chybi nove nody a celkove je dost zastarala;
nechtelo by se Ti na to napsat skript, ktery by ji
generoval? Nebo kdyz ne tobe, nasel by se jiny
dobrovolnik?<br>
<br>
Na vsechny nody mam SSH, skript bych poustel od sebe, jako
parametr by dostal hostnames a pak, kdyby idealne
vyplivnul Dokuwiki tabulku s udaji per node:<br>
<br>
- typ desky (dmidecode)<br>
- nainstalovane procesory (dmidecode)<br>
- nainstalovana pamet (dmidecode)<br>
- nainstalovane disky (lsblk? smartctl -a /dev/sd* ?)<br>
<br>
Kdyby se to nekomu chtelo splacnout, budu velmi rad :)<br>
<br>
Jinak zdrojaky k tomu, co jedeme, jsou na Githubu:<br>
<br>
<a href="https://github.com/vpsfreecz/" rel="noreferrer">https://github.com/vpsfreecz/</a><br>
<br>
Aktualni reseni neni moc staveny na vic deploymentu, aby
si to kazdy mohl nasadit u sebe - neni to moc dobre
podokumentovane a uz vubec se nepocita pri updatech s
nekym "neinformovanym".<br>
<br>
Tak jako tak, OpenVZ 6 doziva a stavime nastupnicky reseni
nad upstream technologiemi:<br>
<br>
<a href="https://vpsadminos.org/" rel="noreferrer">https://vpsadminos.org/</a><br>
<br>
Tohle uz si troufame mirit i pro ostatni k nasazeni, je to
jeste dost dlouhy kus cesty, ale chceme se tam dostat.<br>
<br>
Aby si mohli treba kluci v Indii zalozit svoje vpsFree,
protoze pro nas se tam dostat je vcelku z fleku nerealny,
kdyz nezname mistni pomery (a na slepo do nejakyho
indickyho datacentra jit, to je o nervy).<br>
<br>
Vypadky hlasime v outage-listu:<br>
<br>
<a href="https://lists.vpsfree.cz/pipermail/outage-list/" rel="noreferrer">https://lists.vpsfree.cz/piper<wbr>mail/outage-list/</a><br>
<br>
Na konferencich nas muzes potkat uz nekolikaty rok,
jezdime na InstallFest, LinuxDays, OpenAlt a cokoliv, co
se zrovna povede v Bratislave - pristi vikend se muzem
potkat prave na OpenCampu, sobota, FIT STU:<br>
<br>
<a href="https://opencamp.sk/o-konferencii" rel="noreferrer">https://opencamp.sk/o-konferen<wbr>cii</a><br>
<br>
A jinak se urcite ptej dal, kdyztak dej prosim
konkretnejsi dotaz, akorat ;)<br>
<br>
/snajpa<span><br>
<br>
On 2018-04-17 15:15, Pavel Hruška wrote:<br>
</span>
<blockquote style="margin:0 0 0 0.8ex;border-left:1px#ccc solid;padding-left:1ex">
Ahojte,<br>
<br>
četl jsem si ve znalostní bázi o infrastruktuře <a href="http://vpsfree.cz" rel="noreferrer">vpsfree.cz</a> [1]<br>
(<a href="https://kb.vpsfree.cz/informace/infrastruktura" rel="noreferrer">https://kb.vpsfree.cz/informa<wbr>ce/infrastruktura</a>
[2]), můj dotaz<span><br>
jestli je popsaný stav aktuální?<br>
<br>
</span>
Jsem u <a href="http://vpsfree.cz" rel="noreferrer">vpsfree.cz</a> [1] přes dva
roky a řeším teď infrastrukturu<span><br>
ve firmě, tedy v menším měřítku (3 fyzické servery) a
také<br>
</span>
díky <a href="http://vpsfree.cz" rel="noreferrer">vpsfree.cz</a> [1] se začínám
zajímat více o (opensource)<span><br>
linuxovou virtualizaci a především ZFS. Dozvědět se
více o tom,<br>
</span>
jak funguje infrastruktura <a href="http://vpsfree.cz" rel="noreferrer">vpsfree.cz</a>
[1] by byla skvělá inspirace,<span><br>
např. zkušenosti se servery, jak přesněji je řešeno<br>
úložiště, co výpadky nodů (jestli jsou a jak se to
případně<br>
řeší) atp. Nedá někde zjistit více, nebude nějaká
konference,<br>
přednáška, ...?<br>
<br>
Díky,<br>
Pavel<br>
<br>
</span>
Links:<br>
------<br>
[1] <a href="http://vpsfree.cz" rel="noreferrer">http://vpsfree.cz</a><br>
[2] <a href="https://kb.vpsfree.cz/informace/infrastruktura" rel="noreferrer">https://kb.vpsfree.cz/informac<wbr>e/infrastruktura</a><br>
<br>
______________________________<wbr>_________________<br>
Community-list mailing list<br>
<a href="mailto:Community-list@lists.vpsfree.cz">Community-list@lists.vpsfree.c<wbr>z</a><br>
<a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer">http://lists.vpsfree.cz/listin<wbr>fo/community-list</a><br>
</blockquote>
______________________________<wbr>_________________<br>
Community-list mailing list<br>
<a href="mailto:Community-list@lists.vpsfree.cz">Community-list@lists.vpsfree.c<wbr>z</a><br>
<a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer">http://lists.vpsfree.cz/listin<wbr>fo/community-list</a><br>
</blockquote>
</div>
<br>
<br clear="all">
<div><br>
</div>
-- <br>
<div>
<div dir="ltr">
<div>
<div dir="ltr">
<div>
<div dir="ltr">
<div>
<div style="font-size:small">Ing. Pavel Hruška</div>
<div style="font-size:small"><a href="http://www.mrpear.net/" style="color:rgb(17,85,204)">http://www.mrpear.net</a><br>
</div>
<div style="font-size:small"><a href="mailto:mrpear@mrpear.net" style="color:rgb(17,85,204)">mrpear@mrpear.net</a><br>
</div>
<div style="font-size:small"><br>
</div>
<div style="font-size:small">web, webdesign,
web-aplikace:</div>
<div style="font-size:small"><a href="http://www.pearfect.cz/" style="color:rgb(17,85,204)">http://www.pearfect.cz</a></div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
______________________________<wbr>_________________<br>
Community-list mailing list<br>
<a href="mailto:Community-list@lists.vpsfree.cz">Community-list@lists.vpsfree.<wbr>cz</a><br>
<a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/<wbr>listinfo/community-list</a><br>
</blockquote>
<br>
<div></div>
<br>
<pre>______________________________<wbr>_________________
Community-list mailing list
<a href="mailto:Community-list@lists.vpsfree.cz">Community-list@lists.vpsfree.<wbr>cz</a>
<a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/<wbr>listinfo/community-list</a>
</pre>
</blockquote>
<br>
</div></div></div>
<br>______________________________<wbr>_________________<br>
Community-list mailing list<br>
<a href="mailto:Community-list@lists.vpsfree.cz">Community-list@lists.vpsfree.<wbr>cz</a><br>
<a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer">http://lists.vpsfree.cz/<wbr>listinfo/community-list</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div style="font-size:small">Ing. Pavel Hruška</div><div style="font-size:small"><a href="http://www.mrpear.net/" style="color:rgb(17,85,204)">http://www.mrpear.net</a><br></div><div style="font-size:small"><a href="mailto:mrpear@mrpear.net" style="color:rgb(17,85,204)">mrpear@mrpear.net</a><br></div><div style="font-size:small"><br></div><div style="font-size:small">web, webdesign, web-aplikace:</div><div style="font-size:small"><a href="http://www.pearfect.cz/" style="color:rgb(17,85,204)">http://www.pearfect.cz</a></div></div></div></div></div></div></div></div>
</div>
_______________________________________________<br>Community-list mailing list<br>Community-list@lists.vpsfree.cz<br>http://lists.vpsfree.cz/listinfo/community-list<br></blockquote></body></html>