[vpsFree.cz: community-list] Infrastruktura vpsfree.cz

Wed Apr 18 13:06:55 CEST 2018

Jop, resil. Resil jsem situaci kdy mi kleknula pulka datovyho centra :D A 
fakt bych to nedal, kdybych musel s bezici aplikaci pockat, at se obnovi 
databaze a storage. Takhle se mi proste degradovaly clustery, nicmene to po 
chvili fungovalo dal (plus minus, treba galeru to asi na 30s zasekne, dokukd
si neuvedomi, ze ten node je fakt mrtvej a ze ho ma ignorovat, stejne tak 
glusterfs). Pak se postupne startovaly novy stroje nebo opraveny stroje a 
donahravaly si data z beziciho clusteru.

Dopad na uzivatele - asi 3 minuty aplikace s pomalou odezvou (chce to mit na
loadbalancerech velky timeouty, aby to nezarizlo spojeni, ale cekalo az se 
galera probere). Dopad na adminy - nekolik hodin fixovani a telefonovani se 
supportem datacentra. Vetsi problemy mi delal elasticsearcha jeho neochota 
se upgradnout, resp. pri upgradu nesejmout data (verze 1.3.5 tusim to byla).

Ondra Flidr

---------- Původní e-mail ----------
Od: Pavel Hruška <mrpear at mrpear.net>
Komu: vpsFree.cz Community list <community-list at lists.vpsfree.cz>
Datum: 18. 4. 2018 13:01:24
Předmět: Re: [vpsFree.cz: community-list] Infrastruktura vpsfree.cz 
"
Nad cluster storage jsem taky uvažoval, ale četl jsem, že tam "může" být 
problém s výkonem (i kdyby 10GbE, tak má sice propustnost, ale problém může 
být latence a je třeba počkat na potvrzení od všech nodů v clusteru) - 
nevím, jen jsem četl, nezkoušel jsem.

Pro zajímavost, řešili jste někdy takovou situaci, že by klekl HW celého 
node tak jak to tu diskutujeme?

P.

Dne 18. dubna 2018 12:46 sorki <srk at 48.io(mailto:srk at 48.io)> napsal(a):
" 

Ahoj,

data VPSiek su momentalne na nodach a je to vcelku nestastne lebo ked umre 
hardware tak jedina moznost je prehadzat disky do inej masiny aby sli VPSky 
aspon odmigrovat. Pohravali sme sa s myslienkou stand-by node, do ktorych by
prave sli disky takto prehadzat, problem je vsak, ze niektore nody maju iny 
pocet diskov a po novom sa nam do toho miesa este aj NVMe. 

Dalsia moznost by bola bezat nad clustrovym storageom (snajpa navrhoval 
skusit DRBD9), kde by v pripade vypadku hw mohli VPS nastartovat na inych 
nodach (storage zdielany cez vsetky nody v lokacii). Prave druhu moznost by 
som rad casom virtualizovane vyskusal, otazka je ako to bude fungovat so 
zfs.

- srk

On 04/18/2018 11:06 AM, Ondrej.Flidr wrote:

"Hoj,
Co ti muzu rict ze svoji zkusenosti, tak data jsou na nodu, kde bezi 
virtual. Kdyz node slitne, virtual nejede. Delaly se nejaky experimenty s 
centralnim storage, ale bylo to nechutne pomaly (prakticky takhle vznikl 
NASbox). Ostatne to je problem vzdycky, ono i 100Gbit linky jsou pomaly, 
kdyz pres to tahas image stovek virtualu.

Pokud chces mit jistotu, ze ti veci pojedou at se stane cokoliv, musis jit 
do klasickejch HA technik - balancing napric vic VPS, nesmej bejt na stejnym
nodu (idealne pulka v Praze, pulka v Brne, abys dokazal ustat i DDoS). Je to
drahy ale to je HA vzdycky.

At tvuj stack a jak to udelat lip - vsechno musi byt min. 2x :) Pokud chces 
mit jistotu, ze to bude OK, musis to postavit takhle:

- min 3x vypocetni stroj
- v kazdym 2x radic diskovyho pole
- 2x SAS/FC switch
- Z kazdyho serveru kabel do kazdyho SAS/FC switche
- Z kazdyho SAS/FC switche kabely do kazdyho pole
- V kazdym poli 2x radic, kazdej pripojenej do jednoho switche
- Na obou polich totozny data

Takhle budes mit jistotu, ze at uz umre cokoliv, porad bude nejaka cesta jak
se danej node dostane k datum. Nicmene uprimne - na tohle bych se vykaslal, 
delal storage primo na serverech a mirror/HA na urovni aplikaci ve 
virtualech. A proste pocitat s tim, ze hardware muze umrit, ale aplikaci je 
to jedno.

Co se tyce site, tu pak res stejnym konceptem:

- 2x switch
- v kazdym serveru 2x sitovka, kazda 2 porty (1 muze byt onboard)
- Nakonfigurovany Bond-over-Bond - vzdycky 1 port z kazdy sitovky do 
stejnyho switche, nad tim LACP bond a nad temahle dvouma bondama dalsi v 
rezimu active-passive (pokud nemas switche co umej stackovat a LACP pres 
ruzny zarizeni)
- 2x router, kazdej vlastni uplink
- kazdej switch pripojenej do obou routeru a mezi sebou. Je potreba mit 
dobre nastaveny STP, aby jsi se nezabil na smyckach

Ondra Flidr

---------- Původní e-mail ----------
Od: Pavel Hruška <mrpear at mrpear.net>(mailto:mrpear at mrpear.net)
Komu: vpsFree.cz Community list <community-list at lists.vpsfree.cz>
(mailto:community-list at lists.vpsfree.cz)
Datum: 18. 4. 2018 10:45:27
Předmět: Re: [vpsFree.cz: community-list] Infrastruktura vpsfree.cz
(http://vpsfree.cz) 
" 
Ahoj Pavle, díky za odpověď. 

Pro mě je záběr vpsfree.cz(http://vpsfree.cz), resp. vpsadminos, tedy to, že
bych se hrabal ve zdrojácích na githubu, trošku za hranou, navíc pokud 
píšeš, že to není příliš friendly pro lidi neznalé "z venku" :). Jsem o 
"několik pater jako admin výš" a některé věci nechávám raději jako black-
box. Jinak virtualizuju spíš Windows stroje přes KVM (tedy ne u vás, ale 
tady na firmě). 

Nicméně rád bych věděl trošku víc jak máte z principu postavený celý systém 
- jestli chápu dobře, tak každý node je samostatný, tzn. je včetně svého 
úložiště (prostě když mám svůj virtuál na node14, data mám taky na něm)? NAS
je samozřejmě po síti dostupný z každého node. Zajímá mě co se děje při 
výpadku node: hostované virtály na něm pak nejedou? Chodí mi samozřejmě 
maily z outage listu, ale když mi něco přijde a zkusím si svůj server, vždy 
to běží, tak nevím, jestli to chodí až po výpadku nebo jak přesně? Nebo je 
to úplně jinak? A pak samozřejmě jde o to, kdyby byl nějaký horší výpadek, 
třeba to, že se node celý sesype (hw serveru, disky), co pak?

Aktuálně mám virtualizovaný dva fyzický stroje, které sdílí společné diskové
pole, nepřijde mi to moc šťastné, protože při výpadku toho pole jsem....no 
asi víš kde. Tak přemýšlím, jak to vyřešit lépe.

Na tom vašem HW mě překvapilo i to, že se v nodech používají desktop-grade 
disky (WD black jsem tam viděl), teda jestli jsem to pochopil správně. A 
jaké máš dlouhodobě zkušenosti s Supermicro servery, jsou ok? Četl jsem 
rozporuplné názory... Já jedu na HP.

V podstatě v tom prvním mailu jsem se ptal na to, jestli už třeba někde 
nevisí přednáška nebo něco, která by tohle popisovala. Nechci zbytečně 
otravovat ;).

P.

Dne 17. dubna 2018 16:27 Pavel Snajdr <snajpa at snajpa.net
(mailto:snajpa at snajpa.net)> napsal(a):
"Cauko Pavle,

v te tabulce chybi nove nody a celkove je dost zastarala; nechtelo by se Ti 
na to napsat skript, ktery by ji generoval? Nebo kdyz ne tobe, nasel by se 
jiny dobrovolnik?

Na vsechny nody mam SSH, skript bych poustel od sebe, jako parametr by 
dostal hostnames a pak, kdyby idealne vyplivnul Dokuwiki tabulku s udaji per
node:

- typ desky (dmidecode)
- nainstalovane procesory (dmidecode)
- nainstalovana pamet (dmidecode)
- nainstalovane disky (lsblk? smartctl -a /dev/sd* ?)

Kdyby se to nekomu chtelo splacnout, budu velmi rad :)

Jinak zdrojaky k tomu, co jedeme, jsou na Githubu:

https://github.com/vpsfreecz/(https://github.com/vpsfreecz/)

Aktualni reseni neni moc staveny na vic deploymentu, aby si to kazdy mohl 
nasadit u sebe - neni to moc dobre podokumentovane a uz vubec se nepocita 
pri updatech s nekym "neinformovanym".

Tak jako tak, OpenVZ 6 doziva a stavime nastupnicky reseni nad upstream 
technologiemi:

https://vpsadminos.org/(https://vpsadminos.org/)

Tohle uz si troufame mirit i pro ostatni k nasazeni, je to jeste dost dlouhy
kus cesty, ale chceme se tam dostat.

Aby si mohli treba kluci v Indii zalozit svoje vpsFree, protoze pro nas se 
tam dostat je vcelku z fleku nerealny, kdyz nezname mistni pomery (a na 
slepo do nejakyho indickyho datacentra jit, to je o nervy).

Vypadky hlasime v outage-listu:

https://lists.vpsfree.cz/pipermail/outage-list/
(https://lists.vpsfree.cz/pipermail/outage-list/)

Na konferencich nas muzes potkat uz nekolikaty rok, jezdime na InstallFest, 
LinuxDays, OpenAlt a cokoliv, co se zrovna povede v Bratislave - pristi 
vikend se muzem potkat prave na OpenCampu, sobota, FIT STU:

https://opencamp.sk/o-konferencii(https://opencamp.sk/o-konferencii)

A jinak se urcite ptej dal, kdyztak dej prosim konkretnejsi dotaz, akorat ;)

/snajpa

On 2018-04-17 15:15, Pavel Hruška wrote:
" Ahojte,

  četl jsem si ve znalostní bázi o infrastruktuře vpsfree.cz
(http://vpsfree.cz) [1]
(https://kb.vpsfree.cz/informace/infrastruktura
(https://kb.vpsfree.cz/informace/infrastruktura) [2]), můj dotaz
jestli je popsaný stav aktuální?

  Jsem u vpsfree.cz(http://vpsfree.cz) [1] přes dva roky a řeším teď 
infrastrukturu
ve firmě, tedy v menším měřítku (3 fyzické servery) a také
díky vpsfree.cz(http://vpsfree.cz) [1] se začínám zajímat více o 
(opensource)
linuxovou virtualizaci a především ZFS. Dozvědět se více o tom,
jak funguje infrastruktura vpsfree.cz(http://vpsfree.cz) [1] by byla skvělá 
inspirace,
např. zkušenosti se servery, jak přesněji je řešeno
úložiště, co výpadky nodů (jestli jsou a jak se to případně
řeší) atp. Nedá někde zjistit více, nebude nějaká konference,
přednáška, ...?

Díky,
Pavel

Links:
------
[1] http://vpsfree.cz(http://vpsfree.cz)
[2] https://kb.vpsfree.cz/informace/infrastruktura
(https://kb.vpsfree.cz/informace/infrastruktura)

_______________________________________________
Community-list mailing list
Community-list at lists.vpsfree.cz(mailto:Community-list at lists.vpsfree.cz)
http://lists.vpsfree.cz/listinfo/community-list
(http://lists.vpsfree.cz/listinfo/community-list)
" _______________________________________________
Community-list mailing list
Community-list at lists.vpsfree.cz(mailto:Community-list at lists.vpsfree.cz)
http://lists.vpsfree.cz/listinfo/community-list
(http://lists.vpsfree.cz/listinfo/community-list)
" 

-- 

Ing. Pavel Hruška

http://www.mrpear.net(http://www.mrpear.net/)

mrpear at mrpear.net(mailto:mrpear at mrpear.net)

web, webdesign, web-aplikace:

http://www.pearfect.cz(http://www.pearfect.cz/)

_______________________________________________
Community-list mailing list
Community-list at lists.vpsfree.cz(mailto:Community-list at lists.vpsfree.cz)
http://lists.vpsfree.cz/listinfo/community-list
(http://lists.vpsfree.cz/listinfo/community-list)
" 

______________________________<wbr>_________________
Community-list mailing list
<a href='mailto:Community-list at lists.vpsfree.cz'>Community-list at lists.vpsfree.<wbr>cz</a>
<a href='http://lists.vpsfree.cz/listinfo/community-list'>http://lists.vpsfree.cz/<wbr>listinfo/community-list</a>

" 

_______________________________________________
Community-list mailing list
Community-list at lists.vpsfree.cz(mailto:Community-list at lists.vpsfree.cz)
http://lists.vpsfree.cz/listinfo/community-list
(http://lists.vpsfree.cz/listinfo/community-list)

"

-- 

Ing. Pavel Hruška

http://www.mrpear.net(http://www.mrpear.net/)

mrpear at mrpear.net(mailto:mrpear at mrpear.net)

web, webdesign, web-aplikace:

http://www.pearfect.cz(http://www.pearfect.cz/)

_______________________________________________
Community-list mailing list
Community-list at lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
"
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.vpsfree.cz/pipermail/community-list/attachments/20180418/44fa1740/attachment-0001.html>