[vpsFree.cz: community-list] Infrastruktura vpsfree.cz

Wed Apr 18 12:25:54 CEST 2018

Pokud se do té virtuálky jde připojit před pořízením toho snapshotu, dá 
se použít fsfreeze - filesystém v tom snapshotu by pak měl být 
konzistentní (což ale samozřejmě ještě neznamená, že budou konzistentní 
i např. data v databázích)

On 18.4.2018 12:22, Pavel Hruška wrote:
> Tak samozřejmě, že "5 minut výpadku je problém" do té doby, než řekneš,
> kolik to stojí, aby teda ten výpadek nebyl, umocněno pravděpodobností, že
> se to fakt stane. To je běžná praxe kde se pohybuji, tedy menší a střední
> firmy. A tím jedním dnem výpadku jsem opravdu myslel, že to "nepoloží
> firmu", ale určitě jsem nemyslel "nemít problém". Cílem je ten výpadek co
> nejvíc minimalizovat. A proto jsem rád za každou radu či názor.
> 
> Víc storage na každý stroj sice potřebuju, nepotřebuju ale sdílený storage,
> který samo o sobě (mimo disků) taky něco stojí. Navíc se celkově pohybuju v
> pohodě, něco mezi 1-2 TB/node.
> 
> Migrace na druhou lokalitu není v plánu, je to poslední záchranej bod pro
> data při totálním kolapsu (aka spadne mi sem letadlo) :o).
> 
> V praxi nevím, jak se bude chovat filesystém virtuálu, když bude mít
> naběhnout ze "snapshotu". Přeci jen ten snapshot je dělanej za provozu.
> 
> 
> P.
> 
> Dne 18. dubna 2018 11:57 Ondrej.Flidr <Ondrej.Flidr at seznam.cz> napsal(a):
> 
>> Hoj,
>> jo, hardware neumira. Ale HA nestavis za ucelem "co kdyz umre hardware"
>> ale "nechci muset kazdou upravu delat ve tri rano, protoze chci tou dobou
>> bejt na srot pod stolem nebo s holkou v posteli".
>>
>> Ja jsem holt zvyklej na situace, kdy 5 minut vypadku je problem :)
>> Samozrejme, pokud firmu nepolozi denni vypadek, tak jsi za vodou a proste
>> bych delal jenom zalohy a neresil. Virtualy na ZFS, kazdejch treba 30 minut
>> (podle velikosti okna, ktery si muzes/chces dovolit) zfs send na druhej
>> stroj a v pripade problemu nahodis klon.  Akorat to tvoje potrebuje vyrazne
>> vic storage (vlastne na vsech serverech potrebujes misto pro vsechny
>> virtualy), coz muze byt docela drahy.
>>
>> S migraci na druhou lokalitu zacnes narazet na slozitosti s routovanim
>> (musis prehodit IP adresu => vlastni rozsah a reseni BGP).
>>
>> Ondra Flidr
>>
>> ---------- Původní e-mail ----------
>> Od: Pavel Hruška <mrpear at mrpear.net>
>> Komu: vpsFree.cz Community list <community-list at lists.vpsfree.cz>
>> Datum: 18. 4. 2018 11:42:32
>>
>> Předmět: Re: [vpsFree.cz: community-list] Infrastruktura vpsfree.cz
>>
>> Čauec, díky za objasnění. Já to trošku upřesním, trošku zmírním to, o co
>> mi jde, protože úplně 100% HA nepotřebuju. Co si budeme povídat, firmu
>> nepoloží, když to nepojede hodinu, možná víc, nepoloží ji ani to, když to
>> nepojede den. Důležitý je nepřijít o data (resp. přijít o data co nejmíň) a
>> dát to co nejdřív zase dohromady.
>>
>> Dělat HA na úrovni aplikace taky není někdy sranda a hlavně to může vyjít
>> dráž (např. licence na SQL server), než HA na úrovni HW a virtualizace. To
>> je třeba taky vzít v úvahu.
>>
>> Přemýšlím nad možností replikace storage - tzn. 3 stroje v clusteru, každý
>> má svoje virtuály a k nim storage. Storage se replikuje (rozdílově) v
>> určitých intervalech na zbylé stroje. Mohl bych teoreticky replikovat i
>> offsite na stroj v jiné lokalitě přes nějaký link (VPN). V případě kolapsu
>> jednoho fyzického stroje by došlo k migraci jeho virtuálů na zbylé stroje s
>> tím, že počítám s určitým oknem, ve kterém prostě můžu o něco přijít. Je to
>> o definici toho, co jsem schopen tolerovat (a jestli tedy vůbec ano). K
>> tomu samozřejmě podpora pomocí běžných záloh.
>>
>> Vycházím z toho, že přeci jen ten HW zase tak moc neumírá a není to otázka
>> běžné praxe. Ale chci s tím počítat.
>>
>> Ještě jsem to takto nezkoušel, chystám si na to testlab, nevím jestli to
>> není úplně zcestné.
>>
>>
>> P.
>>
>>
>>
>> Dne 18. dubna 2018 11:06 Ondrej.Flidr <Ondrej.Flidr at seznam.cz> napsal(a):
>>
>> Hoj,
>> Co ti muzu rict ze svoji zkusenosti, tak data jsou na nodu, kde bezi
>> virtual. Kdyz node slitne, virtual nejede. Delaly se nejaky experimenty s
>> centralnim storage, ale bylo to nechutne pomaly (prakticky takhle vznikl
>> NASbox). Ostatne to je problem vzdycky, ono i 100Gbit linky jsou pomaly,
>> kdyz pres to tahas image stovek virtualu.
>>
>> Pokud chces mit jistotu, ze ti veci pojedou at se stane cokoliv, musis jit
>> do klasickejch HA technik - balancing napric vic VPS, nesmej bejt na
>> stejnym nodu (idealne pulka v Praze, pulka v Brne, abys dokazal ustat i
>> DDoS). Je to drahy ale to je HA vzdycky.
>>
>> At tvuj stack a jak to udelat lip - vsechno musi byt min. 2x :) Pokud
>> chces mit jistotu, ze to bude OK, musis to postavit takhle:
>>
>> - min 3x vypocetni stroj
>> - v kazdym 2x radic diskovyho pole
>> - 2x SAS/FC switch
>> - Z kazdyho serveru kabel do kazdyho SAS/FC switche
>> - Z kazdyho SAS/FC switche kabely do kazdyho pole
>> - V kazdym poli 2x radic, kazdej pripojenej do jednoho switche
>> - Na obou polich totozny data
>>
>> Takhle budes mit jistotu, ze at uz umre cokoliv, porad bude nejaka cesta
>> jak se danej node dostane k datum. Nicmene uprimne - na tohle bych se
>> vykaslal, delal storage primo na serverech a mirror/HA na urovni aplikaci
>> ve virtualech. A proste pocitat s tim, ze hardware muze umrit, ale aplikaci
>> je to jedno.
>>
>> Co se tyce site, tu pak res stejnym konceptem:
>>
>> - 2x switch
>> - v kazdym serveru 2x sitovka, kazda 2 porty (1 muze byt onboard)
>> - Nakonfigurovany Bond-over-Bond - vzdycky 1 port z kazdy sitovky do
>> stejnyho switche, nad tim LACP bond a nad temahle dvouma bondama dalsi v
>> rezimu active-passive (pokud nemas switche co umej stackovat a LACP pres
>> ruzny zarizeni)
>> - 2x router, kazdej vlastni uplink
>> - kazdej switch pripojenej do obou routeru a mezi sebou. Je potreba mit
>> dobre nastaveny STP, aby jsi se nezabil na smyckach
>>
>> Ondra Flidr
>>
>>
>> ---------- Původní e-mail ----------
>> Od: Pavel Hruška <mrpear at mrpear.net>
>> Komu: vpsFree.cz Community list <community-list at lists.vpsfree.cz>
>> Datum: 18. 4. 2018 10:45:27
>> Předmět: Re: [vpsFree.cz: community-list] Infrastruktura vpsfree.cz
>>
>> Ahoj Pavle, díky za odpověď.
>>
>> Pro mě je záběr vpsfree.cz, resp. vpsadminos, tedy to, že bych se hrabal
>> ve zdrojácích na githubu, trošku za hranou, navíc pokud píšeš, že to není
>> příliš friendly pro lidi neznalé "z venku" :). Jsem o "několik pater jako
>> admin výš" a některé věci nechávám raději jako black-box. Jinak
>> virtualizuju spíš Windows stroje přes KVM (tedy ne u vás, ale tady na
>> firmě).
>>
>> Nicméně rád bych věděl trošku víc jak máte z principu postavený celý
>> systém - jestli chápu dobře, tak každý node je samostatný, tzn. je včetně
>> svého úložiště (prostě když mám svůj virtuál na node14, data mám taky na
>> něm)? NAS je samozřejmě po síti dostupný z každého node. Zajímá mě co se
>> děje při výpadku node: hostované virtály na něm pak nejedou? Chodí mi
>> samozřejmě maily z outage listu, ale když mi něco přijde a zkusím si svůj
>> server, vždy to běží, tak nevím, jestli to chodí až po výpadku nebo jak
>> přesně? Nebo je to úplně jinak? A pak samozřejmě jde o to, kdyby byl nějaký
>> horší výpadek, třeba to, že se node celý sesype (hw serveru, disky), co pak?
>>
>> Aktuálně mám virtualizovaný dva fyzický stroje, které sdílí společné
>> diskové pole, nepřijde mi to moc šťastné, protože při výpadku toho pole
>> jsem....no asi víš kde. Tak přemýšlím, jak to vyřešit lépe.
>>
>> Na tom vašem HW mě překvapilo i to, že se v nodech používají desktop-grade
>> disky (WD black jsem tam viděl), teda jestli jsem to pochopil správně. A
>> jaké máš dlouhodobě zkušenosti s Supermicro servery, jsou ok? Četl jsem
>> rozporuplné názory... Já jedu na HP.
>>
>> V podstatě v tom prvním mailu jsem se ptal na to, jestli už třeba někde
>> nevisí přednáška nebo něco, která by tohle popisovala. Nechci zbytečně
>> otravovat ;).
>>
>>
>> P.
>>
>> Dne 17. dubna 2018 16:27 Pavel Snajdr <snajpa at snajpa.net> napsal(a):
>>
>> Cauko Pavle,
>>
>> v te tabulce chybi nove nody a celkove je dost zastarala; nechtelo by se
>> Ti na to napsat skript, ktery by ji generoval? Nebo kdyz ne tobe, nasel by
>> se jiny dobrovolnik?
>>
>> Na vsechny nody mam SSH, skript bych poustel od sebe, jako parametr by
>> dostal hostnames a pak, kdyby idealne vyplivnul Dokuwiki tabulku s udaji
>> per node:
>>
>> - typ desky (dmidecode)
>> - nainstalovane procesory (dmidecode)
>> - nainstalovana pamet (dmidecode)
>> - nainstalovane disky (lsblk? smartctl -a /dev/sd* ?)
>>
>> Kdyby se to nekomu chtelo splacnout, budu velmi rad :)
>>
>> Jinak zdrojaky k tomu, co jedeme, jsou na Githubu:
>>
>> https://github.com/vpsfreecz/
>>
>> Aktualni reseni neni moc staveny na vic deploymentu, aby si to kazdy mohl
>> nasadit u sebe - neni to moc dobre podokumentovane a uz vubec se nepocita
>> pri updatech s nekym "neinformovanym".
>>
>> Tak jako tak, OpenVZ 6 doziva a stavime nastupnicky reseni nad upstream
>> technologiemi:
>>
>> https://vpsadminos.org/
>>
>> Tohle uz si troufame mirit i pro ostatni k nasazeni, je to jeste dost
>> dlouhy kus cesty, ale chceme se tam dostat.
>>
>> Aby si mohli treba kluci v Indii zalozit svoje vpsFree, protoze pro nas se
>> tam dostat je vcelku z fleku nerealny, kdyz nezname mistni pomery (a na
>> slepo do nejakyho indickyho datacentra jit, to je o nervy).
>>
>> Vypadky hlasime v outage-listu:
>>
>> https://lists.vpsfree.cz/pipermail/outage-list/
>>
>> Na konferencich nas muzes potkat uz nekolikaty rok, jezdime na
>> InstallFest, LinuxDays, OpenAlt a cokoliv, co se zrovna povede v Bratislave
>> - pristi vikend se muzem potkat prave na OpenCampu, sobota, FIT STU:
>>
>> https://opencamp.sk/o-konferencii
>>
>> A jinak se urcite ptej dal, kdyztak dej prosim konkretnejsi dotaz, akorat
>> ;)
>>
>> /snajpa
>>
>> On 2018-04-17 15:15, Pavel Hruška wrote:
>>
>> Ahojte,
>>
>>    četl jsem si ve znalostní bázi o infrastruktuře vpsfree.cz [1]
>> (https://kb.vpsfree.cz/informace/infrastruktura [2]), můj dotaz
>> jestli je popsaný stav aktuální?
>>
>>    Jsem u vpsfree.cz [1] přes dva roky a řeším teď infrastrukturu
>> ve firmě, tedy v menším měřítku (3 fyzické servery) a také
>> díky vpsfree.cz [1] se začínám zajímat více o (opensource)
>> linuxovou virtualizaci a především ZFS. Dozvědět se více o tom,
>> jak funguje infrastruktura vpsfree.cz [1] by byla skvělá inspirace,
>> např. zkušenosti se servery, jak přesněji je řešeno
>> úložiště, co výpadky nodů (jestli jsou a jak se to případně
>> řeší) atp. Nedá někde zjistit více, nebude nějaká konference,
>> přednáška, ...?
>>
>> Díky,
>> Pavel
>>
>> Links:
>> ------
>> [1] http://vpsfree.cz
>> [2] https://kb.vpsfree.cz/informace/infrastruktura
>>
>> _______________________________________________
>> Community-list mailing list
>> Community-list at lists.vpsfree.cz
>> http://lists.vpsfree.cz/listinfo/community-list
>>
>> _______________________________________________
>> Community-list mailing list
>> Community-list at lists.vpsfree.cz
>> http://lists.vpsfree.cz/listinfo/community-list
>>
>>
>>
>>
>> --
>> Ing. Pavel Hruška
>> http://www.mrpear.net
>> mrpear at mrpear.net
>>
>> web, webdesign, web-aplikace:
>> http://www.pearfect.cz
>> _______________________________________________
>> Community-list mailing list
>> Community-list at lists.vpsfree.cz
>> http://lists.vpsfree.cz/listinfo/community-list
>>
>>
>> _______________________________________________
>> Community-list mailing list
>> Community-list at lists.vpsfree.cz
>> http://lists.vpsfree.cz/listinfo/community-list
>>
>>
>>
>>
>> --
>> Ing. Pavel Hruška
>> http://www.mrpear.net
>> mrpear at mrpear.net
>>
>> web, webdesign, web-aplikace:
>> http://www.pearfect.cz
>> _______________________________________________
>> Community-list mailing list
>> Community-list at lists.vpsfree.cz
>> http://lists.vpsfree.cz/listinfo/community-list
>>
>>
>> _______________________________________________
>> Community-list mailing list
>> Community-list at lists.vpsfree.cz
>> http://lists.vpsfree.cz/listinfo/community-list
>>
>>
> 
> 
> 
> 
> _______________________________________________
> Community-list mailing list
> Community-list at lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list
> 