[vpsFree.cz: community-list] Infrastruktura vpsfree.cz
sorki
srk at 48.io
Wed Apr 18 12:46:46 CEST 2018
Ahoj,
data VPSiek su momentalne na nodach a je to vcelku nestastne lebo ked
umre hardware tak jedina moznost je prehadzat disky do inej masiny aby
sli VPSky aspon odmigrovat. Pohravali sme sa s myslienkou stand-by node,
do ktorych by prave sli disky takto prehadzat, problem je vsak, ze
niektore nody maju iny pocet diskov a po novom sa nam do toho miesa este
aj NVMe.
Dalsia moznost by bola bezat nad clustrovym storageom (snajpa navrhoval
skusit DRBD9), kde by v pripade vypadku hw mohli VPS nastartovat na
inych nodach (storage zdielany cez vsetky nody v lokacii). Prave druhu
moznost by som rad casom virtualizovane vyskusal, otazka je ako to bude
fungovat so zfs.
- srk
On 04/18/2018 11:06 AM, Ondrej.Flidr wrote:
> Hoj,
> Co ti muzu rict ze svoji zkusenosti, tak data jsou na nodu, kde bezi
> virtual. Kdyz node slitne, virtual nejede. Delaly se nejaky
> experimenty s centralnim storage, ale bylo to nechutne pomaly
> (prakticky takhle vznikl NASbox). Ostatne to je problem vzdycky, ono i
> 100Gbit linky jsou pomaly, kdyz pres to tahas image stovek virtualu.
>
> Pokud chces mit jistotu, ze ti veci pojedou at se stane cokoliv, musis
> jit do klasickejch HA technik - balancing napric vic VPS, nesmej bejt
> na stejnym nodu (idealne pulka v Praze, pulka v Brne, abys dokazal
> ustat i DDoS). Je to drahy ale to je HA vzdycky.
>
> At tvuj stack a jak to udelat lip - vsechno musi byt min. 2x :) Pokud
> chces mit jistotu, ze to bude OK, musis to postavit takhle:
>
> - min 3x vypocetni stroj
> - v kazdym 2x radic diskovyho pole
> - 2x SAS/FC switch
> - Z kazdyho serveru kabel do kazdyho SAS/FC switche
> - Z kazdyho SAS/FC switche kabely do kazdyho pole
> - V kazdym poli 2x radic, kazdej pripojenej do jednoho switche
> - Na obou polich totozny data
>
> Takhle budes mit jistotu, ze at uz umre cokoliv, porad bude nejaka
> cesta jak se danej node dostane k datum. Nicmene uprimne - na tohle
> bych se vykaslal, delal storage primo na serverech a mirror/HA na
> urovni aplikaci ve virtualech. A proste pocitat s tim, ze hardware
> muze umrit, ale aplikaci je to jedno.
>
> Co se tyce site, tu pak res stejnym konceptem:
>
> - 2x switch
> - v kazdym serveru 2x sitovka, kazda 2 porty (1 muze byt onboard)
> - Nakonfigurovany Bond-over-Bond - vzdycky 1 port z kazdy sitovky do
> stejnyho switche, nad tim LACP bond a nad temahle dvouma bondama dalsi
> v rezimu active-passive (pokud nemas switche co umej stackovat a LACP
> pres ruzny zarizeni)
> - 2x router, kazdej vlastni uplink
> - kazdej switch pripojenej do obou routeru a mezi sebou. Je potreba
> mit dobre nastaveny STP, aby jsi se nezabil na smyckach
>
> Ondra Flidr
>
>
> ---------- Původní e-mail ----------
> Od: Pavel Hruška <mrpear at mrpear.net>
> Komu: vpsFree.cz Community list <community-list at lists.vpsfree.cz>
> Datum: 18. 4. 2018 10:45:27
> Předmět: Re: [vpsFree.cz: community-list] Infrastruktura vpsfree.cz
>
>
> Ahoj Pavle, díky za odpověď.
>
> Pro mě je záběr vpsfree.cz <http://vpsfree.cz>, resp. vpsadminos,
> tedy to, že bych se hrabal ve zdrojácích na githubu, trošku za
> hranou, navíc pokud píšeš, že to není příliš friendly pro lidi
> neznalé "z venku" :). Jsem o "několik pater jako admin výš" a
> některé věci nechávám raději jako black-box. Jinak virtualizuju
> spíš Windows stroje přes KVM (tedy ne u vás, ale tady na firmě).
>
> Nicméně rád bych věděl trošku víc jak máte z principu postavený
> celý systém - jestli chápu dobře, tak každý node je samostatný,
> tzn. je včetně svého úložiště (prostě když mám svůj virtuál na
> node14, data mám taky na něm)? NAS je samozřejmě po síti dostupný
> z každého node. Zajímá mě co se děje při výpadku node: hostované
> virtály na něm pak nejedou? Chodí mi samozřejmě maily z outage
> listu, ale když mi něco přijde a zkusím si svůj server, vždy to
> běží, tak nevím, jestli to chodí až po výpadku nebo jak přesně?
> Nebo je to úplně jinak? A pak samozřejmě jde o to, kdyby byl
> nějaký horší výpadek, třeba to, že se node celý sesype (hw
> serveru, disky), co pak?
>
> Aktuálně mám virtualizovaný dva fyzický stroje, které sdílí
> společné diskové pole, nepřijde mi to moc šťastné, protože při
> výpadku toho pole jsem....no asi víš kde. Tak přemýšlím, jak to
> vyřešit lépe.
>
> Na tom vašem HW mě překvapilo i to, že se v nodech používají
> desktop-grade disky (WD black jsem tam viděl), teda jestli jsem to
> pochopil správně. A jaké máš dlouhodobě zkušenosti s Supermicro
> servery, jsou ok? Četl jsem rozporuplné názory... Já jedu na HP.
>
> V podstatě v tom prvním mailu jsem se ptal na to, jestli už třeba
> někde nevisí přednáška nebo něco, která by tohle popisovala.
> Nechci zbytečně otravovat ;).
>
>
> P.
>
> Dne 17. dubna 2018 16:27 Pavel Snajdr <snajpa at snajpa.net
> <mailto:snajpa at snajpa.net>> napsal(a):
>
> Cauko Pavle,
>
> v te tabulce chybi nove nody a celkove je dost zastarala;
> nechtelo by se Ti na to napsat skript, ktery by ji generoval?
> Nebo kdyz ne tobe, nasel by se jiny dobrovolnik?
>
> Na vsechny nody mam SSH, skript bych poustel od sebe, jako
> parametr by dostal hostnames a pak, kdyby idealne vyplivnul
> Dokuwiki tabulku s udaji per node:
>
> - typ desky (dmidecode)
> - nainstalovane procesory (dmidecode)
> - nainstalovana pamet (dmidecode)
> - nainstalovane disky (lsblk? smartctl -a /dev/sd* ?)
>
> Kdyby se to nekomu chtelo splacnout, budu velmi rad :)
>
> Jinak zdrojaky k tomu, co jedeme, jsou na Githubu:
>
> https://github.com/vpsfreecz/
>
> Aktualni reseni neni moc staveny na vic deploymentu, aby si to
> kazdy mohl nasadit u sebe - neni to moc dobre podokumentovane
> a uz vubec se nepocita pri updatech s nekym "neinformovanym".
>
> Tak jako tak, OpenVZ 6 doziva a stavime nastupnicky reseni nad
> upstream technologiemi:
>
> https://vpsadminos.org/
>
> Tohle uz si troufame mirit i pro ostatni k nasazeni, je to
> jeste dost dlouhy kus cesty, ale chceme se tam dostat.
>
> Aby si mohli treba kluci v Indii zalozit svoje vpsFree,
> protoze pro nas se tam dostat je vcelku z fleku nerealny, kdyz
> nezname mistni pomery (a na slepo do nejakyho indickyho
> datacentra jit, to je o nervy).
>
> Vypadky hlasime v outage-listu:
>
> https://lists.vpsfree.cz/pipermail/outage-list/
> <https://lists.vpsfree.cz/pipermail/outage-list/>
>
> Na konferencich nas muzes potkat uz nekolikaty rok, jezdime na
> InstallFest, LinuxDays, OpenAlt a cokoliv, co se zrovna povede
> v Bratislave - pristi vikend se muzem potkat prave na
> OpenCampu, sobota, FIT STU:
>
> https://opencamp.sk/o-konferencii
> <https://opencamp.sk/o-konferencii>
>
> A jinak se urcite ptej dal, kdyztak dej prosim konkretnejsi
> dotaz, akorat ;)
>
> /snajpa
>
> On 2018-04-17 15:15, Pavel Hruška wrote:
>
> Ahojte,
>
> četl jsem si ve znalostní bázi o infrastruktuře
> vpsfree.cz <http://vpsfree.cz> [1]
> (https://kb.vpsfree.cz/informace/infrastruktura
> <https://kb.vpsfree.cz/informace/infrastruktura> [2]), můj
> dotaz
> jestli je popsaný stav aktuální?
>
> Jsem u vpsfree.cz <http://vpsfree.cz> [1] přes dva roky
> a řeším teď infrastrukturu
> ve firmě, tedy v menším měřítku (3 fyzické servery) a také
> díky vpsfree.cz <http://vpsfree.cz> [1] se začínám zajímat
> více o (opensource)
> linuxovou virtualizaci a především ZFS. Dozvědět se více o
> tom,
> jak funguje infrastruktura vpsfree.cz <http://vpsfree.cz>
> [1] by byla skvělá inspirace,
> např. zkušenosti se servery, jak přesněji je řešeno
> úložiště, co výpadky nodů (jestli jsou a jak se to případně
> řeší) atp. Nedá někde zjistit více, nebude nějaká konference,
> přednáška, ...?
>
> Díky,
> Pavel
>
> Links:
> ------
> [1] http://vpsfree.cz
> [2] https://kb.vpsfree.cz/informace/infrastruktura
> <https://kb.vpsfree.cz/informace/infrastruktura>
>
> _______________________________________________
> Community-list mailing list
> Community-list at lists.vpsfree.cz
> <mailto:Community-list at lists.vpsfree.cz>
> http://lists.vpsfree.cz/listinfo/community-list
> <http://lists.vpsfree.cz/listinfo/community-list>
>
> _______________________________________________
> Community-list mailing list
> Community-list at lists.vpsfree.cz
> <mailto:Community-list at lists.vpsfree.cz>
> http://lists.vpsfree.cz/listinfo/community-list
> <http://lists.vpsfree.cz/listinfo/community-list>
>
>
>
>
> --
> Ing. Pavel Hruška
> http://www.mrpear.net <http://www.mrpear.net/>
> mrpear at mrpear.net <mailto:mrpear at mrpear.net>
>
> web, webdesign, web-aplikace:
> http://www.pearfect.cz <http://www.pearfect.cz/>
> _______________________________________________
> Community-list mailing list
> Community-list at lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list
>
>
>
> _______________________________________________
> Community-list mailing list
> Community-list at lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.vpsfree.cz/pipermail/community-list/attachments/20180418/18c37430/attachment.html>
More information about the Community-list
mailing list