<div dir="ltr">Jasně chápu ;)  <br><br>Prostě mě to zajímalo. Btw půjde v budoucnu nějakým způsobem postavit VPS nad více nody?<br><br><div><div class="gmail_extra"><br><div class="gmail_quote">Dne 18. dubna 2018 15:53 Pavel Snajdr <span dir="ltr"><<a href="mailto:snajpa@snajpa.net" target="_blank">snajpa@snajpa.net</a>></span> napsal(a):<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="auto"><div></div><div>My chceme mit primy dosah na technologie, co bezime.</div><div><br></div><div>Ty statisice radku Pythonu, Go, Ruby a ceho ja vim jeste mame uz nejakou chvili napsane po svem, na zlomek radku kodu. Mame to primo zaintegrovane tak, jak podkladove technologie, vetsinou psane v Ccku, pouzivame. Hadej, co bylo driv, vpsFree servery v produkci nebo vubec nejaky prvni release OpenStacku? ;)</div><div><br></div><div>Uz s tim delame prilis dlouho, abychom se chteli vztekat, ze danou vec chce projekt X delat po svem a upstream patch pro zmenu chovani nechce prijmout...</div><div><br></div><div>Ja si myslim, ze vyvoj vlastniho reseni je v podstate od zacatku az do ted cca podminkou pro to, abychom mohli mit takovyhle setup s kontejnery ‘jako plne VM’, v takove hustote and all.</div><div><br></div><div>/snajpa</div><div><div class="m_6895917270874284764h5"><div><br></div><div><br>On 18 Apr 2018, at 15:19, zd nex <<a href="mailto:zdnexnet@gmail.com" target="_blank">zdnexnet@gmail.com</a>> wrote:<br><br></div><blockquote type="cite"><div><div dir="ltr">Když už je řeč např. Ceph > nevyplatí se i vyzkoušet například OpenStack či podobné technologie, které slučují HW dohromady pod jednu nastavitelnou platformu pro jednodušší škálování? Nebo se o toto bude snažit právě nové LXC?<br><div><div class="m_6895917270874284764m_-2355963739744566680gmail-m_-7839984859101842965gmail_signature"><div dir="ltr"><div><div dir="ltr"><br><span>-- <br></span>S pozdravem,
<br>
<br>Zdeněk Dlauhý
<br>
<br>Email:<a href="mailto:support@pripravto.cz" target="_blank">support@pripravto.cz</a>
<br>Mobil: +420 702 549 370<br>Web: <a href="http://www.pripravto.cz" target="_blank">www.pripravto.cz</a></div></div></div></div>

<br><div class="gmail_extra"><br><div class="gmail_quote">Dne 18. dubna 2018 14:43 Pavel Snajdr <span dir="ltr"><<a href="mailto:snajpa@snajpa.net" target="_blank">snajpa@snajpa.net</a>></span> napsal(a):<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Ja bych ani nerekl, ze je to nestastny. Je to, jak to je - lokalni storage je v podstate jedina mozna produkcni varianta, jak jsme to vubec mohli mit.<br>
<br>
Kdo u nas uz je dost dlouho, mozna pamatujete na rackovou akci - kdy jsme chteli prejit do racku a pro virtualy prave udelat shared storage s tim, ze bychom ho pak pres treba prave DRBD mirrorovali na druhe pole.<br>
<br>
Narazili jsme na to, ze neexistoval (a stale ee) rozumny zpusob, jak vysdilet s nizkou latenci a rozumnym cachovanim (sta-)miliony malinkych souboru.<br>
<br>
NFSv3 ma omezeni na 16 secondary group, do kterych muze user patrit a neumi ACLka a dalsi veci.<br>
<br>
NFSv4 se neda dokopat k raw uid/gid, co pro kontejnery taky potrebujem, protoze host nevidi (nemelo by ho to vubec zajimat), jake UID/GID ma jak pouzite kontejner. Tedy, tak to bylo s OpenVZ 6; s user namespace pri upstream kernelu uz NFSv4 pravdepodobne nejak nahackovat pujde, ale ruku do ohne za takovy reseni nedam...<br>
<br>
Taky jsme meli slabou sit (2xGE) a celkove si myslim, ze i kdybychom to postavili, asi bychom tim zabili sami sebe a s tim chut vpsFree nejak dal rozsirovat. Jsem si celkem jisty, ze pouzitelnost reseni v prepoctu na jednu koncovou VPSku by byla v kopru, s dostupnosti ve finale horsi, nez s lokalnim ulozistem.<br>
<br>
Lokalni storage proste skaluje nejvic. Vi to vsichni a vsude, kde se virtualizuje kus vic - ve verejnych Internetovych datacentrech se jede scale-out, centralni prvky neskaluji. V korporatnich je to neco jinyho, kdyz si firma muze dovolit (a chce mit) proprietarni reseni, da se.<br>
<br>
Nad OpenVZ jadrem se toho moc vymyslet nedalo, no.<br>
<br>
S upstream kernelem mame najednou jinaci moznosti - a s dostupnosti 10Gbit sitovani za rozumne ceny (z druhe ruky) se uz da premyslet o nejakem rozumnejsim clusterovani, jako treba Ceph, nebo DRBD9.<br>
<br>
Kdyz neni sit limitujicim faktorem, na kterem by se to kuckalo, pojede to zase jinak.<br>
<br>
Ale myslim si, ze zadna velka migrace na clustered storage nebude, ze pojedeme obe reseni najednou.<br>
<br>
Na lokalnich discich budou jak VPSky, tak blockstore pro nejaky distributed storage (a VPSky nad nim) - a kazdy bude mit na vyber, jak chce mit data ulozena (protoze to mmj. znamena taky jinou rezii na ulozeny GB, kdyz to promitnem na raw diskovy prostor).<br>
<br>
Tohle budeme zavadet postupne, prvni metou je dostat se na upstream kernel. A jestli to bude Ceph, DRBD9, nebo iSCSI ciste s Declustered RAID driverem v ZFS, nebo co presne, to jeste jasne vubec neni, to bude zalezet, jak se to v praxi bude chovat nad nasim konkretnim poctem serveru (a vyhledy do budoucna), pro nas use-case.<br>
<br>
/snajpa<div><div class="m_6895917270874284764m_-2355963739744566680m_-7839984859101842965h5"><br>
<br>
On 2018-04-18 12:46, sorki wrote:<br>
</div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="m_6895917270874284764m_-2355963739744566680m_-7839984859101842965h5">
Ahoj,<br>
<br>
data VPSiek su momentalne na nodach a je to vcelku nestastne lebo ked<br>
umre hardware tak jedina moznost je prehadzat disky do inej masiny aby<br>
sli VPSky aspon odmigrovat. Pohravali sme sa s myslienkou stand-by<br>
node, do ktorych by prave sli disky takto prehadzat, problem je vsak,<br>
ze niektore nody maju iny pocet diskov a po novom sa nam do toho miesa<br>
este aj NVMe.<br>
<br>
Dalsia moznost by bola bezat nad clustrovym storageom (snajpa<br>
navrhoval skusit DRBD9), kde by v pripade vypadku hw mohli VPS<br>
nastartovat na inych nodach (storage zdielany cez vsetky nody v<br>
lokacii). Prave druhu moznost by som rad casom virtualizovane<br>
vyskusal, otazka je ako to bude fungovat so zfs.<br>
<br>
- srk<br>
<br>
On 04/18/2018 11:06 AM, Ondrej.Flidr wrote:<br>
<br>
</div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="m_6895917270874284764m_-2355963739744566680m_-7839984859101842965h5">
Hoj,<br>
Co ti muzu rict ze svoji zkusenosti, tak data jsou na nodu, kde<br>
bezi virtual. Kdyz node slitne, virtual nejede. Delaly se nejaky<br>
experimenty s centralnim storage, ale bylo to nechutne pomaly<br>
(prakticky takhle vznikl NASbox). Ostatne to je problem vzdycky, ono<br>
i 100Gbit linky jsou pomaly, kdyz pres to tahas image stovek<br>
virtualu.<br>
<br>
Pokud chces mit jistotu, ze ti veci pojedou at se stane cokoliv,<br>
musis jit do klasickejch HA technik - balancing napric vic VPS,<br>
nesmej bejt na stejnym nodu (idealne pulka v Praze, pulka v Brne,<br>
abys dokazal ustat i DDoS). Je to drahy ale to je HA vzdycky.<br>
<br>
At tvuj stack a jak to udelat lip - vsechno musi byt min. 2x :)<br>
Pokud chces mit jistotu, ze to bude OK, musis to postavit takhle:<br>
<br>
- min 3x vypocetni stroj<br>
- v kazdym 2x radic diskovyho pole<br>
- 2x SAS/FC switch<br>
- Z kazdyho serveru kabel do kazdyho SAS/FC switche<br>
- Z kazdyho SAS/FC switche kabely do kazdyho pole<br>
- V kazdym poli 2x radic, kazdej pripojenej do jednoho switche<br>
- Na obou polich totozny data<br>
<br>
Takhle budes mit jistotu, ze at uz umre cokoliv, porad bude nejaka<br>
cesta jak se danej node dostane k datum. Nicmene uprimne - na tohle<br>
bych se vykaslal, delal storage primo na serverech a mirror/HA na<br>
urovni aplikaci ve virtualech. A proste pocitat s tim, ze hardware<br>
muze umrit, ale aplikaci je to jedno.<br>
<br>
Co se tyce site, tu pak res stejnym konceptem:<br>
<br>
- 2x switch<br>
- v kazdym serveru 2x sitovka, kazda 2 porty (1 muze byt onboard)<br>
- Nakonfigurovany Bond-over-Bond - vzdycky 1 port z kazdy sitovky<br>
do stejnyho switche, nad tim LACP bond a nad temahle dvouma bondama<br>
dalsi v rezimu active-passive (pokud nemas switche co umej stackovat<br>
a LACP pres ruzny zarizeni)<br>
- 2x router, kazdej vlastni uplink<br>
- kazdej switch pripojenej do obou routeru a mezi sebou. Je potreba<br>
mit dobre nastaveny STP, aby jsi se nezabil na smyckach<br>
<br>
Ondra Flidr<br>
<br>
---------- Původní e-mail ----------<br>
Od: Pavel Hruška <<a href="mailto:mrpear@mrpear.net" target="_blank">mrpear@mrpear.net</a>><br>
Komu: <a href="http://vpsFree.cz" target="_blank">vpsFree.cz</a> Community list <<a href="mailto:community-list@lists.vpsfree.cz" target="_blank">community-list@lists.vpsfree.<wbr>cz</a>><br>
Datum: 18. 4. 2018 10:45:27<br>
Předmět: Re: [<a href="http://vpsFree.cz" target="_blank">vpsFree.cz</a>: community-list] Infrastruktura<br>
<a href="http://vpsfree.cz" rel="noreferrer" target="_blank">vpsfree.cz</a><br>
<br>
Ahoj Pavle, díky za odpověď.<br>
<br></div></div>
Pro mě je záběr <a href="http://vpsfree.cz" rel="noreferrer" target="_blank">vpsfree.cz</a> [1], resp. vpsadminos, tedy to, že<div><div class="m_6895917270874284764m_-2355963739744566680m_-7839984859101842965h5"><br>
bych se hrabal ve zdrojácích na githubu, trošku za hranou, navíc<br>
pokud píšeš, že to není příliš friendly pro lidi neznalé "z<br>
venku" :). Jsem o "několik pater jako admin výš" a některé<br>
věci nechávám raději jako black-box. Jinak virtualizuju spíš<br>
Windows stroje přes KVM (tedy ne u vás, ale tady na firmě).<br>
<br>
Nicméně rád bych věděl trošku víc jak máte z principu<br>
postavený celý systém - jestli chápu dobře, tak každý node je<br>
samostatný, tzn. je včetně svého úložiště (prostě když<br>
mám svůj virtuál na node14, data mám taky na něm)? NAS je<br>
samozřejmě po síti dostupný z každého node. Zajímá mě co se<br>
děje při výpadku node: hostované virtály na něm pak nejedou?<br>
Chodí mi samozřejmě maily z outage listu, ale když mi něco<br>
přijde a zkusím si svůj server, vždy to běží, tak nevím,<br>
jestli to chodí až po výpadku nebo jak přesně? Nebo je to<br>
úplně jinak? A pak samozřejmě jde o to, kdyby byl nějaký<br>
horší výpadek, třeba to, že se node celý sesype (hw serveru,<br>
disky), co pak?<br>
<br>
Aktuálně mám virtualizovaný dva fyzický stroje, které sdílí<br>
společné diskové pole, nepřijde mi to moc šťastné, protože<br>
při výpadku toho pole jsem....no asi víš kde. Tak přemýšlím,<br>
jak to vyřešit lépe.<br>
<br>
Na tom vašem HW mě překvapilo i to, že se v nodech používají<br>
desktop-grade disky (WD black jsem tam viděl), teda jestli jsem to<br>
pochopil správně. A jaké máš dlouhodobě zkušenosti s<br>
Supermicro servery, jsou ok? Četl jsem rozporuplné názory... Já<br>
jedu na HP.<br>
<br>
V podstatě v tom prvním mailu jsem se ptal na to, jestli už<br>
třeba někde nevisí přednáška nebo něco, která by tohle<br>
popisovala. Nechci zbytečně otravovat ;).<br>
<br>
P.<br>
<br>
Dne 17. dubna 2018 16:27 Pavel Snajdr <<a href="mailto:snajpa@snajpa.net" target="_blank">snajpa@snajpa.net</a>> napsal(a):<br>
Cauko Pavle,<br>
<br>
v te tabulce chybi nove nody a celkove je dost zastarala; nechtelo<br>
by se Ti na to napsat skript, ktery by ji generoval? Nebo kdyz ne<br>
tobe, nasel by se jiny dobrovolnik?<br>
<br>
Na vsechny nody mam SSH, skript bych poustel od sebe, jako parametr<br>
by dostal hostnames a pak, kdyby idealne vyplivnul Dokuwiki tabulku<br>
s udaji per node:<br>
<br>
- typ desky (dmidecode)<br>
- nainstalovane procesory (dmidecode)<br>
- nainstalovana pamet (dmidecode)<br>
- nainstalovane disky (lsblk? smartctl -a /dev/sd* ?)<br>
<br>
Kdyby se to nekomu chtelo splacnout, budu velmi rad :)<br>
<br>
Jinak zdrojaky k tomu, co jedeme, jsou na Githubu:<br>
<br>
</div></div><a href="https://github.com/vpsfreecz/" rel="noreferrer" target="_blank">https://github.com/vpsfreecz/</a> [2]<span><br>
<br>
Aktualni reseni neni moc staveny na vic deploymentu, aby si to<br>
kazdy mohl nasadit u sebe - neni to moc dobre podokumentovane a uz<br>
vubec se nepocita pri updatech s nekym "neinformovanym".<br>
<br>
Tak jako tak, OpenVZ 6 doziva a stavime nastupnicky reseni nad<br>
upstream technologiemi:<br>
<br>
</span><a href="https://vpsadminos.org/" rel="noreferrer" target="_blank">https://vpsadminos.org/</a> [3]<span><br>
<br>
Tohle uz si troufame mirit i pro ostatni k nasazeni, je to jeste<br>
dost dlouhy kus cesty, ale chceme se tam dostat.<br>
<br>
Aby si mohli treba kluci v Indii zalozit svoje vpsFree, protoze pro<br>
nas se tam dostat je vcelku z fleku nerealny, kdyz nezname mistni<br>
pomery (a na slepo do nejakyho indickyho datacentra jit, to je o<br>
nervy).<br>
<br>
Vypadky hlasime v outage-listu:<br>
<br>
</span><a href="https://lists.vpsfree.cz/pipermail/outage-list/" rel="noreferrer" target="_blank">https://lists.vpsfree.cz/piper<wbr>mail/outage-list/</a> [4]<span><br>
<br>
Na konferencich nas muzes potkat uz nekolikaty rok, jezdime na<br>
InstallFest, LinuxDays, OpenAlt a cokoliv, co se zrovna povede v<br>
Bratislave - pristi vikend se muzem potkat prave na OpenCampu,<br>
sobota, FIT STU:<br>
<br>
</span><a href="https://opencamp.sk/o-konferencii" rel="noreferrer" target="_blank">https://opencamp.sk/o-konferen<wbr>cii</a> [5]<span><br>
<br>
A jinak se urcite ptej dal, kdyztak dej prosim konkretnejsi dotaz,<br>
akorat ;)<br>
<br>
/snajpa<br>
<br>
On 2018-04-17 15:15, Pavel Hruška wrote:<br>
Ahojte,<br>
<br>
četl jsem si ve znalostní bázi o infrastruktuře <a href="http://vpsfree.cz" rel="noreferrer" target="_blank">vpsfree.cz</a><br></span>
[1] [1]<br>
(<a href="https://kb.vpsfree.cz/informace/infrastruktura" rel="noreferrer" target="_blank">https://kb.vpsfree.cz/informa<wbr>ce/infrastruktura</a> [6] [2]), můj<span><br>
dotaz<br>
jestli je popsaný stav aktuální?<br>
<br></span>
Jsem u <a href="http://vpsfree.cz" rel="noreferrer" target="_blank">vpsfree.cz</a> [1] [1] přes dva roky a řeším teď<span><br>
infrastrukturu<br>
ve firmě, tedy v menším měřítku (3 fyzické servery) a také<br></span>
díky <a href="http://vpsfree.cz" rel="noreferrer" target="_blank">vpsfree.cz</a> [1] [1] se začínám zajímat více o<span><br>
(opensource)<br>
linuxovou virtualizaci a především ZFS. Dozvědět se více o<br>
tom,<br></span>
jak funguje infrastruktura <a href="http://vpsfree.cz" rel="noreferrer" target="_blank">vpsfree.cz</a> [1] [1] by byla skvělá<span><br>
inspirace,<br>
např. zkušenosti se servery, jak přesněji je řešeno<br>
úložiště, co výpadky nodů (jestli jsou a jak se to<br>
případně<br>
řeší) atp. Nedá někde zjistit více, nebude nějaká<br>
konference,<br>
přednáška, ...?<br>
<br>
Díky,<br>
Pavel<br>
<br>
Links:<br>
------<br></span>
[1] <a href="http://vpsfree.cz" rel="noreferrer" target="_blank">http://vpsfree.cz</a> [1]<br>
[2] <a href="https://kb.vpsfree.cz/informace/infrastruktura" rel="noreferrer" target="_blank">https://kb.vpsfree.cz/informac<wbr>e/infrastruktura</a> [6]<span><br>
<br>
______________________________<wbr>_________________<br>
Community-list mailing list<br>
<a href="mailto:Community-list@lists.vpsfree.cz" target="_blank">Community-list@lists.vpsfree.c<wbr>z</a><br>
</span><a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listin<wbr>fo/community-list</a> [7]<span><br>
______________________________<wbr>_________________<br>
Community-list mailing list<br>
<a href="mailto:Community-list@lists.vpsfree.cz" target="_blank">Community-list@lists.vpsfree.c<wbr>z</a><br>
</span><a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listin<wbr>fo/community-list</a> [7]<br>
</blockquote>
<br>
 --<br>
<br>
Ing. Pavel Hruška<br>
<a href="http://www.mrpear.net" rel="noreferrer" target="_blank">http://www.mrpear.net</a> [8]<br>
<br>
<a href="mailto:mrpear@mrpear.net" target="_blank">mrpear@mrpear.net</a><br>
<br>
web, webdesign, web-aplikace:<br>
<a href="http://www.pearfect.cz" rel="noreferrer" target="_blank">http://www.pearfect.cz</a> [9]<span><br>
______________________________<wbr>_________________<br>
 Community-list mailing list<br>
 <a href="mailto:Community-list@lists.vpsfree.cz" target="_blank">Community-list@lists.vpsfree.<wbr>cz</a><br></span>
 <a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listi<wbr>nfo/community-list</a> [7]<span><br>
<br>
______________________________<wbr>_________________<br>
Community-list mailing list<br>
<a href="mailto:Community-list@lists.vpsfree.cz" target="_blank">Community-list@lists.vpsfree.c<wbr>z</a><br>
</span><a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listin<wbr>fo/community-list</a> [7]<span><br>
<br>
<br>
<br>
Links:<br>
------<br>
[1] <a href="http://vpsfree.cz" rel="noreferrer" target="_blank">http://vpsfree.cz</a><br></span>
[2] <a href="https://github.com/vpsfreecz/" rel="noreferrer" target="_blank">https://github.com/vpsfreecz/</a><br>
[3] <a href="https://vpsadminos.org/" rel="noreferrer" target="_blank">https://vpsadminos.org/</a><br>
[4] <a href="https://lists.vpsfree.cz/pipermail/outage-list/" rel="noreferrer" target="_blank">https://lists.vpsfree.cz/piper<wbr>mail/outage-list/</a><br>
[5] <a href="https://opencamp.sk/o-konferencii" rel="noreferrer" target="_blank">https://opencamp.sk/o-konferen<wbr>cii</a><br>
[6] <a href="https://kb.vpsfree.cz/informace/infrastruktura" rel="noreferrer" target="_blank">https://kb.vpsfree.cz/informac<wbr>e/infrastruktura</a><br>
[7] <a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listin<wbr>fo/community-list</a><br>
[8] <a href="http://www.mrpear.net/" rel="noreferrer" target="_blank">http://www.mrpear.net/</a><br>
[9] <a href="http://www.pearfect.cz/" rel="noreferrer" target="_blank">http://www.pearfect.cz/</a><span><br>
<br>
______________________________<wbr>_________________<br>
Community-list mailing list<br>
<a href="mailto:Community-list@lists.vpsfree.cz" target="_blank">Community-list@lists.vpsfree.c<wbr>z</a><br>
<a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listin<wbr>fo/community-list</a><br>
</span></blockquote><div class="m_6895917270874284764m_-2355963739744566680m_-7839984859101842965HOEnZb"><div class="m_6895917270874284764m_-2355963739744566680m_-7839984859101842965h5">
______________________________<wbr>_________________<br>
Community-list mailing list<br>
<a href="mailto:Community-list@lists.vpsfree.cz" target="_blank">Community-list@lists.vpsfree.c<wbr>z</a><br>
<a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listin<wbr>fo/community-list</a><br>
</div></div></blockquote></div><br></div></div></div>
</div></blockquote><blockquote type="cite"><div><span>______________________________<wbr>_________________</span><br><span>Community-list mailing list</span><br><span><a href="mailto:Community-list@lists.vpsfree.cz" target="_blank">Community-list@lists.vpsfree.c<wbr>z</a></span><br><span><a href="http://lists.vpsfree.cz/listinfo/community-list" target="_blank">http://lists.vpsfree.cz/listin<wbr>fo/community-list</a></span><br></div></blockquote></div></div></div><br>______________________________<wbr>_________________<br>
Community-list mailing list<br>
<a href="mailto:Community-list@lists.vpsfree.cz" target="_blank">Community-list@lists.vpsfree.c<wbr>z</a><br>
<a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listin<wbr>fo/community-list</a><br>
<br></blockquote></div><br></div></div></div>