To je super strategie, v podstate v uplny krizovce (smrt nodu a vsechno je spatne) pouzitelna i pro me...<div><br></div><div>P.<br><div dir="auto"><br><div class="gmail_quote"><div dir="ltr">Dne st 18. 4. 2018 19:04 uživatel Pavel Snajdr <<a href="mailto:snajpa@snajpa.net">snajpa@snajpa.net</a>> napsal:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hot standby je cela masina v OK stavu ready na nasunuti kontejneru, <br>
idealne zapnuta a regnuta ve vpsAdminu.<br>
<br>
V pripade totalni paniky se precvaknou disky, v pripade klidnejsiho <br>
konce sveta je jenom migrujou VPSky za chodu.<br>
<br>
/snajpa<br>
<br>
On 2018-04-18 18:59, Pavel Hruška wrote:<br>
> Hot-standby je mašina bez disků?<br>
> <br>
> Dne st 18. 4. 2018 18:36 uživatel Pavel Snajdr <<a href="mailto:snajpa@snajpa.net" target="_blank">snajpa@snajpa.net</a>><br>
> napsal:<br>
> <br>
>> On 2018-04-18 13:00, Pavel Hruška wrote:<br>
>>> Nad cluster storage jsem taky uvažoval, ale četl jsem, že tam<br>
>>> "může" být problém s výkonem (i kdyby 10GbE, tak má sice<br>
>>> propustnost, ale problém může být latence a je třeba počkat<br>
>> na<br>
>>> potvrzení od všech nodů v clusteru) - nevím, jen jsem četl,<br>
>>> nezkoušel jsem.<br>
>> <br>
>> Broadcom Trident II switch cipy, ktere budeme pouzivat, maji mit<br>
>> nejakych 600ns port-to-port latenci, kdyz zapocitas, ze packet<br>
>> pujde<br>
>> (kdyz mezi racky) max pres 2 switche, udela to z NVMe disku vec s o<br>
>> par<br>
>> stovek mikrosekund vetsi latenci, dokud je volny bandwidth (a tam<br>
>> zalezi<br>
>> na zesilovacim efektu pri zapisu, tj. jak a kolika nodam se dava<br>
>> vedet,<br>
>> kdyz jedna noda neco pise do clusteru).<br>
>> <br>
>>> <br>
>>> Pro zajímavost, řešili jste někdy takovou situaci, že by<br>
>> klekl HW<br>
>>> celého node tak jak to tu diskutujeme?<br>
>> <br>
>> Ojeje, jasne.<br>
>> <br>
>> Nastesti jsme vzdycky meli nejaky volny hardware, i kdyz v Brne,<br>
>> kdyz<br>
>> byly problemy s node1.brq, to bylo zajimavejsi a downtime by byl<br>
>> kratsi,<br>
>> kdyby tam byla hot-standby masina, jak je to ted uz pravidelne v<br>
>> Praze.<br>
>> Nastesti Brno neni daleko od Bratislavy a Tomas dovezl nahradni<br>
>> desku,<br>
>> kterou jsme to vyresili docasne, nez prisla nova.<br>
>> <br>
>> Celkove ty vypadky, kdyz se neco takovyho deje, jsou max tak na 2<br>
>> hodky.<br>
>> <br>
>> Jina vec je to s NASem, ten ale neni zdvojeny vicemene "by design",<br>
>> <br>
>> protoze to je vec postavena z penez, co zbydou - a jeste nezbyly<br>
>> penize<br>
>> na zdvojeni - bo to mmj. i do budoucna zdvojnasobi naklad uz na<br>
>> vzdycky,<br>
>> co jednou nekomu slibime, uz brat zpatky tezko muzem, ze ;). To<br>
>> vyresime<br>
>> casem, nejdriv 2x10GE konektivitu per noda.<br>
>> <br>
>> Hlavni je se nestrelit do nohy jak my s node4.brq, co je 350k CZK<br>
>> lezicich jen tak; je to zatim jedna jedina NVMe noda a samozrejme<br>
>> technologie kravi, takze namigrovane VPSky sly do par tydnu dolu.<br>
>> <br>
>> Novy HW, jakoze novou konfiguraci, kupovat zasadne v dvojici a mit<br>
>> kam<br>
>> premigrovat z toho zdravyho nodu z nich...<br>
>> <br>
>> Ted mi node4.brq lezi na stole v base48 a akorat si s nim hraju,<br>
>> abych<br>
>> zjistil, co je vlastne za problem.<br>
>> <br>
>> (vlivem cca moji vlastni blbosti uz neni v zaruce a porad nevim, co<br>
>> je<br>
>> tam za problem, prinejhorsim pujde out na soucastky po jejich<br>
>> validaci)<br>
>> <br>
>> /snajpa<br>
>> <br>
>>> <br>
>>> P.<br>
>>> <br>
>>> Dne 18. dubna 2018 12:46 sorki <<a href="mailto:srk@48.io" target="_blank">srk@48.io</a>> napsal(a):<br>
>>> <br>
>>>> Ahoj,<br>
>>>> <br>
>>>> data VPSiek su momentalne na nodach a je to vcelku nestastne<br>
>> lebo<br>
>>>> ked umre hardware tak jedina moznost je prehadzat disky do inej<br>
>>>> masiny aby sli VPSky aspon odmigrovat. Pohravali sme sa s<br>
>> myslienkou<br>
>>>> stand-by node, do ktorych by prave sli disky takto prehadzat,<br>
>>>> problem je vsak, ze niektore nody maju iny pocet diskov a po<br>
>> novom<br>
>>>> sa nam do toho miesa este aj NVMe.<br>
>>>> <br>
>>>> Dalsia moznost by bola bezat nad clustrovym storageom (snajpa<br>
>>>> navrhoval skusit DRBD9), kde by v pripade vypadku hw mohli VPS<br>
>>>> nastartovat na inych nodach (storage zdielany cez vsetky nody v<br>
>>>> lokacii). Prave druhu moznost by som rad casom virtualizovane<br>
>>>> vyskusal, otazka je ako to bude fungovat so zfs.<br>
>>>> <br>
>>>> - srk<br>
>>>> <br>
>>>> On 04/18/2018 11:06 AM, Ondrej.Flidr wrote:<br>
>>>> Hoj,<br>
>>>> Co ti muzu rict ze svoji zkusenosti, tak data jsou na nodu, kde<br>
>>>> bezi virtual. Kdyz node slitne, virtual nejede. Delaly se nejaky<br>
>>>> experimenty s centralnim storage, ale bylo to nechutne pomaly<br>
>>>> (prakticky takhle vznikl NASbox). Ostatne to je problem vzdycky,<br>
>> ono<br>
>>>> i 100Gbit linky jsou pomaly, kdyz pres to tahas image stovek<br>
>>>> virtualu.<br>
>>>> <br>
>>>> Pokud chces mit jistotu, ze ti veci pojedou at se stane cokoliv,<br>
>>>> musis jit do klasickejch HA technik - balancing napric vic VPS,<br>
>>>> nesmej bejt na stejnym nodu (idealne pulka v Praze, pulka v<br>
>> Brne,<br>
>>>> abys dokazal ustat i DDoS). Je to drahy ale to je HA vzdycky.<br>
>>>> <br>
>>>> At tvuj stack a jak to udelat lip - vsechno musi byt min. 2x :)<br>
>>>> Pokud chces mit jistotu, ze to bude OK, musis to postavit<br>
>> takhle:<br>
>>>> <br>
>>>> - min 3x vypocetni stroj<br>
>>>> - v kazdym 2x radic diskovyho pole<br>
>>>> - 2x SAS/FC switch<br>
>>>> - Z kazdyho serveru kabel do kazdyho SAS/FC switche<br>
>>>> - Z kazdyho SAS/FC switche kabely do kazdyho pole<br>
>>>> - V kazdym poli 2x radic, kazdej pripojenej do jednoho switche<br>
>>>> - Na obou polich totozny data<br>
>>>> <br>
>>>> Takhle budes mit jistotu, ze at uz umre cokoliv, porad bude<br>
>> nejaka<br>
>>>> cesta jak se danej node dostane k datum. Nicmene uprimne - na<br>
>> tohle<br>
>>>> bych se vykaslal, delal storage primo na serverech a mirror/HA<br>
>> na<br>
>>>> urovni aplikaci ve virtualech. A proste pocitat s tim, ze<br>
>> hardware<br>
>>>> muze umrit, ale aplikaci je to jedno.<br>
>>>> <br>
>>>> Co se tyce site, tu pak res stejnym konceptem:<br>
>>>> <br>
>>>> - 2x switch<br>
>>>> - v kazdym serveru 2x sitovka, kazda 2 porty (1 muze byt<br>
>> onboard)<br>
>>>> - Nakonfigurovany Bond-over-Bond - vzdycky 1 port z kazdy<br>
>> sitovky<br>
>>>> do stejnyho switche, nad tim LACP bond a nad temahle dvouma<br>
>> bondama<br>
>>>> dalsi v rezimu active-passive (pokud nemas switche co umej<br>
>> stackovat<br>
>>>> a LACP pres ruzny zarizeni)<br>
>>>> - 2x router, kazdej vlastni uplink<br>
>>>> - kazdej switch pripojenej do obou routeru a mezi sebou. Je<br>
>> potreba<br>
>>>> mit dobre nastaveny STP, aby jsi se nezabil na smyckach<br>
>>>> <br>
>>>> Ondra Flidr<br>
>>>> <br>
>>>> ---------- Původní e-mail ----------<br>
>>>> Od: Pavel Hruška <<a href="mailto:mrpear@mrpear.net" target="_blank">mrpear@mrpear.net</a>><br>
>>>> Komu: vpsFree.cz Community list<br>
>> <<a href="mailto:community-list@lists.vpsfree.cz" target="_blank">community-list@lists.vpsfree.cz</a>><br>
>>>> Datum: 18. 4. 2018 10:45:27<br>
>>>> Předmět: Re: [vpsFree.cz: community-list] Infrastruktura<br>
>>>> <a href="http://vpsfree.cz" rel="noreferrer" target="_blank">vpsfree.cz</a> [1] [1]<br>
>>>> <br>
>>>> Ahoj Pavle, díky za odpověď.<br>
>>>> <br>
>>>> Pro mě je záběr <a href="http://vpsfree.cz" rel="noreferrer" target="_blank">vpsfree.cz</a> [1] [1], resp. vpsadminos, tedy<br>
>> to, že<br>
>>>> bych se hrabal ve zdrojácích na githubu, trošku za hranou,<br>
>> navíc<br>
>>>> pokud píšeš, že to není příliš friendly pro lidi<br>
>> neznalé "z<br>
>>>> venku" :). Jsem o "několik pater jako admin výš" a některé<br>
>>>> věci nechávám raději jako black-box. Jinak virtualizuju<br>
>> spíš<br>
>>>> Windows stroje přes KVM (tedy ne u vás, ale tady na firmě).<br>
>>>> <br>
>>>> Nicméně rád bych věděl trošku víc jak máte z principu<br>
>>>> postavený celý systém - jestli chápu dobře, tak každý<br>
>> node je<br>
>>>> samostatný, tzn. je včetně svého úložiště (prostě když<br>
>>>> mám svůj virtuál na node14, data mám taky na něm)? NAS je<br>
>>>> samozřejmě po síti dostupný z každého node. Zajímá mě<br>
>> co se<br>
>>>> děje při výpadku node: hostované virtály na něm pak<br>
>> nejedou?<br>
>>>> Chodí mi samozřejmě maily z outage listu, ale když mi něco<br>
>>>> přijde a zkusím si svůj server, vždy to běží, tak nevím,<br>
>>>> jestli to chodí až po výpadku nebo jak přesně? Nebo je to<br>
>>>> úplně jinak? A pak samozřejmě jde o to, kdyby byl nějaký<br>
>>>> horší výpadek, třeba to, že se node celý sesype (hw<br>
>> serveru,<br>
>>>> disky), co pak?<br>
>>>> <br>
>>>> Aktuálně mám virtualizovaný dva fyzický stroje, které<br>
>> sdílí<br>
>>>> společné diskové pole, nepřijde mi to moc šťastné,<br>
>> protože<br>
>>>> při výpadku toho pole jsem....no asi víš kde. Tak<br>
>> přemýšlím,<br>
>>>> jak to vyřešit lépe.<br>
>>>> <br>
>>>> Na tom vašem HW mě překvapilo i to, že se v nodech<br>
>> používají<br>
>>>> desktop-grade disky (WD black jsem tam viděl), teda jestli jsem<br>
>> to<br>
>>>> pochopil správně. A jaké máš dlouhodobě zkušenosti s<br>
>>>> Supermicro servery, jsou ok? Četl jsem rozporuplné názory...<br>
>> Já<br>
>>>> jedu na HP.<br>
>>>> <br>
>>>> V podstatě v tom prvním mailu jsem se ptal na to, jestli už<br>
>>>> třeba někde nevisí přednáška nebo něco, která by tohle<br>
>>>> popisovala. Nechci zbytečně otravovat ;).<br>
>>>> <br>
>>>> P.<br>
>>>> <br>
>>>> Dne 17. dubna 2018 16:27 Pavel Snajdr <<a href="mailto:snajpa@snajpa.net" target="_blank">snajpa@snajpa.net</a>><br>
>> napsal(a):<br>
>>>> Cauko Pavle,<br>
>>>> <br>
>>>> v te tabulce chybi nove nody a celkove je dost zastarala;<br>
>> nechtelo<br>
>>>> by se Ti na to napsat skript, ktery by ji generoval? Nebo kdyz<br>
>> ne<br>
>>>> tobe, nasel by se jiny dobrovolnik?<br>
>>>> <br>
>>>> Na vsechny nody mam SSH, skript bych poustel od sebe, jako<br>
>> parametr<br>
>>>> by dostal hostnames a pak, kdyby idealne vyplivnul Dokuwiki<br>
>> tabulku<br>
>>>> s udaji per node:<br>
>>>> <br>
>>>> - typ desky (dmidecode)<br>
>>>> - nainstalovane procesory (dmidecode)<br>
>>>> - nainstalovana pamet (dmidecode)<br>
>>>> - nainstalovane disky (lsblk? smartctl -a /dev/sd* ?)<br>
>>>> <br>
>>>> Kdyby se to nekomu chtelo splacnout, budu velmi rad :)<br>
>>>> <br>
>>>> Jinak zdrojaky k tomu, co jedeme, jsou na Githubu:<br>
>>>> <br>
>>>> <a href="https://github.com/vpsfreecz/" rel="noreferrer" target="_blank">https://github.com/vpsfreecz/</a> [2] [2]<br>
>>>> <br>
>>>> Aktualni reseni neni moc staveny na vic deploymentu, aby si to<br>
>>>> kazdy mohl nasadit u sebe - neni to moc dobre podokumentovane a<br>
>> uz<br>
>>>> vubec se nepocita pri updatech s nekym "neinformovanym".<br>
>>>> <br>
>>>> Tak jako tak, OpenVZ 6 doziva a stavime nastupnicky reseni nad<br>
>>>> upstream technologiemi:<br>
>>>> <br>
>>>> <a href="https://vpsadminos.org/" rel="noreferrer" target="_blank">https://vpsadminos.org/</a> [3] [3]<br>
>>>> <br>
>>>> Tohle uz si troufame mirit i pro ostatni k nasazeni, je to jeste<br>
>>>> dost dlouhy kus cesty, ale chceme se tam dostat.<br>
>>>> <br>
>>>> Aby si mohli treba kluci v Indii zalozit svoje vpsFree, protoze<br>
>> pro<br>
>>>> nas se tam dostat je vcelku z fleku nerealny, kdyz nezname<br>
>> mistni<br>
>>>> pomery (a na slepo do nejakyho indickyho datacentra jit, to je o<br>
>>>> nervy).<br>
>>>> <br>
>>>> Vypadky hlasime v outage-listu:<br>
>>>> <br>
>>>> <a href="https://lists.vpsfree.cz/pipermail/outage-list/" rel="noreferrer" target="_blank">https://lists.vpsfree.cz/pipermail/outage-list/</a> [4] [4]<br>
>>>> <br>
>>>> Na konferencich nas muzes potkat uz nekolikaty rok, jezdime na<br>
>>>> InstallFest, LinuxDays, OpenAlt a cokoliv, co se zrovna povede v<br>
>>>> Bratislave - pristi vikend se muzem potkat prave na OpenCampu,<br>
>>>> sobota, FIT STU:<br>
>>>> <br>
>>>> <a href="https://opencamp.sk/o-konferencii" rel="noreferrer" target="_blank">https://opencamp.sk/o-konferencii</a> [5] [5]<br>
>>>> <br>
>>>> A jinak se urcite ptej dal, kdyztak dej prosim konkretnejsi<br>
>> dotaz,<br>
>>>> akorat ;)<br>
>>>> <br>
>>>> /snajpa<br>
>>>> <br>
>>>> On 2018-04-17 15:15, Pavel Hruška wrote:<br>
>>>> Ahojte,<br>
>>>> <br>
>>>> četl jsem si ve znalostní bázi o infrastruktuře <a href="http://vpsfree.cz" rel="noreferrer" target="_blank">vpsfree.cz</a><br>
>> [1]<br>
>>>> [1] [1]<br>
>>>> (<a href="https://kb.vpsfree.cz/informace/infrastruktura" rel="noreferrer" target="_blank">https://kb.vpsfree.cz/informace/infrastruktura</a> [6] [6] [2]),<br>
>> můj<br>
>>>> dotaz<br>
>>>> jestli je popsaný stav aktuální?<br>
>>>> <br>
>>>> Jsem u <a href="http://vpsfree.cz" rel="noreferrer" target="_blank">vpsfree.cz</a> [1] [1] [1] přes dva roky a řeším teď<br>
>>>> infrastrukturu<br>
>>>> ve firmě, tedy v menším měřítku (3 fyzické servery) a<br>
>> také<br>
>>>> díky <a href="http://vpsfree.cz" rel="noreferrer" target="_blank">vpsfree.cz</a> [1] [1] [1] se začínám zajímat více o<br>
>>>> (opensource)<br>
>>>> linuxovou virtualizaci a především ZFS. Dozvědět se více o<br>
>>>> tom,<br>
>>>> jak funguje infrastruktura <a href="http://vpsfree.cz" rel="noreferrer" target="_blank">vpsfree.cz</a> [1] [1] [1] by byla<br>
>> skvělá<br>
>>>> inspirace,<br>
>>>> např. zkušenosti se servery, jak přesněji je řešeno<br>
>>>> úložiště, co výpadky nodů (jestli jsou a jak se to<br>
>>>> případně<br>
>>>> řeší) atp. Nedá někde zjistit více, nebude nějaká<br>
>>>> konference,<br>
>>>> přednáška, ...?<br>
>>>> <br>
>>>> Díky,<br>
>>>> Pavel<br>
>>>> <br>
>>>> Links:<br>
>>>> ------<br>
>>>> [1] <a href="http://vpsfree.cz" rel="noreferrer" target="_blank">http://vpsfree.cz</a> [1] [1]<br>
>>>> [2] <a href="https://kb.vpsfree.cz/informace/infrastruktura" rel="noreferrer" target="_blank">https://kb.vpsfree.cz/informace/infrastruktura</a> [6] [6]<br>
>>>> <br>
>>>> _______________________________________________<br>
>>>> Community-list mailing list<br>
>>>> <a href="mailto:Community-list@lists.vpsfree.cz" target="_blank">Community-list@lists.vpsfree.cz</a><br>
>>>> <a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listinfo/community-list</a> [7] [7]<br>
>>>> _______________________________________________<br>
>>>> Community-list mailing list<br>
>>>> <a href="mailto:Community-list@lists.vpsfree.cz" target="_blank">Community-list@lists.vpsfree.cz</a><br>
>>>> <a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listinfo/community-list</a> [7] [7]<br>
>>> <br>
>>> --<br>
>>> <br>
>>> Ing. Pavel Hruška<br>
>>> <a href="http://www.mrpear.net" rel="noreferrer" target="_blank">http://www.mrpear.net</a> [8] [8]<br>
>>> <br>
>>> <a href="mailto:mrpear@mrpear.net" target="_blank">mrpear@mrpear.net</a><br>
>>> <br>
>>> web, webdesign, web-aplikace:<br>
>>> <a href="http://www.pearfect.cz" rel="noreferrer" target="_blank">http://www.pearfect.cz</a> [9] [9]<br>
>>> _______________________________________________<br>
>>> Community-list mailing list<br>
>>> <a href="mailto:Community-list@lists.vpsfree.cz" target="_blank">Community-list@lists.vpsfree.cz</a><br>
>>> <a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listinfo/community-list</a> [7] [7]<br>
>>> <br>
>>> _______________________________________________<br>
>>> Community-list mailing list<br>
>>> <a href="mailto:Community-list@lists.vpsfree.cz" target="_blank">Community-list@lists.vpsfree.cz</a><br>
>>> <a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listinfo/community-list</a> [7] [7]<br>
>>> <br>
>>> _______________________________________________<br>
>>> Community-list mailing list<br>
>>> <a href="mailto:Community-list@lists.vpsfree.cz" target="_blank">Community-list@lists.vpsfree.cz</a><br>
>>> <a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listinfo/community-list</a> [7] [7]<br>
>>> <br>
>>> --<br>
>>> <br>
>>> Ing. Pavel Hruška<br>
>>> <a href="http://www.mrpear.net" rel="noreferrer" target="_blank">http://www.mrpear.net</a> [8] [8]<br>
>>> <br>
>>> <a href="mailto:mrpear@mrpear.net" target="_blank">mrpear@mrpear.net</a><br>
>>> <br>
>>> web, webdesign, web-aplikace:<br>
>>> <a href="http://www.pearfect.cz" rel="noreferrer" target="_blank">http://www.pearfect.cz</a> [9] [9]<br>
>>> <br>
>>> Links:<br>
>>> ------<br>
>>> [1] <a href="http://vpsfree.cz" rel="noreferrer" target="_blank">http://vpsfree.cz</a> [1]<br>
>>> [2] <a href="https://github.com/vpsfreecz/" rel="noreferrer" target="_blank">https://github.com/vpsfreecz/</a> [2]<br>
>>> [3] <a href="https://vpsadminos.org/" rel="noreferrer" target="_blank">https://vpsadminos.org/</a> [3]<br>
>>> [4] <a href="https://lists.vpsfree.cz/pipermail/outage-list/" rel="noreferrer" target="_blank">https://lists.vpsfree.cz/pipermail/outage-list/</a> [4]<br>
>>> [5] <a href="https://opencamp.sk/o-konferencii" rel="noreferrer" target="_blank">https://opencamp.sk/o-konferencii</a> [5]<br>
>>> [6] <a href="https://kb.vpsfree.cz/informace/infrastruktura" rel="noreferrer" target="_blank">https://kb.vpsfree.cz/informace/infrastruktura</a> [6]<br>
>>> [7] <a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listinfo/community-list</a> [7]<br>
>>> [8] <a href="http://www.mrpear.net/" rel="noreferrer" target="_blank">http://www.mrpear.net/</a> [10]<br>
>>> [9] <a href="http://www.pearfect.cz/" rel="noreferrer" target="_blank">http://www.pearfect.cz/</a> [11]<br>
>>> <br>
>>> _______________________________________________<br>
>>> Community-list mailing list<br>
>>> <a href="mailto:Community-list@lists.vpsfree.cz" target="_blank">Community-list@lists.vpsfree.cz</a><br>
>>> <a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listinfo/community-list</a> [7]<br>
>> _______________________________________________<br>
>> Community-list mailing list<br>
>> <a href="mailto:Community-list@lists.vpsfree.cz" target="_blank">Community-list@lists.vpsfree.cz</a><br>
>> <a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listinfo/community-list</a> [7]<br>
> <br>
> <br>
> Links:<br>
> ------<br>
> [1] <a href="http://vpsfree.cz" rel="noreferrer" target="_blank">http://vpsfree.cz</a><br>
> [2] <a href="https://github.com/vpsfreecz/" rel="noreferrer" target="_blank">https://github.com/vpsfreecz/</a><br>
> [3] <a href="https://vpsadminos.org/" rel="noreferrer" target="_blank">https://vpsadminos.org/</a><br>
> [4] <a href="https://lists.vpsfree.cz/pipermail/outage-list/" rel="noreferrer" target="_blank">https://lists.vpsfree.cz/pipermail/outage-list/</a><br>
> [5] <a href="https://opencamp.sk/o-konferencii" rel="noreferrer" target="_blank">https://opencamp.sk/o-konferencii</a><br>
> [6] <a href="https://kb.vpsfree.cz/informace/infrastruktura" rel="noreferrer" target="_blank">https://kb.vpsfree.cz/informace/infrastruktura</a><br>
> [7] <a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listinfo/community-list</a><br>
> [8] <a href="http://www.mrpear.net" rel="noreferrer" target="_blank">http://www.mrpear.net</a><br>
> [9] <a href="http://www.pearfect.cz" rel="noreferrer" target="_blank">http://www.pearfect.cz</a><br>
> [10] <a href="http://www.mrpear.net/" rel="noreferrer" target="_blank">http://www.mrpear.net/</a><br>
> [11] <a href="http://www.pearfect.cz/" rel="noreferrer" target="_blank">http://www.pearfect.cz/</a><br>
> <br>
> _______________________________________________<br>
> Community-list mailing list<br>
> <a href="mailto:Community-list@lists.vpsfree.cz" target="_blank">Community-list@lists.vpsfree.cz</a><br>
> <a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listinfo/community-list</a><br>
_______________________________________________<br>
Community-list mailing list<br>
<a href="mailto:Community-list@lists.vpsfree.cz" target="_blank">Community-list@lists.vpsfree.cz</a><br>
<a href="http://lists.vpsfree.cz/listinfo/community-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listinfo/community-list</a><br>
</blockquote></div></div></div>