<div dir="ltr">Za mna zvyseniena 10 Gbit.<div><br></div><div>Marek Fabo Fabian</div><div class="gmail_extra"><br><div class="gmail_quote">2016-07-28 14:24 GMT+02:00 Pavel Snajdr <span dir="ltr"><<a href="mailto:snajpa@snajpa.net" target="_blank">snajpa@snajpa.net</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Prave bezi posledni dosyncnuti dat, odhadem za 2-3 hodiny prepneme<br>
mounty read-only na backuper, znovu vytvorime pool na nasboxu s<br>
bezpecnejsi konfiguraci.<br>
Pouijeme vetsi raidz2, pripadne raidz3 VDEVy, sebehnu si nejake<br>
benchmarky tech konfiguraci, co mne napadaji jako prijatelne a uvidime,<br>
co z toho vyleze, stejna konfigurace se potom casem pouzije i pro<br>
backuper, abychom se vyhnuli stejne situaci v budoucnu na backuperu.<br>
<br>
K tomu, proc jsou v tom poolu disky se slabou redundanci, ie. 3-diskove<br>
RAID-Z: je to historicky dane tim, ze jak backuper, tak nasbox vznikly s<br>
malo disky a ZFS neumi reshape poli, pridavanim bezpecnejsich VDEVu<br>
bychom nic neziskali, protoze ten VDEV, ktery se rozbil, byl hned ten<br>
druhy v poradi, ktery tam byl uz pri prvnim vyrobeni pole.<br>
<br>
Kdybychom pouzili z fleku bezpecnejsi konfiguraci, to pole by tragicky<br>
nestihalo na IOPS.<br>
<br>
A jeste k tomu, jak NAS vubec vzniknul - to bylo tak, ze nam prebylo<br>
zalohovaci pole, ktere ale uz bylo male na to, aby delalo mirror zaloham<br>
a nechteli jsme ho nechat valet jen tak, proto jsme ho zpristupnili vsem<br>
a od zacatku rikali, ze neni zalohovane - mysleli jsme si, ze to pole<br>
vyuzijete na zalohy domacich dat a podobne, coz tedy vetsina udelala, ale...<br>
<br>
Nasli se i taci, kteri pres to vsechno dali na NAS produkcni data a ted<br>
je cekalo velmi neprijemne prekvapeni.<br>
<br>
Cili ted stojime pred rozhodnutim, jestli investovat do redundance NASu<br>
(a backuperu s tim), nebo jit podle puvodniho planu a upgradovat sit na<br>
10Gbit (coz je potreba pro lepsi debugovatelnost clusteru, kvuli kdumpu;<br>
a taky jsem se chystal nejak vyresit replikaci dat mezi nody).<br>
<br>
Co si o tom myslite? Investovat do storage a nechat to zatim na 2Gbit<br>
siti (ktera je, nutno rict, sem tam, uz pekne na hrane s propustnosti)?<br>
<br>
Poznamecka: prosim ujistete se, ze v odpovedi je To:<br>
<a href="mailto:community-list@lists.vpsfree.cz">community-list@lists.vpsfree.cz</a>, na outage-list se musi prispevky<br>
schvalovat a mely by tam jit jenom relevantni informace o vypadcich, ne<br>
diskuze.<br>
<br>
/snajpa<br>
<br>
On 07/27/2016 04:18 AM, Pavel Snajdr wrote:<br>
> Je odkopirovano 9.5 TB z 22 TB.<br>
><br>
> /snajpa<br>
><br>
> On 07/26/2016 02:22 PM, Pavel Snajdr wrote:<br>
>> Aktualne je odsyncovano 5 TB dat z 22 TB celkem za cca 11 hodin, odhadem<br>
>> to znamena, ze se bude syncovat jeste cca dalsich 30 hodin.<br>
>><br>
>> Behem toho je NAS dostupny jenom jako read-only.<br>
>><br>
>> Potom pole znovu vyrobime a zacneme syncovat data zpatky, coz uz by melo<br>
>> jit rychleji (backuper ma vic disku, nez na kolika ma data soucasny<br>
>> nasbox, cili zpatky to pojede rychleji).<br>
>><br>
>> Jedinou dalsi variantou, jak zpristupnit NAS rychleji, by bylo vsechna<br>
>> data zahodit a vyrobit na nem pool znova - a to, i kdyz vsude piseme, ze<br>
>> neni zalohovany, nam prislo jako mnohem horsi varianta, nez ho odstavit<br>
>> na par dni jako read-only.<br>
>><br>
>> Odkopirujte si prosim data na VPSky, pokud je aplikace potrebuji, kdo<br>
>> kvuli tomu potrebujete docasne zvednout misto na disku, napiste na<br>
>> podporu a pokusime se to nejak vyresit.<br>
>><br>
>> Pokud ta data nepotrebuji aplikace k behu, tak na to prosim nesahejte,<br>
>> od toho to syncujeme na backuper, abychom zachranili, co se da.<br>
>><br>
>> Zatim dalsi chyby na poolu nenaskocily, poskozenych je, zda se, opravdu<br>
>> jenom 58 souboru (a to jeste ne uplne, ale maji poskozenych par bitu,<br>
>> coz se napr. u obrazku da jeste prezit - vs. ztratit je uplne).<br>
>><br>
>> /snajpa<br>
>><br>
>> On 07/26/2016 03:41 AM, Pavel Snajdr wrote:<br>
>>> Ahojte,<br>
>>><br>
>>> na NASu doslo k poskozeni jednoho z raid-z VDEVu na ZFS poolu s daty.<br>
>>><br>
>>> Stalo se to pri obnovovani toho vdevu (neco jako sub-raid-pole) po umrti<br>
>>> jednoho disku, kdy dalsi disk ze stejneho vdevu zacal hlasit chyby pri<br>
>>> cteni. Evidentne od posledniho scrubu (cca mesic zpatky) na nem vznikly<br>
>>> neopravitelne oblasti, ktere nejdou precist.<br>
>>><br>
>>> Zatim vime o 58 neobnovitelnych souborech, je to ve stavu, kdy ten disk<br>
>>> dava nejaka data, cili to nevypada ze by bylo po datech, ale vic se<br>
>>> dozvime, jakmile dobehne sync z nasboxu na backuper.<br>
>>><br>
>>> Prepnul jsem nasbox do readonly rezimu, aby se predeslo dalsimu<br>
>>> poskozovani dat a mezi tim se data syncuji na backuper (aktualne to jede<br>
>>> okolo 150MB/s a je to 22TB dat).<br>
>>><br>
>>> Potom, co se data dosyncuji, znovu vyrobim pool na nasboxu s bezpecnejsi<br>
>>> konfiguraci, aby se podobne situaci predeslo a pool vydrzel umrti vic<br>
>>> disku ve vsech pripadech.<br>
>>><br>
>>> Tem, co se jich poskozena data tykaji, napiseme behem dne mail se<br>
>>> seznamem poskozenych souboru.<br>
>>><br>
>>> Budu dal updatovat o prubehu, jakmile bude dalsi progress.<br>
>>><br>
>>> /snajpa<br>
>>><br>
>>><br>
>>><br>
>>> _______________________________________________<br>
>>> Outage-list mailing list<br>
>>> <a href="mailto:Outage-list@lists.vpsfree.cz">Outage-list@lists.vpsfree.cz</a><br>
>>> <a href="http://lists.vpsfree.cz/listinfo/outage-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listinfo/outage-list</a><br>
>>><br>
>><br>
>><br>
>><br>
>> _______________________________________________<br>
>> Outage-list mailing list<br>
>> <a href="mailto:Outage-list@lists.vpsfree.cz">Outage-list@lists.vpsfree.cz</a><br>
>> <a href="http://lists.vpsfree.cz/listinfo/outage-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listinfo/outage-list</a><br>
>><br>
><br>
><br>
><br>
> _______________________________________________<br>
> Outage-list mailing list<br>
> <a href="mailto:Outage-list@lists.vpsfree.cz">Outage-list@lists.vpsfree.cz</a><br>
> <a href="http://lists.vpsfree.cz/listinfo/outage-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listinfo/outage-list</a><br>
><br>
<br>
<br>_______________________________________________<br>
Outage-list mailing list<br>
<a href="mailto:Outage-list@lists.vpsfree.cz">Outage-list@lists.vpsfree.cz</a><br>
<a href="http://lists.vpsfree.cz/listinfo/outage-list" rel="noreferrer" target="_blank">http://lists.vpsfree.cz/listinfo/outage-list</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><b>Marek Fabian</b><br>Email: <a href="mailto:marekfab@gmail.com" target="_blank">marekfab@gmail.com</a><br>Skype: marek.fabian<br><br></div>
</div></div>