<div style="font-family: Helvetica; font-size: 13px;">Hele produkční data tam nemám, ale to neznamená, že o ty data chci přijít :-) Jakože pak je tam vůbec ani nemusim dávat :-)<br></div>
<div><div><br></div><p style="margin: 0px;">Vojtěch Knyttl</p>
<p style="margin: 0px; font-size: 9px; min-height: 11px;"><br></p>
<p style="margin: 0px; font-size: 11px;">knyttl@goout.cz</p>
<p style="margin: 0px; font-size: 11px;">+420 607 008 510</p><p style="margin: 0px; font-size: 11px;">https://goout.cz</p><div><br></div></div>
<p style="color: #A0A0A8;">On Thursday 28. July 2016 at 14:54, Pavel Snajdr wrote:</p>
<blockquote type="cite" style="border-left-style:solid;border-width:1px;margin-left:0px;padding-left:10px;">
<span><div><div><div>Jo, ale to mas pravdu, ze je to za tebe, na ukor rychle site pro vsechny</div><div>(a s tim spojene vyhody, ze budeme konecne tusit, proc nam server umrel</div><div>v kernel panicu a podobne, protoze budeme mit kdump).</div><div><br></div><div>Jak jsem psal, NAS od zacatku nemel byt redundantni, takze pokud ho</div><div>prave ted vyuzivas na produkcni data, delas to spatne a tenhle hlas bych</div><div>tedy vubec nemel pocitat.</div><div><br></div><div>A tak uvidime, co reknou dalsi :)</div><div><br></div><div>/snajpa</div><div><br></div><div>On 07/28/2016 02:29 PM, Vojtěch Knyttl wrote:</div><blockquote type="cite"><div><div>Za mě určitě platí, že data bez redundance (ať produkční nebo</div><div>neprodukční), jako by jich nebylo. Za mě klidně budu mít míň storage,</div><div>ale bezpečnou.</div><div><br></div><div>Vojtěch Knyttl</div><div><br></div><div><br></div><div><a href="mailto:knyttl@goout.cz">knyttl@goout.cz</a></div><div><br></div><div>+420 607 008 510</div><div><br></div><div><a href="https://goout.cz">https://goout.cz</a></div><div><br></div><div><br></div><div>On Thursday 28. July 2016 at 14:24, Pavel Snajdr wrote:</div><div><br></div><blockquote type="cite"><div><div>Prave bezi posledni dosyncnuti dat, odhadem za 2-3 hodiny prepneme</div><div>mounty read-only na backuper, znovu vytvorime pool na nasboxu s</div><div>bezpecnejsi konfiguraci.</div><div>Pouijeme vetsi raidz2, pripadne raidz3 VDEVy, sebehnu si nejake</div><div>benchmarky tech konfiguraci, co mne napadaji jako prijatelne a uvidime,</div><div>co z toho vyleze, stejna konfigurace se potom casem pouzije i pro</div><div>backuper, abychom se vyhnuli stejne situaci v budoucnu na backuperu.</div><div><br></div><div>K tomu, proc jsou v tom poolu disky se slabou redundanci, ie. 3-diskove</div><div>RAID-Z: je to historicky dane tim, ze jak backuper, tak nasbox vznikly s</div><div>malo disky a ZFS neumi reshape poli, pridavanim bezpecnejsich VDEVu</div><div>bychom nic neziskali, protoze ten VDEV, ktery se rozbil, byl hned ten</div><div>druhy v poradi, ktery tam byl uz pri prvnim vyrobeni pole.</div><div><br></div><div>Kdybychom pouzili z fleku bezpecnejsi konfiguraci, to pole by tragicky</div><div>nestihalo na IOPS.</div><div><br></div><div>A jeste k tomu, jak NAS vubec vzniknul - to bylo tak, ze nam prebylo</div><div>zalohovaci pole, ktere ale uz bylo male na to, aby delalo mirror zaloham</div><div>a nechteli jsme ho nechat valet jen tak, proto jsme ho zpristupnili vsem</div><div>a od zacatku rikali, ze neni zalohovane - mysleli jsme si, ze to pole</div><div>vyuzijete na zalohy domacich dat a podobne, coz tedy vetsina udelala,</div><div>ale...</div><div><br></div><div>Nasli se i taci, kteri pres to vsechno dali na NAS produkcni data a ted</div><div>je cekalo velmi neprijemne prekvapeni.</div><div><br></div><div>Cili ted stojime pred rozhodnutim, jestli investovat do redundance NASu</div><div>(a backuperu s tim), nebo jit podle puvodniho planu a upgradovat sit na</div><div>10Gbit (coz je potreba pro lepsi debugovatelnost clusteru, kvuli kdumpu;</div><div>a taky jsem se chystal nejak vyresit replikaci dat mezi nody).</div><div><br></div><div>Co si o tom myslite? Investovat do storage a nechat to zatim na 2Gbit</div><div>siti (ktera je, nutno rict, sem tam, uz pekne na hrane s propustnosti)?</div><div><br></div><div>Poznamecka: prosim ujistete se, ze v odpovedi je To:</div><div><a href="mailto:community-list@lists.vpsfree.cz">community-list@lists.vpsfree.cz</a></div><div><<a href="mailto:community-list@lists.vpsfree.cz">mailto:community-list@lists.vpsfree.cz</a>>, na outage-list se musi prispevky</div><div>schvalovat a mely by tam jit jenom relevantni informace o vypadcich, ne</div><div>diskuze.</div><div><br></div><div>/snajpa</div><div><br></div><div>On 07/27/2016 04:18 AM, Pavel Snajdr wrote:</div><blockquote type="cite"><div><div>Je odkopirovano 9.5 TB z 22 TB.</div><div><br></div><div>/snajpa</div><div><br></div><div>On 07/26/2016 02:22 PM, Pavel Snajdr wrote:</div><blockquote type="cite"><div><div>Aktualne je odsyncovano 5 TB dat z 22 TB celkem za cca 11 hodin, odhadem</div><div>to znamena, ze se bude syncovat jeste cca dalsich 30 hodin.</div><div><br></div><div>Behem toho je NAS dostupny jenom jako read-only.</div><div><br></div><div>Potom pole znovu vyrobime a zacneme syncovat data zpatky, coz uz by melo</div><div>jit rychleji (backuper ma vic disku, nez na kolika ma data soucasny</div><div>nasbox, cili zpatky to pojede rychleji).</div><div><br></div><div>Jedinou dalsi variantou, jak zpristupnit NAS rychleji, by bylo vsechna</div><div>data zahodit a vyrobit na nem pool znova - a to, i kdyz vsude piseme, ze</div><div>neni zalohovany, nam prislo jako mnohem horsi varianta, nez ho odstavit</div><div>na par dni jako read-only.</div><div><br></div><div>Odkopirujte si prosim data na VPSky, pokud je aplikace potrebuji, kdo</div><div>kvuli tomu potrebujete docasne zvednout misto na disku, napiste na</div><div>podporu a pokusime se to nejak vyresit.</div><div><br></div><div>Pokud ta data nepotrebuji aplikace k behu, tak na to prosim nesahejte,</div><div>od toho to syncujeme na backuper, abychom zachranili, co se da.</div><div><br></div><div>Zatim dalsi chyby na poolu nenaskocily, poskozenych je, zda se, opravdu</div><div>jenom 58 souboru (a to jeste ne uplne, ale maji poskozenych par bitu,</div><div>coz se napr. u obrazku da jeste prezit - vs. ztratit je uplne).</div><div><br></div><div>/snajpa</div><div><br></div><div>On 07/26/2016 03:41 AM, Pavel Snajdr wrote:</div><blockquote type="cite"><div><div>Ahojte,</div><div><br></div><div>na NASu doslo k poskozeni jednoho z raid-z VDEVu na ZFS poolu s daty.</div><div><br></div><div>Stalo se to pri obnovovani toho vdevu (neco jako sub-raid-pole) po</div><div>umrti</div><div>jednoho disku, kdy dalsi disk ze stejneho vdevu zacal hlasit chyby pri</div><div>cteni. Evidentne od posledniho scrubu (cca mesic zpatky) na nem vznikly</div><div>neopravitelne oblasti, ktere nejdou precist.</div><div><br></div><div>Zatim vime o 58 neobnovitelnych souborech, je to ve stavu, kdy ten disk</div><div>dava nejaka data, cili to nevypada ze by bylo po datech, ale vic se</div><div>dozvime, jakmile dobehne sync z nasboxu na backuper.</div><div><br></div><div>Prepnul jsem nasbox do readonly rezimu, aby se predeslo dalsimu</div><div>poskozovani dat a mezi tim se data syncuji na backuper (aktualne to</div><div>jede</div><div>okolo 150MB/s a je to 22TB dat).</div><div><br></div><div>Potom, co se data dosyncuji, znovu vyrobim pool na nasboxu s</div><div>bezpecnejsi</div><div>konfiguraci, aby se podobne situaci predeslo a pool vydrzel umrti vic</div><div>disku ve vsech pripadech.</div><div><br></div><div>Tem, co se jich poskozena data tykaji, napiseme behem dne mail se</div><div>seznamem poskozenych souboru.</div><div><br></div><div>Budu dal updatovat o prubehu, jakmile bude dalsi progress.</div><div><br></div><div>/snajpa</div><div><br></div><div><br></div><div><br></div><div>_______________________________________________</div><div>Outage-list mailing list</div><div>Outage-list@lists.vpsfree.cz <<a href="mailto:Outage-list@lists.vpsfree.cz">mailto:Outage-list@lists.vpsfree.cz</a>></div><div><a href="http://lists.vpsfree.cz/listinfo/outage-list">http://lists.vpsfree.cz/listinfo/outage-list</a></div></div></blockquote><div><br></div><div><br></div><div><br></div><div>_______________________________________________</div><div>Outage-list mailing list</div><div>Outage-list@lists.vpsfree.cz <<a href="mailto:Outage-list@lists.vpsfree.cz">mailto:Outage-list@lists.vpsfree.cz</a>></div><div><a href="http://lists.vpsfree.cz/listinfo/outage-list">http://lists.vpsfree.cz/listinfo/outage-list</a></div></div></blockquote><div><br></div><div><br></div><div><br></div><div>_______________________________________________</div><div>Outage-list mailing list</div><div>Outage-list@lists.vpsfree.cz <<a href="mailto:Outage-list@lists.vpsfree.cz">mailto:Outage-list@lists.vpsfree.cz</a>></div><div><a href="http://lists.vpsfree.cz/listinfo/outage-list">http://lists.vpsfree.cz/listinfo/outage-list</a></div></div></blockquote><div>_______________________________________________</div><div>Outage-list mailing list</div><div>Outage-list@lists.vpsfree.cz <<a href="mailto:Outage-list@lists.vpsfree.cz">mailto:Outage-list@lists.vpsfree.cz</a>></div><div><a href="http://lists.vpsfree.cz/listinfo/outage-list">http://lists.vpsfree.cz/listinfo/outage-list</a></div></div></blockquote><div><br></div><div><br></div><div><br></div><div>_______________________________________________</div><div>Community-list mailing list</div><div><a href="mailto:Community-list@lists.vpsfree.cz">Community-list@lists.vpsfree.cz</a></div><div><a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a></div></div></blockquote></div><div><div>_______________________________________________</div><div>Community-list mailing list</div><div><a href="mailto:Community-list@lists.vpsfree.cz">Community-list@lists.vpsfree.cz</a></div><div><a href="http://lists.vpsfree.cz/listinfo/community-list">http://lists.vpsfree.cz/listinfo/community-list</a></div></div></div></span>
</blockquote>
<div>
<br>
</div>