NAS read-only, poskozeny filesystem - Outage-list

Pavel Snajdr

26 Jul 26 Jul

2:22 p.m.

Aktualne je odsyncovano 5 TB dat z 22 TB celkem za cca 11 hodin, odhadem to znamena, ze se bude syncovat jeste cca dalsich 30 hodin. Behem toho je NAS dostupny jenom jako read-only. Potom pole znovu vyrobime a zacneme syncovat data zpatky, coz uz by melo jit rychleji (backuper ma vic disku, nez na kolika ma data soucasny nasbox, cili zpatky to pojede rychleji). Jedinou dalsi variantou, jak zpristupnit NAS rychleji, by bylo vsechna data zahodit a vyrobit na nem pool znova - a to, i kdyz vsude piseme, ze neni zalohovany, nam prislo jako mnohem horsi varianta, nez ho odstavit na par dni jako read-only. Odkopirujte si prosim data na VPSky, pokud je aplikace potrebuji, kdo kvuli tomu potrebujete docasne zvednout misto na disku, napiste na podporu a pokusime se to nejak vyresit. Pokud ta data nepotrebuji aplikace k behu, tak na to prosim nesahejte, od toho to syncujeme na backuper, abychom zachranili, co se da. Zatim dalsi chyby na poolu nenaskocily, poskozenych je, zda se, opravdu jenom 58 souboru (a to jeste ne uplne, ale maji poskozenych par bitu, coz se napr. u obrazku da jeste prezit - vs. ztratit je uplne). /snajpa On 07/26/2016 03:41 AM, Pavel Snajdr wrote:

...

Ahojte, na NASu doslo k poskozeni jednoho z raid-z VDEVu na ZFS poolu s daty. Stalo se to pri obnovovani toho vdevu (neco jako sub-raid-pole) po umrti jednoho disku, kdy dalsi disk ze stejneho vdevu zacal hlasit chyby pri cteni. Evidentne od posledniho scrubu (cca mesic zpatky) na nem vznikly neopravitelne oblasti, ktere nejdou precist. Zatim vime o 58 neobnovitelnych souborech, je to ve stavu, kdy ten disk dava nejaka data, cili to nevypada ze by bylo po datech, ale vic se dozvime, jakmile dobehne sync z nasboxu na backuper. Prepnul jsem nasbox do readonly rezimu, aby se predeslo dalsimu poskozovani dat a mezi tim se data syncuji na backuper (aktualne to jede okolo 150MB/s a je to 22TB dat). Potom, co se data dosyncuji, znovu vyrobim pool na nasboxu s bezpecnejsi konfiguraci, aby se podobne situaci predeslo a pool vydrzel umrti vic disku ve vsech pripadech. Tem, co se jich poskozena data tykaji, napiseme behem dne mail se seznamem poskozenych souboru. Budu dal updatovat o prubehu, jakmile bude dalsi progress. /snajpa _______________________________________________ Outage-list mailing list Outage-list(a)lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/outage-list

Reply

Pavel Snajdr

28 Jul 28 Jul

2:24 p.m.

Prave bezi posledni dosyncnuti dat, odhadem za 2-3 hodiny prepneme mounty read-only na backuper, znovu vytvorime pool na nasboxu s bezpecnejsi konfiguraci. Pouijeme vetsi raidz2, pripadne raidz3 VDEVy, sebehnu si nejake benchmarky tech konfiguraci, co mne napadaji jako prijatelne a uvidime, co z toho vyleze, stejna konfigurace se potom casem pouzije i pro backuper, abychom se vyhnuli stejne situaci v budoucnu na backuperu. K tomu, proc jsou v tom poolu disky se slabou redundanci, ie. 3-diskove RAID-Z: je to historicky dane tim, ze jak backuper, tak nasbox vznikly s malo disky a ZFS neumi reshape poli, pridavanim bezpecnejsich VDEVu bychom nic neziskali, protoze ten VDEV, ktery se rozbil, byl hned ten druhy v poradi, ktery tam byl uz pri prvnim vyrobeni pole. Kdybychom pouzili z fleku bezpecnejsi konfiguraci, to pole by tragicky nestihalo na IOPS. A jeste k tomu, jak NAS vubec vzniknul - to bylo tak, ze nam prebylo zalohovaci pole, ktere ale uz bylo male na to, aby delalo mirror zaloham a nechteli jsme ho nechat valet jen tak, proto jsme ho zpristupnili vsem a od zacatku rikali, ze neni zalohovane - mysleli jsme si, ze to pole vyuzijete na zalohy domacich dat a podobne, coz tedy vetsina udelala, ale... Nasli se i taci, kteri pres to vsechno dali na NAS produkcni data a ted je cekalo velmi neprijemne prekvapeni. Cili ted stojime pred rozhodnutim, jestli investovat do redundance NASu (a backuperu s tim), nebo jit podle puvodniho planu a upgradovat sit na 10Gbit (coz je potreba pro lepsi debugovatelnost clusteru, kvuli kdumpu; a taky jsem se chystal nejak vyresit replikaci dat mezi nody). Co si o tom myslite? Investovat do storage a nechat to zatim na 2Gbit siti (ktera je, nutno rict, sem tam, uz pekne na hrane s propustnosti)? Poznamecka: prosim ujistete se, ze v odpovedi je To: community-list(a)lists.vpsfree.cz, na outage-list se musi prispevky schvalovat a mely by tam jit jenom relevantni informace o vypadcich, ne diskuze. /snajpa On 07/27/2016 04:18 AM, Pavel Snajdr wrote:

...

Je odkopirovano 9.5 TB z 22 TB. /snajpa On 07/26/2016 02:22 PM, Pavel Snajdr wrote:

Aktualne je odsyncovano 5 TB dat z 22 TB celkem za cca 11 hodin, odhadem to znamena, ze se bude syncovat jeste cca dalsich 30 hodin. Behem toho je NAS dostupny jenom jako read-only. Potom pole znovu vyrobime a zacneme syncovat data zpatky, coz uz by melo jit rychleji (backuper ma vic disku, nez na kolika ma data soucasny nasbox, cili zpatky to pojede rychleji). Jedinou dalsi variantou, jak zpristupnit NAS rychleji, by bylo vsechna data zahodit a vyrobit na nem pool znova - a to, i kdyz vsude piseme, ze neni zalohovany, nam prislo jako mnohem horsi varianta, nez ho odstavit na par dni jako read-only. Odkopirujte si prosim data na VPSky, pokud je aplikace potrebuji, kdo kvuli tomu potrebujete docasne zvednout misto na disku, napiste na podporu a pokusime se to nejak vyresit. Pokud ta data nepotrebuji aplikace k behu, tak na to prosim nesahejte, od toho to syncujeme na backuper, abychom zachranili, co se da. Zatim dalsi chyby na poolu nenaskocily, poskozenych je, zda se, opravdu jenom 58 souboru (a to jeste ne uplne, ale maji poskozenych par bitu, coz se napr. u obrazku da jeste prezit - vs. ztratit je uplne). /snajpa On 07/26/2016 03:41 AM, Pavel Snajdr wrote:

Ahojte, na NASu doslo k poskozeni jednoho z raid-z VDEVu na ZFS poolu s daty. Stalo se to pri obnovovani toho vdevu (neco jako sub-raid-pole) po umrti jednoho disku, kdy dalsi disk ze stejneho vdevu zacal hlasit chyby pri cteni. Evidentne od posledniho scrubu (cca mesic zpatky) na nem vznikly neopravitelne oblasti, ktere nejdou precist. Zatim vime o 58 neobnovitelnych souborech, je to ve stavu, kdy ten disk dava nejaka data, cili to nevypada ze by bylo po datech, ale vic se dozvime, jakmile dobehne sync z nasboxu na backuper. Prepnul jsem nasbox do readonly rezimu, aby se predeslo dalsimu poskozovani dat a mezi tim se data syncuji na backuper (aktualne to jede okolo 150MB/s a je to 22TB dat). Potom, co se data dosyncuji, znovu vyrobim pool na nasboxu s bezpecnejsi konfiguraci, aby se podobne situaci predeslo a pool vydrzel umrti vic disku ve vsech pripadech. Tem, co se jich poskozena data tykaji, napiseme behem dne mail se seznamem poskozenych souboru. Budu dal updatovat o prubehu, jakmile bude dalsi progress. /snajpa _______________________________________________ Outage-list mailing list Outage-list(a)lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/outage-list

_______________________________________________ Outage-list mailing list Outage-list(a)lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/outage-list

Reply

Pavel Snajdr

29 Jul 29 Jul

5:04 a.m.

Pustil jsem cely send odznova. Ten disk, ktery failnul pri resilveru, vraci poskozena data, coz sendy vetsiny datasetu prerusilo nahodne v procesu, aniz by cokoliv kamkoliv zahlasilo. Bohuzel kvuli tomu, jak jsou ta data poskozena, jsou ty sendy poprerusovane tak, ze to uz vypadalo, ze mame vetsinu dat syncnutych, takze jsem se ted pul dne divil nad tim, co vyrabel rsync pri syncu nekterych datasetu. Kvuli atime a podobnym zmenam metadat obsahuje vetsina datasetu chybne bloky, i kdyz na nich jsou data, ktera se dlouho nemenila - a tam je prave vetsina tech chyb... Nikde, ani v logu, ani zpool status, se nic neprojevilo, abych na to mel jak prijit, navic se vetsina z tech spatne syncnutych datasetu normalne na backuperu pripojila, protoze se k na ne dostal validni zstream pri recv. Slo by to dorsyncovat a nemusel bych ten send poustet znovu, kdyby to na nekterych datasetech neznamenalo projit velke mnozstvi malych souboru, coz pri zabrzdenem poli s diskem, co zdrzuje pri cteni cele pole, vychazi na silene dlouho. Nezbylo nez potunit kernel parametry ZFS, o kterych jsem do ted nevedel a pustit send znovu. Ted uz by mel send odignorovat chyby a doposlat datasety do konce, bez chybnych souboru. Az budu mit tenhle zapas za sebou, budu mit dost zabavy s replikovanim tehle situace a reportovanim bugu na ZFS on Linux, jelikoz to reportovani chyb tam proste neni doladene - kdybych o tech chybach pri sendu vedel, mohli jsme usetrit minimalne 2 dny, jelikoz bych ten send pustil "spravne" mnohem driv :( /snajpa On 07/26/2016 03:41 AM, Pavel Snajdr wrote:

...

Ahojte, na NASu doslo k poskozeni jednoho z raid-z VDEVu na ZFS poolu s daty. Stalo se to pri obnovovani toho vdevu (neco jako sub-raid-pole) po umrti jednoho disku, kdy dalsi disk ze stejneho vdevu zacal hlasit chyby pri cteni. Evidentne od posledniho scrubu (cca mesic zpatky) na nem vznikly neopravitelne oblasti, ktere nejdou precist. Zatim vime o 58 neobnovitelnych souborech, je to ve stavu, kdy ten disk dava nejaka data, cili to nevypada ze by bylo po datech, ale vic se dozvime, jakmile dobehne sync z nasboxu na backuper. Prepnul jsem nasbox do readonly rezimu, aby se predeslo dalsimu poskozovani dat a mezi tim se data syncuji na backuper (aktualne to jede okolo 150MB/s a je to 22TB dat). Potom, co se data dosyncuji, znovu vyrobim pool na nasboxu s bezpecnejsi konfiguraci, aby se podobne situaci predeslo a pool vydrzel umrti vic disku ve vsech pripadech. Tem, co se jich poskozena data tykaji, napiseme behem dne mail se seznamem poskozenych souboru. Budu dal updatovat o prubehu, jakmile bude dalsi progress. /snajpa _______________________________________________ Outage-list mailing list Outage-list(a)lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/outage-list

Reply

Pavel Snajdr

4 Aug 4 Aug

7:34 p.m.

Sync dobehnul a prave premountovavame NAS data z nasboxu na backuper. Potom to nechame jeste i zitra bezet, jak je, nez data na nasboxu posleme do /dev/null a vyrobime tam novy zpool - abyste meli moznost zakricet, kdybychom nahodou neco spatne syncnuli (ale 2x jsme se divali a melo by to byt ok, nicmene jistota je jistota). A pozitri vyrobime novy pool na nasboxu a zacne nova saga syncovani dat nazpet, nicmene to uz by melo byt podstatne prijemnejsi a na mnohem min snazeni. Ten sync pak hadam na tak 3 dny, cili cca za 4, max 5 dni bude NAS zpatky funkcni read-write. /snajpa On 07/26/2016 03:41 AM, Pavel Snajdr wrote:

...

Ahojte, na NASu doslo k poskozeni jednoho z raid-z VDEVu na ZFS poolu s daty. Stalo se to pri obnovovani toho vdevu (neco jako sub-raid-pole) po umrti jednoho disku, kdy dalsi disk ze stejneho vdevu zacal hlasit chyby pri cteni. Evidentne od posledniho scrubu (cca mesic zpatky) na nem vznikly neopravitelne oblasti, ktere nejdou precist. Zatim vime o 58 neobnovitelnych souborech, je to ve stavu, kdy ten disk dava nejaka data, cili to nevypada ze by bylo po datech, ale vic se dozvime, jakmile dobehne sync z nasboxu na backuper. Prepnul jsem nasbox do readonly rezimu, aby se predeslo dalsimu poskozovani dat a mezi tim se data syncuji na backuper (aktualne to jede okolo 150MB/s a je to 22TB dat). Potom, co se data dosyncuji, znovu vyrobim pool na nasboxu s bezpecnejsi konfiguraci, aby se podobne situaci predeslo a pool vydrzel umrti vic disku ve vsech pripadech. Tem, co se jich poskozena data tykaji, napiseme behem dne mail se seznamem poskozenych souboru. Budu dal updatovat o prubehu, jakmile bude dalsi progress. /snajpa _______________________________________________ Outage-list mailing list Outage-list(a)lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/outage-list

Reply

Jakub Skokan

12 Aug 12 Aug

9:31 a.m.

Ahoj, data uz jsou zpatky na nasboxu a je pripojen read-write. Zkontrolujte si prosim, ze mate vse v poradku. Data budou nekolik dni i na backuperu, kdyby nahodou. Jakub

Reply