Re: [vpsFree.cz: community-list] Aktualni stav zalohovani - ZFS, FreeBSD

Ahojte,

tak na tohle tema mam smutne zpravy.

FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:

1. Po case vytuhne NFS server, zustanou viset df procesy od muninu a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP

Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.

Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).

Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do zfsonlinux.org projektu, myslim, ze funding bychom na to nasli (lepsi nez platit Oraclu).

S pozdravem

Pavel Snajdr

+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com

On 01/23/2013 02:10 PM, Pavel Snajdr wrote: > Zdravim vsechny,

> Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted > uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi > asistence, stejne jako stahnuti konkretni zalohy celeho VPS.

S pozdravem

Pavel Snajdr

> +421 948 816 186 | +420 720 107 791 | 110-010-956 > CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE > http://relbit.com | http://vpsfree.cz | > https://www.redhat.com

> On 01/20/2013 03:37 AM, Pavel Snajdr wrote: >> Ahoj vespolek,

>> mam tu dalsi update k stavu zalohovani:

>> Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne >> Aither) podporu zaloh na puvodni uroven, jaka byla s >> rdiff-backupem.

>> Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, >> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. >> Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je >> presne to, co prenesl rsync - tedy sedi opravneni atd.;

>> Dalsi vec - jak se dostat k jednotlivym inkrementum?

>> Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi >> exportovat. Kdyz se podivate do slozky >> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v >> podadresarich vsechny snapshoty, ktere mame.

>> Cili vyplyva z toho, ze si ted muzete obnovit libovolna data >> bezbolestne bez pouziti rdiff-backup utility :)

>> V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve >> vpsAdminu - tedy zobrazovani zaloh, full restore VPS a >> backup download - vetsina z toho uz je hotova, zbyva nam to >> jeste oddebugovat.

>> Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou >> transparentni kompresi. Kdyz budeme drzet aktualni >> compress-ratio nebo o neco horsi, celkova kapacita usetrena >> kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z >> (ekvivalent RAID5) :))

>> ~ # zfs get compressratio storage NAME PROPERTY >> VALUE SOURCE storage compressratio 1.53x -

>> Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se >> musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice >> nejrychlejsi single-threaded reseni, ale pri ladovani 24 >> zaloh na backup server najednou nestihalo, takze jsme >> rekonfigurovali zpool nasledovne:

>> ~ # zpool status pool: storage state: ONLINE scan: resilvered >> 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 >> config:

>> NAME STATE READ WRITE CKSUM storage ONLINE >> 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0 >> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 >> 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0 >> 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 >> ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 >> raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 >> 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE >> 0 0 0 logs mirror-3 ONLINE 0 0 0 da0p4 >> ONLINE 0 0 0 da1p4 ONLINE 0 0 0 >> cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 >> 0

S pozdravem

Pavel Snajdr

>> +421 948 816 186 | +420 720 107 791 | 110-010-956 >> CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE >> http://relbit.com | http://vpsfree.cz | >> https://www.redhat.com

Ahojte,

>>> jelikoz nam puvodni storage server delal problemy, pujde do >>> Abacusu na servis.

>>> Takze na zalohovani jsme pouzili server, ktery mel puvodne >>> delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.

>>> Rdiff-backup se ukazal jako spatne skalovatelne reseni, >>> navic stav linuxoveho storage subsystemu proste nenabizi >>> moznosti, jak spravovat desitky terabajtu dat bez toho, >>> aby se admin sel obesit.

>>> Takze jsme dali jeste jednou sanci ZFS, ale jelikoz >>> tentokrat uz je backend vpsAdminu napsany poradne diky >>> Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.

>>> Takze server 'backup', ktery vidite ve vpsAdmin vypisu >>> serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.

>>> Storage je ZFS, zpool konfiguraci pastnu na konec mailu >>> pro ty, koho to zajima.

>>> Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne >>> snapshoty, takze staci udelat rsync (se spravnymi flagy, >>> aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS >>> efektivni a zabiralo akorat to, co je nutne) a potom ZFS >>> snapshot. Kazda VPS ma svuj dataset (neco jako >>> filesystem), nad kterym se delaji snapshoty.

>>> Tohle cele ma nekolik vyhod, tou hlavni je, ZFS >>> snapshoty+rsync je vic blbuvzdorne a min nachylne na >>> rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v >>> prubehu a uz se mu to nelibi).

>>> Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny >>> uzivatelske funkce ve vpsAdminu, protoze chceme pockat, >>> jak se bude situace vyvijet; kdyz pujde vsechno dobre a >>> Aither bude mit cas (ma ted zkouskove), tak zpristupneni >>> tech funkci a zaloh bude relativne brzo (radove 2-3 >>> tydny).

>>> Tady ten slibeny vypis:

>>> [root(a)backup.prg.vpsfree.cz] / # zpool status -v pool: >>> storage state: ONLINE scan: none requested config:

>>> NAME STATE READ WRITE CKSUM storage >>> ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 >>> label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 >>> ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 >>> label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 >>> 0 0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 >>> ONLINE 0 0 0 label/zfs-d7 ONLINE 0 0 >>> 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE >>> 0 0 0 logs mirror-1 ONLINE 0 0 0 da0p4 >>> ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache >>> da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0

_______________________________________________ Community-list mailing list Community-list(a)lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list