Re: [vpsFree.cz: community-list] Aktualni stav zalohovani - ZFS, FreeBSD

> Zdravim vsechny, > > Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted > uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi > asistence, stejne jako stahnuti konkretni zalohy celeho VPS. > > S pozdravem > > Pavel Snajdr > > +421 948 816 186 | +420 720 107 791 | 110-010-956 > CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE > http://relbit.com | http://vpsfree.cz | > https://www.redhat.com > > On 01/20/2013 03:37 AM, Pavel Snajdr wrote: >> Ahoj vespolek, > >> mam tu dalsi update k stavu zalohovani: > >> Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne >> Aither) podporu zaloh na puvodni uroven, jaka byla s >> rdiff-backupem. > >> Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, >> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made >> zaloha. Hlavni vyhodou je, ze stav, jaky ta zaloha >> vykazuje, je presne to, co prenesl rsync - tedy sedi >> opravneni atd.; > >> Dalsi vec - jak se dostat k jednotlivym inkrementum? > >> Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi >> exportovat. Kdyz se podivate do slozky >> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v >> podadresarich vsechny snapshoty, ktere mame. > >> Cili vyplyva z toho, ze si ted muzete obnovit libovolna >> data bezbolestne bez pouziti rdiff-backup utility :) > >> V blizke budoucnosti zpristupnime zbyvajici funkcionalitu >> ve vpsAdminu - tedy zobrazovani zaloh, full restore VPS a >> backup download - vetsina z toho uz je hotova, zbyva nam to >> jeste oddebugovat. > >> Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou >> transparentni kompresi. Kdyz budeme drzet aktualni >> compress-ratio nebo o neco horsi, celkova kapacita >> usetrena kompresi nam temer vyrovna kapacitni ztratu z >> pouziti RAID-Z (ekvivalent RAID5) :)) > >> ~ # zfs get compressratio storage NAME PROPERTY >> VALUE SOURCE storage compressratio 1.53x - > >> Jo a jeste malickost - oproti puvodni konfiguraci zpoolu >> se musela udelat zmena, RAID-Z2 pres vsechny disky bylo >> sice nejrychlejsi single-threaded reseni, ale pri ladovani >> 24 zaloh na backup server najednou nestihalo, takze jsme >> rekonfigurovali zpool nasledovne: > >> ~ # zpool status pool: storage state: ONLINE scan: >> resilvered 828G in 41h55m with 0 errors on Sat Jan 19 >> 14:52:14 2013 config: > >> NAME STATE READ WRITE CKSUM storage >> ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 >> label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 >> ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 >> 0 raidz1-1 ONLINE 0 0 0 label/zfs-d3 ONLINE >> 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 >> ONLINE 0 0 0 raidz1-2 ONLINE 0 0 0 >> label/zfs-d6 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 >> 0 0 label/zfs-d8 ONLINE 0 0 0 logs mirror-3 >> ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 >> ONLINE 0 0 0 cache da1p5 ONLINE 0 0 >> 0 da0p5 ONLINE 0 0 0 > > > >> S pozdravem > >> Pavel Snajdr > >> +421 948 816 186 | +420 720 107 791 | 110-010-956 >> CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE >> http://relbit.com | http://vpsfree.cz | >> https://www.redhat.com > >> On 01/07/2013 12:07 AM, Pavel Snajdr wrote: >>> Ahojte, > >>> jelikoz nam puvodni storage server delal problemy, pujde >>> do Abacusu na servis. > >>> Takze na zalohovani jsme pouzili server, ktery mel >>> puvodne delat NAS - dlouhodobe totiz bez zaloh byt >>> nemuzem. > >>> Rdiff-backup se ukazal jako spatne skalovatelne reseni, >>> navic stav linuxoveho storage subsystemu proste nenabizi >>> moznosti, jak spravovat desitky terabajtu dat bez toho, >>> aby se admin sel obesit. > >>> Takze jsme dali jeste jednou sanci ZFS, ale jelikoz >>> tentokrat uz je backend vpsAdminu napsany poradne diky >>> Aitherovi, nepotrebujeme linux, ale muzeme pouzit >>> FreeBSD. > >>> Takze server 'backup', ktery vidite ve vpsAdmin vypisu >>> serveru je nova zalohovaci masina, jede na ni FreeBSD >>> 9.1. > >>> Storage je ZFS, zpool konfiguraci pastnu na konec mailu >>> pro ty, koho to zajima. > >>> Zalohuje se ted o to jednoduseji, ze ZFS podporuje >>> nativne snapshoty, takze staci udelat rsync (se spravnymi >>> flagy, aby zachoval vsechno, co ma + aby bylo >>> snapshotovani na ZFS efektivni a zabiralo akorat to, co >>> je nutne) a potom ZFS snapshot. Kazda VPS ma svuj dataset >>> (neco jako filesystem), nad kterym se delaji snapshoty. > >>> Tohle cele ma nekolik vyhod, tou hlavni je, ZFS >>> snapshoty+rsync je vic blbuvzdorne a min nachylne na >>> rozbiti, nez rdiff-backup (tam staci prerusit zalohovani >>> v prubehu a uz se mu to nelibi). > >>> Zpristupneni zaloh do VPS zatim neni, stejne jako >>> vsechny uzivatelske funkce ve vpsAdminu, protoze chceme >>> pockat, jak se bude situace vyvijet; kdyz pujde vsechno >>> dobre a Aither bude mit cas (ma ted zkouskove), tak >>> zpristupneni tech funkci a zaloh bude relativne brzo >>> (radove 2-3 tydny). > >>> Tady ten slibeny vypis: > >>> [root(a)backup.prg.vpsfree.cz] / # zpool status -v pool: >>> storage state: ONLINE scan: none requested config: > >>> NAME STATE READ WRITE CKSUM storage >>> ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 >>> label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 >>> ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 >>> 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE >>> 0 0 0 label/zfs-d5 ONLINE 0 0 0 >>> label/zfs-d6 ONLINE 0 0 0 label/zfs-d7 ONLINE >>> 0 0 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 >>> ONLINE 0 0 0 logs mirror-1 ONLINE 0 0 >>> 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 >>> 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE >>> 0 0 0 > > >>> _______________________________________________ >>> Community-list mailing list >>> Community-list(a)lists.vpsfree.cz >>> http://lists.vpsfree.cz/listinfo/community-list >> _______________________________________________ >> Community-list mailing list >> Community-list(a)lists.vpsfree.cz >> http://lists.vpsfree.cz/listinfo/community-list > _______________________________________________ > Community-list mailing list Community-list(a)lists.vpsfree.cz > http://lists.vpsfree.cz/listinfo/community-list