[vpsFree.cz: community-list] Aktualni stav zalohovani - ZFS, FreeBSD
Pavel Snajdr
snajpa at snajpa.net
Wed Jan 23 14:10:17 CET 2013
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by vam
teda melo jit obnovit VPS z dane zalohy bez nasi asistence, stejne
jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956
CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
> Ahoj vespolek,
>
> mam tu dalsi update k stavu zalohovani:
>
> Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither)
> podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
>
> Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje
> se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. Hlavni vyhodou
> je, ze stav, jaky ta zaloha vykazuje, je presne to, co prenesl
> rsync - tedy sedi opravneni atd.;
>
> Dalsi vec - jak se dostat k jednotlivym inkrementum?
>
> Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi
> exportovat. Kdyz se podivate do slozky
> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich
> vsechny snapshoty, ktere mame.
>
> Cili vyplyva z toho, ze si ted muzete obnovit libovolna data
> bezbolestne bez pouziti rdiff-backup utility :)
>
> V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve
> vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup
> download - vetsina z toho uz je hotova, zbyva nam to jeste
> oddebugovat.
>
> Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou
> transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio
> nebo o neco horsi, celkova kapacita usetrena kompresi nam temer
> vyrovna kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
>
> ~ # zfs get compressratio storage NAME PROPERTY VALUE
> SOURCE storage compressratio 1.53x -
>
> Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela
> udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi
> single-threaded reseni, ale pri ladovani 24 zaloh na backup server
> najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
>
> ~ # zpool status pool: storage state: ONLINE scan: resilvered 828G
> in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
>
> NAME STATE READ WRITE CKSUM storage
> ONLINE 0 0 0 raidz1-0 ONLINE 0 0
> 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE
> 0 0 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1
> ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0
> 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE
> 0 0 0 raidz1-2 ONLINE 0 0 0
> label/zfs-d6 ONLINE 0 0 0 label/zfs-d9 ONLINE
> 0 0 0 label/zfs-d8 ONLINE 0 0 0 logs
> mirror-3 ONLINE 0 0 0 da0p4 ONLINE
> 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5
> ONLINE 0 0 0 da0p5 ONLINE 0 0
> 0
>
>
>
> S pozdravem
>
> Pavel Snajdr
>
> +421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of
> Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
> http://vpsfree.cz | https://www.redhat.com
>
> On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
>> Ahojte,
>
>> jelikoz nam puvodni storage server delal problemy, pujde do
>> Abacusu na servis.
>
>> Takze na zalohovani jsme pouzili server, ktery mel puvodne delat
>> NAS - dlouhodobe totiz bez zaloh byt nemuzem.
>
>> Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic
>> stav linuxoveho storage subsystemu proste nenabizi moznosti, jak
>> spravovat desitky terabajtu dat bez toho, aby se admin sel
>> obesit.
>
>> Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz
>> je backend vpsAdminu napsany poradne diky Aitherovi,
>> nepotrebujeme linux, ale muzeme pouzit FreeBSD.
>
>> Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru
>> je nova zalohovaci masina, jede na ni FreeBSD 9.1.
>
>> Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty,
>> koho to zajima.
>
>> Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne
>> snapshoty, takze staci udelat rsync (se spravnymi flagy, aby
>> zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni
>> a zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda
>> VPS ma svuj dataset (neco jako filesystem), nad kterym se delaji
>> snapshoty.
>
>> Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync
>> je vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup
>> (tam staci prerusit zalohovani v prubehu a uz se mu to nelibi).
>
>> Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny
>> uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se
>> bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit
>> cas (ma ted zkouskove), tak zpristupneni tech funkci a zaloh bude
>> relativne brzo (radove 2-3 tydny).
>
>> Tady ten slibeny vypis:
>
>> [root at backup.prg.vpsfree.cz] / # zpool status -v pool: storage
>> state: ONLINE scan: none requested config:
>
>> NAME STATE READ WRITE CKSUM storage ONLINE
>> 0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0
>> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0
>> label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE
>> 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5
>> ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0
>> label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE
>> 0 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1
>> ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4
>> ONLINE 0 0 0 cache da1p5 ONLINE 0 0
>> 0 da0p5 ONLINE 0 0 0
>
>
>> _______________________________________________ Community-list
>> mailing list Community-list at lists.vpsfree.cz
>> http://lists.vpsfree.cz/listinfo/community-list
> _______________________________________________ Community-list
> mailing list Community-list at lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlD/4TcACgkQdh+64ds5DaYM/AD8C03XY7Y0XlSg5JVRyaH6cyYU
oW2dVWRTT31ekc97hIUBANmf+uV6Yy1s8ga8wTUCa95vgzr5kz3BYAP+K/3tAyhC
=yI0a
-----END PGP SIGNATURE-----
More information about the Community-list
mailing list