20 Jan
2013
20 Jan
'13
2:37 a.m.
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither)
podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje se
vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne to, co
prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi exportovat.
Kdyz se podivate do slozky /vpsadmin_backuper/.zfs/snapshot/, najdete
tam v podadresarich vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data
bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve vpsAdminu
- - tedy zobrazovani zaloh, full restore VPS a backup download - vetsina
z toho uz je hotova, zbyva nam to jeste oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou
transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio nebo
o neco horsi, celkova kapacita usetrena kompresi nam temer vyrovna
kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage
NAME PROPERTY VALUE SOURCE
storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela
udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi
single-threaded reseni, ale pri ladovani 24 zaloh na backup server
najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
~ # zpool status
pool: storage
state: ONLINE
scan: resilvered 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14
2013
config:
NAME STATE READ WRITE CKSUM
storage ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
label/zfs-d0 ONLINE 0 0 0
label/zfs-d1 ONLINE 0 0 0
label/zfs-d2 ONLINE 0 0 0
raidz1-1 ONLINE 0 0 0
label/zfs-d3 ONLINE 0 0 0
label/zfs-d4 ONLINE 0 0 0
label/zfs-d5 ONLINE 0 0 0
raidz1-2 ONLINE 0 0 0
label/zfs-d6 ONLINE 0 0 0
label/zfs-d9 ONLINE 0 0 0
label/zfs-d8 ONLINE 0 0 0
logs
mirror-3 ONLINE 0 0 0
da0p4 ONLINE 0 0 0
da1p4 ONLINE 0 0 0
cache
da1p5 ONLINE 0 0 0
da0p5 ONLINE 0 0 0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956
CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
Ahojte,
jelikoz nam puvodni storage server delal problemy, pujde do Abacusu
na servis.
Takze na zalohovani jsme pouzili server, ktery mel puvodne delat
NAS - dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic stav
linuxoveho storage subsystemu proste nenabizi moznosti, jak
spravovat desitky terabajtu dat bez toho, aby se admin sel obesit.
Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz
je backend vpsAdminu napsany poradne diky Aitherovi, nepotrebujeme
linux, ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru je
nova zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty,
koho to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne
snapshoty, takze staci udelat rsync (se spravnymi flagy, aby
zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni a
zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda VPS ma
svuj dataset (neco jako filesystem), nad kterym se delaji
snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync je
vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup (tam
staci prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny
uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se bude
situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit cas (ma
ted zkouskove), tak zpristupneni tech funkci a zaloh bude relativne
brzo (radove 2-3 tydny).
Tady ten slibeny vypis:
[root(a)backup.prg.vpsfree.cz] / # zpool status -v pool: storage
state: ONLINE scan: none requested config:
NAME STATE READ WRITE CKSUM storage
ONLINE 0 0 0 raidz2-0 ONLINE 0 0
0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE
0 0 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3
ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0
0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE
0 0 0 label/zfs-d7 ONLINE 0 0 0 label/zfs-d8
ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0
0 logs mirror-1 ONLINE 0 0 0 da0p4
ONLINE 0 0 0 da1p4 ONLINE 0 0
0 cache da1p5 ONLINE 0 0 0 da0p5
ONLINE 0 0 0
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlD7WIUACgkQdh+64ds5DaYzywEAjyGumU61b2H3MyqLMqr31oPJ
jZ8d9eg2CbXQ2MX1uuUA/3NduE90NC6kOLXGruaPNytOXgiEnYoP08jJWiqMFFDQ
=FOXt
-----END PGP SIGNATURE-----