[vpsFree.cz: community-list] Aktualni stav zalohovani - ZFS, FreeBSD

[Pavel Snajdr]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256

Ahoj vespolek,

mam tu dalsi update k stavu zalohovani:

Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither)
podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.

Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje se
vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne to, co
prenesl rsync - tedy sedi opravneni atd.;

Dalsi vec - jak se dostat k jednotlivym inkrementum?

Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi exportovat.
Kdyz se podivate do slozky /vpsadmin_backuper/.zfs/snapshot/, najdete
tam v podadresarich vsechny snapshoty, ktere mame.

Cili vyplyva z toho, ze si ted muzete obnovit libovolna data
bezbolestne bez pouziti rdiff-backup utility :)

V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve vpsAdminu
- - tedy zobrazovani zaloh, full restore VPS a backup download - vetsina
z toho uz je hotova, zbyva nam to jeste oddebugovat.

Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou
transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio nebo
o neco horsi, celkova kapacita usetrena kompresi nam temer vyrovna
kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))

 ~ # zfs get compressratio storage
NAME     PROPERTY       VALUE  SOURCE
storage  compressratio  1.53x  -

Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela
udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi
single-threaded reseni, ale pri ladovani 24 zaloh na backup server
najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:

 ~ # zpool status
  pool: storage
 state: ONLINE
  scan: resilvered 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14
2013
config:

	NAME              STATE     READ WRITE CKSUM
	storage           ONLINE       0     0     0
	  raidz1-0        ONLINE       0     0     0
	    label/zfs-d0  ONLINE       0     0     0
	    label/zfs-d1  ONLINE       0     0     0
	    label/zfs-d2  ONLINE       0     0     0
	  raidz1-1        ONLINE       0     0     0
	    label/zfs-d3  ONLINE       0     0     0
	    label/zfs-d4  ONLINE       0     0     0
	    label/zfs-d5  ONLINE       0     0     0
	  raidz1-2        ONLINE       0     0     0
	    label/zfs-d6  ONLINE       0     0     0
	    label/zfs-d9  ONLINE       0     0     0
	    label/zfs-d8  ONLINE       0     0     0
	logs
	  mirror-3        ONLINE       0     0     0
	    da0p4         ONLINE       0     0     0
	    da1p4         ONLINE       0     0     0
	cache
	  da1p5           ONLINE       0     0     0
	  da0p5           ONLINE       0     0     0



S pozdravem

Pavel Snajdr

+421 948 816 186  | +420 720 107 791          | 110-010-956
CTO of Relbit     | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz         | https://www.redhat.com

On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
> Ahojte,
> 
> jelikoz nam puvodni storage server delal problemy, pujde do Abacusu
> na servis.
> 
> Takze na zalohovani jsme pouzili server, ktery mel puvodne delat
> NAS - dlouhodobe totiz bez zaloh byt nemuzem.
> 
> Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic stav 
> linuxoveho storage subsystemu proste nenabizi moznosti, jak
> spravovat desitky terabajtu dat bez toho, aby se admin sel obesit.
> 
> Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz
> je backend vpsAdminu napsany poradne diky Aitherovi, nepotrebujeme
> linux, ale muzeme pouzit FreeBSD.
> 
> Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru je
> nova zalohovaci masina, jede na ni FreeBSD 9.1.
> 
> Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty,
> koho to zajima.
> 
> Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne
> snapshoty, takze staci udelat rsync (se spravnymi flagy, aby
> zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni a
> zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda VPS ma
> svuj dataset (neco jako filesystem), nad kterym se delaji
> snapshoty.
> 
> Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync je
> vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup (tam
> staci prerusit zalohovani v prubehu a uz se mu to nelibi).
> 
> Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny
> uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se bude
> situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit cas (ma
> ted zkouskove), tak zpristupneni tech funkci a zaloh bude relativne
> brzo (radove 2-3 tydny).
> 
> Tady ten slibeny vypis:
> 
> [root at backup.prg.vpsfree.cz] / # zpool status -v pool: storage 
> state: ONLINE scan: none requested config:
> 
> NAME              STATE     READ WRITE CKSUM storage
> ONLINE       0     0     0 raidz2-0        ONLINE       0     0
> 0 label/zfs-d0  ONLINE       0     0     0 label/zfs-d1  ONLINE
> 0     0     0 label/zfs-d2  ONLINE       0     0     0 label/zfs-d3
> ONLINE       0     0     0 label/zfs-d4  ONLINE       0     0
> 0 label/zfs-d5  ONLINE       0     0     0 label/zfs-d6  ONLINE
> 0     0     0 label/zfs-d7  ONLINE       0     0     0 label/zfs-d8
> ONLINE       0     0     0 label/zfs-d9  ONLINE       0     0
> 0 logs mirror-1        ONLINE       0     0     0 da0p4
> ONLINE       0     0     0 da1p4         ONLINE       0     0
> 0 cache da1p5           ONLINE       0     0     0 da0p5
> ONLINE       0     0     0
> 
> 
> _______________________________________________ Community-list
> mailing list Community-list at lists.vpsfree.cz 
> http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/

iF4EAREIAAYFAlD7WIUACgkQdh+64ds5DaYzywEAjyGumU61b2H3MyqLMqr31oPJ
jZ8d9eg2CbXQ2MX1uuUA/3NduE90NC6kOLXGruaPNytOXgiEnYoP08jJWiqMFFDQ
=FOXt
-----END PGP SIGNATURE-----