23 Jan
2013
23 Jan
'13
1:10 p.m.
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by vam
teda melo jit obnovit VPS z dane zalohy bez nasi asistence, stejne
jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956
CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither)
podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje
se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. Hlavni vyhodou
je, ze stav, jaky ta zaloha vykazuje, je presne to, co prenesl
rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi
exportovat. Kdyz se podivate do slozky
/vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich
vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data
bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve
vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup
download - vetsina z toho uz je hotova, zbyva nam to jeste
oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou
transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio
nebo o neco horsi, celkova kapacita usetrena kompresi nam temer
vyrovna kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME PROPERTY VALUE
SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela
udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi
single-threaded reseni, ale pri ladovani 24 zaloh na backup server
najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
~ # zpool status pool: storage state: ONLINE scan: resilvered 828G
in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
NAME STATE READ WRITE CKSUM storage
ONLINE 0 0 0 raidz1-0 ONLINE 0 0
0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE
0 0 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1
ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0
0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE
0 0 0 raidz1-2 ONLINE 0 0 0
label/zfs-d6 ONLINE 0 0 0 label/zfs-d9 ONLINE
0 0 0 label/zfs-d8 ONLINE 0 0 0 logs
mirror-3 ONLINE 0 0 0 da0p4 ONLINE
0 0 0 da1p4 ONLINE 0 0 0 cache da1p5
ONLINE 0 0 0 da0p5 ONLINE 0 0
0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of
Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
http://vpsfree.cz | https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
Ahojte,
jelikoz nam puvodni storage server delal
problemy, pujde do
Abacusu na servis.
Takze na zalohovani jsme pouzili server, ktery
mel puvodne delat
NAS - dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne
reseni, navic
stav linuxoveho storage subsystemu proste nenabizi moznosti, jak
spravovat desitky terabajtu dat bez toho, aby se admin sel
obesit.
Takze jsme dali jeste jednou sanci ZFS, ale
jelikoz tentokrat uz
je backend vpsAdminu napsany poradne diky Aitherovi,
nepotrebujeme linux, ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve
vpsAdmin vypisu serveru
je nova zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec
mailu pro ty,
koho to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS
podporuje nativne
snapshoty, takze staci udelat rsync (se spravnymi flagy, aby
zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni
a zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda
VPS ma svuj dataset (neco jako filesystem), nad kterym se delaji
snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS
snapshoty+rsync
je vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup
(tam staci prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako
vsechny
uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se
bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit
cas (ma ted zkouskove), tak zpristupneni tech funkci a zaloh bude
relativne brzo (radove 2-3 tydny).
Tady ten slibeny vypis:
[root(a)backup.prg.vpsfree.cz] / # zpool status -v
pool: storage
state: ONLINE scan: none requested config:
NAME STATE READ WRITE CKSUM
storage ONLINE
0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0
ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0
label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE
0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5
ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0
label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE
0 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1
ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4
ONLINE 0 0 0 cache da1p5 ONLINE 0 0
0 da0p5 ONLINE 0 0 0
_______________________________________________
Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlD/4TcACgkQdh+64ds5DaYM/AD8C03XY7Y0XlSg5JVRyaH6cyYU
oW2dVWRTT31ekc97hIUBANmf+uV6Yy1s8ga8wTUCa95vgzr5kz3BYAP+K/3tAyhC
=yI0a
-----END PGP SIGNATURE-----