[vpsFree.cz: community-list] Aktualni stav zalohovani - ZFS, FreeBSD

Sun Jan 27 21:03:40 CET 2013

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256

On 01/27/2013 09:01 PM, Miroslav Šedivý wrote:
> Ahoj,
> 
> má to něco společného s tím, že když jsem restartoval VPS, tak se
> mi to backup adresáře nic nenamountovalo?

Vcelku logicky ano :)

Pokousim se vymyslet, co s tim backupovanim provedeme a tak tam trochu
experimentuju.

snajpa

> 
> S pozdravem Miroslav Šedivý
> 
> 
> Dne 27. ledna 2013 15:23 Pavel Snajdr <snajpa at snajpa.net>
> napsal(a): Ahojte,
> 
> tak na tohle tema mam smutne zpravy.
> 
> FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major
> problemy:
> 
> 1. Po case vytuhne NFS server, zustanou viset df procesy od muninu
> a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim
> interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat
> NFS/UDP
> 
> Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni
> FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
> 
> Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime
> licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni
> masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze
> tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
> 
> Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s 
> kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do 
> zfsonlinux.org projektu, myslim, ze funding bychom na to nasli
> (lepsi nez platit Oraclu).
> 
> S pozdravem
> 
> Pavel Snajdr
> 
> +421 948 816 186  | +420 720 107 791          | 110-010-956 CTO of
> Relbit     | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
> http://vpsfree.cz         | https://www.redhat.com
> 
> On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
>>>> Zdravim vsechny,
>>>> 
>>>> Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted
>>>> uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi
>>>> asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
>>>> 
>>>> S pozdravem
>>>> 
>>>> Pavel Snajdr
>>>> 
>>>> +421 948 816 186  | +420 720 107 791          | 110-010-956
>>>> CTO of Relbit     | Predseda vpsFree.cz, o.s. | RHCE
>>>> http://relbit.com | http://vpsfree.cz         |
>>>> https://www.redhat.com
>>>> 
>>>> On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
>>>>> Ahoj vespolek,
>>>> 
>>>>> mam tu dalsi update k stavu zalohovani:
>>>> 
>>>>> Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne 
>>>>> Aither) podporu zaloh na puvodni uroven, jaka byla s 
>>>>> rdiff-backupem.
>>>> 
>>>>> Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, 
>>>>> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made
>>>>> zaloha. Hlavni vyhodou je, ze stav, jaky ta zaloha
>>>>> vykazuje, je presne to, co prenesl rsync - tedy sedi
>>>>> opravneni atd.;
>>>> 
>>>>> Dalsi vec - jak se dostat k jednotlivym inkrementum?
>>>> 
>>>>> Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi 
>>>>> exportovat. Kdyz se podivate do slozky 
>>>>> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v
>>>>> podadresarich vsechny snapshoty, ktere mame.
>>>> 
>>>>> Cili vyplyva z toho, ze si ted muzete obnovit libovolna
>>>>> data bezbolestne bez pouziti rdiff-backup utility :)
>>>> 
>>>>> V blizke budoucnosti zpristupnime zbyvajici funkcionalitu
>>>>> ve vpsAdminu - tedy zobrazovani zaloh, full restore VPS a
>>>>> backup download - vetsina z toho uz je hotova, zbyva nam to
>>>>> jeste oddebugovat.
>>>> 
>>>>> Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou 
>>>>> transparentni kompresi. Kdyz budeme drzet aktualni 
>>>>> compress-ratio nebo o neco horsi, celkova kapacita
>>>>> usetrena kompresi nam temer vyrovna kapacitni ztratu z
>>>>> pouziti RAID-Z (ekvivalent RAID5) :))
>>>> 
>>>>> ~ # zfs get compressratio storage NAME     PROPERTY
>>>>> VALUE SOURCE storage  compressratio  1.53x  -
>>>> 
>>>>> Jo a jeste malickost - oproti puvodni konfiguraci zpoolu
>>>>> se musela udelat zmena, RAID-Z2 pres vsechny disky bylo
>>>>> sice nejrychlejsi single-threaded reseni, ale pri ladovani
>>>>> 24 zaloh na backup server najednou nestihalo, takze jsme
>>>>> rekonfigurovali zpool nasledovne:
>>>> 
>>>>> ~ # zpool status pool: storage state: ONLINE scan:
>>>>> resilvered 828G in 41h55m with 0 errors on Sat Jan 19
>>>>> 14:52:14 2013 config:
>>>> 
>>>>> NAME              STATE     READ WRITE CKSUM storage
>>>>> ONLINE 0     0     0 raidz1-0        ONLINE       0     0 0
>>>>> label/zfs-d0 ONLINE       0     0     0 label/zfs-d1
>>>>> ONLINE 0     0     0 label/zfs-d2  ONLINE       0     0
>>>>> 0 raidz1-1 ONLINE       0 0     0 label/zfs-d3  ONLINE
>>>>> 0     0 0 label/zfs-d4  ONLINE 0     0     0 label/zfs-d5
>>>>> ONLINE 0     0     0 raidz1-2 ONLINE       0     0     0
>>>>> label/zfs-d6  ONLINE       0     0 0 label/zfs-d9  ONLINE 0
>>>>> 0     0 label/zfs-d8  ONLINE       0 0     0 logs mirror-3
>>>>> ONLINE       0     0     0 da0p4 ONLINE 0     0     0 da1p4
>>>>> ONLINE       0     0     0 cache da1p5 ONLINE       0     0
>>>>> 0 da0p5           ONLINE 0     0 0
>>>> 
>>>> 
>>>> 
>>>>> S pozdravem
>>>> 
>>>>> Pavel Snajdr
>>>> 
>>>>> +421 948 816 186  | +420 720 107 791          | 110-010-956
>>>>> CTO of Relbit     | Predseda vpsFree.cz, o.s. | RHCE 
>>>>> http://relbit.com | http://vpsfree.cz         | 
>>>>> https://www.redhat.com
>>>> 
>>>>> On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
>>>>>> Ahojte,
>>>> 
>>>>>> jelikoz nam puvodni storage server delal problemy, pujde
>>>>>> do Abacusu na servis.
>>>> 
>>>>>> Takze na zalohovani jsme pouzili server, ktery mel
>>>>>> puvodne delat NAS - dlouhodobe totiz bez zaloh byt
>>>>>> nemuzem.
>>>> 
>>>>>> Rdiff-backup se ukazal jako spatne skalovatelne reseni,
>>>>>> navic stav linuxoveho storage subsystemu proste nenabizi
>>>>>> moznosti, jak spravovat desitky terabajtu dat bez toho,
>>>>>> aby se admin sel obesit.
>>>> 
>>>>>> Takze jsme dali jeste jednou sanci ZFS, ale jelikoz
>>>>>> tentokrat uz je backend vpsAdminu napsany poradne diky
>>>>>> Aitherovi, nepotrebujeme linux, ale muzeme pouzit
>>>>>> FreeBSD.
>>>> 
>>>>>> Takze server 'backup', ktery vidite ve vpsAdmin vypisu
>>>>>> serveru je nova zalohovaci masina, jede na ni FreeBSD
>>>>>> 9.1.
>>>> 
>>>>>> Storage je ZFS, zpool konfiguraci pastnu na konec mailu
>>>>>> pro ty, koho to zajima.
>>>> 
>>>>>> Zalohuje se ted o to jednoduseji, ze ZFS podporuje
>>>>>> nativne snapshoty, takze staci udelat rsync (se spravnymi
>>>>>> flagy, aby zachoval vsechno, co ma + aby bylo
>>>>>> snapshotovani na ZFS efektivni a zabiralo akorat to, co
>>>>>> je nutne) a potom ZFS snapshot. Kazda VPS ma svuj dataset
>>>>>> (neco jako filesystem), nad kterym se delaji snapshoty.
>>>> 
>>>>>> Tohle cele ma nekolik vyhod, tou hlavni je, ZFS 
>>>>>> snapshoty+rsync je vic blbuvzdorne a min nachylne na
>>>>>> rozbiti, nez rdiff-backup (tam staci prerusit zalohovani
>>>>>> v prubehu a uz se mu to nelibi).
>>>> 
>>>>>> Zpristupneni zaloh do VPS zatim neni, stejne jako
>>>>>> vsechny uzivatelske funkce ve vpsAdminu, protoze chceme
>>>>>> pockat, jak se bude situace vyvijet; kdyz pujde vsechno
>>>>>> dobre a Aither bude mit cas (ma ted zkouskove), tak
>>>>>> zpristupneni tech funkci a zaloh bude relativne brzo
>>>>>> (radove 2-3 tydny).
>>>> 
>>>>>> Tady ten slibeny vypis:
>>>> 
>>>>>> [root at backup.prg.vpsfree.cz] / # zpool status -v pool:
>>>>>> storage state: ONLINE scan: none requested config:
>>>> 
>>>>>> NAME              STATE     READ WRITE CKSUM storage
>>>>>> ONLINE 0 0     0 raidz2-0        ONLINE       0     0 0
>>>>>> label/zfs-d0 ONLINE       0     0     0 label/zfs-d1
>>>>>> ONLINE 0     0     0 label/zfs-d2  ONLINE       0     0
>>>>>> 0 label/zfs-d3 ONLINE 0 0     0 label/zfs-d4  ONLINE
>>>>>> 0     0 0 label/zfs-d5 ONLINE       0     0     0
>>>>>> label/zfs-d6  ONLINE 0     0     0 label/zfs-d7  ONLINE
>>>>>> 0     0     0 label/zfs-d8 ONLINE 0 0     0 label/zfs-d9
>>>>>> ONLINE       0     0 0 logs mirror-1 ONLINE       0     0
>>>>>> 0 da0p4 ONLINE       0     0     0 da1p4 ONLINE       0
>>>>>> 0 0 cache da1p5           ONLINE 0     0 0 da0p5 ONLINE
>>>>>> 0     0     0
>>>> 
>>>> 
>>>>>> _______________________________________________
>>>>>> Community-list mailing list
>>>>>> Community-list at lists.vpsfree.cz 
>>>>>> http://lists.vpsfree.cz/listinfo/community-list
>>>>> _______________________________________________
>>>>> Community-list mailing list
>>>>> Community-list at lists.vpsfree.cz 
>>>>> http://lists.vpsfree.cz/listinfo/community-list
>>>> _______________________________________________
>>>> Community-list mailing list Community-list at lists.vpsfree.cz 
>>>> http://lists.vpsfree.cz/listinfo/community-list
>> _______________________________________________ Community-list
>> mailing list Community-list at lists.vpsfree.cz 
>> http://lists.vpsfree.cz/listinfo/community-list
> _______________________________________________ Community-list
> mailing list Community-list at lists.vpsfree.cz 
> http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/

iF4EAREIAAYFAlEFiBoACgkQdh+64ds5DabbgQEArDRhkpsG6lsLTZE1cbcUWJyA
ncXRpuUA616Zzi8EFBEBALiUV8+DXJUknbI4KeSyaUt6LmCQekSWduEkhwWAAc68
=gA5X
-----END PGP SIGNATURE-----