[vpsFree.cz: community-list] Aktualni stav zalohovani - ZFS, FreeBSD
Miroslav Šedivý
mira at kvetakov.net
Sun Jan 27 21:01:58 CET 2013
Ahoj,
má to něco společného s tím, že když jsem restartoval VPS, tak se mi
to backup adresáře nic nenamountovalo?
S pozdravem
Miroslav Šedivý
Dne 27. ledna 2013 15:23 Pavel Snajdr <snajpa at snajpa.net> napsal(a):
> -----BEGIN PGP SIGNED MESSAGE-----
> Hash: SHA256
>
> Ahojte,
>
> tak na tohle tema mam smutne zpravy.
>
> FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:
>
> 1. Po case vytuhne NFS server, zustanou viset df procesy od muninu a
> reboot zustane viset na synceru
> 2. Pri bondingu padaji nad tim interfacem TCP spojeni
> 3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP
>
> Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD
> 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
>
> Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci
> na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne,
> OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste
> mnohem horsi support nez od FreeBSD komunity).
>
> Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s
> kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do
> zfsonlinux.org projektu, myslim, ze funding bychom na to nasli (lepsi
> nez platit Oraclu).
>
> S pozdravem
>
> Pavel Snajdr
>
> +421 948 816 186 | +420 720 107 791 | 110-010-956
> CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
> http://relbit.com | http://vpsfree.cz | https://www.redhat.com
>
> On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
>> Zdravim vsechny,
>>
>> Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by
>> vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence,
>> stejne jako stahnuti konkretni zalohy celeho VPS.
>>
>> S pozdravem
>>
>> Pavel Snajdr
>>
>> +421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of
>> Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
>> http://vpsfree.cz | https://www.redhat.com
>>
>> On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
>>> Ahoj vespolek,
>>
>>> mam tu dalsi update k stavu zalohovani:
>>
>>> Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne
>>> Aither) podporu zaloh na puvodni uroven, jaka byla s
>>> rdiff-backupem.
>>
>>> Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin,
>>> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
>>> Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne
>>> to, co prenesl rsync - tedy sedi opravneni atd.;
>>
>>> Dalsi vec - jak se dostat k jednotlivym inkrementum?
>>
>>> Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi
>>> exportovat. Kdyz se podivate do slozky
>>> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich
>>> vsechny snapshoty, ktere mame.
>>
>>> Cili vyplyva z toho, ze si ted muzete obnovit libovolna data
>>> bezbolestne bez pouziti rdiff-backup utility :)
>>
>>> V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve
>>> vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup
>>> download - vetsina z toho uz je hotova, zbyva nam to jeste
>>> oddebugovat.
>>
>>> Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou
>>> transparentni kompresi. Kdyz budeme drzet aktualni
>>> compress-ratio nebo o neco horsi, celkova kapacita usetrena
>>> kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z
>>> (ekvivalent RAID5) :))
>>
>>> ~ # zfs get compressratio storage NAME PROPERTY VALUE
>>> SOURCE storage compressratio 1.53x -
>>
>>> Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se
>>> musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice
>>> nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na
>>> backup server najednou nestihalo, takze jsme rekonfigurovali
>>> zpool nasledovne:
>>
>>> ~ # zpool status pool: storage state: ONLINE scan: resilvered
>>> 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
>>
>>> NAME STATE READ WRITE CKSUM storage ONLINE
>>> 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0
>>> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0
>>> label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0
>>> 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE
>>> 0 0 0 label/zfs-d5 ONLINE 0 0 0 raidz1-2
>>> ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0
>>> 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0
>>> 0 0 logs mirror-3 ONLINE 0 0 0 da0p4
>>> ONLINE 0 0 0 da1p4 ONLINE 0 0 0
>>> cache da1p5 ONLINE 0 0 0 da0p5 ONLINE
>>> 0 0 0
>>
>>
>>
>>> S pozdravem
>>
>>> Pavel Snajdr
>>
>>> +421 948 816 186 | +420 720 107 791 | 110-010-956 CTO
>>> of Relbit | Predseda vpsFree.cz, o.s. | RHCE
>>> http://relbit.com | http://vpsfree.cz |
>>> https://www.redhat.com
>>
>>> On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
>>>> Ahojte,
>>
>>>> jelikoz nam puvodni storage server delal problemy, pujde do
>>>> Abacusu na servis.
>>
>>>> Takze na zalohovani jsme pouzili server, ktery mel puvodne
>>>> delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
>>
>>>> Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic
>>>> stav linuxoveho storage subsystemu proste nenabizi moznosti,
>>>> jak spravovat desitky terabajtu dat bez toho, aby se admin sel
>>>> obesit.
>>
>>>> Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat
>>>> uz je backend vpsAdminu napsany poradne diky Aitherovi,
>>>> nepotrebujeme linux, ale muzeme pouzit FreeBSD.
>>
>>>> Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru
>>>> je nova zalohovaci masina, jede na ni FreeBSD 9.1.
>>
>>>> Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty,
>>>> koho to zajima.
>>
>>>> Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne
>>>> snapshoty, takze staci udelat rsync (se spravnymi flagy, aby
>>>> zachoval vsechno, co ma + aby bylo snapshotovani na ZFS
>>>> efektivni a zabiralo akorat to, co je nutne) a potom ZFS
>>>> snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad
>>>> kterym se delaji snapshoty.
>>
>>>> Tohle cele ma nekolik vyhod, tou hlavni je, ZFS
>>>> snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti,
>>>> nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz
>>>> se mu to nelibi).
>>
>>>> Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny
>>>> uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se
>>>> bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude
>>>> mit cas (ma ted zkouskove), tak zpristupneni tech funkci a
>>>> zaloh bude relativne brzo (radove 2-3 tydny).
>>
>>>> Tady ten slibeny vypis:
>>
>>>> [root at backup.prg.vpsfree.cz] / # zpool status -v pool: storage
>>>> state: ONLINE scan: none requested config:
>>
>>>> NAME STATE READ WRITE CKSUM storage ONLINE 0
>>>> 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0
>>>> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0
>>>> label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0
>>>> 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5
>>>> ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0
>>>> label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0
>>>> 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1
>>>> ONLINE 0 0 0 da0p4 ONLINE 0 0 0
>>>> da1p4 ONLINE 0 0 0 cache da1p5 ONLINE
>>>> 0 0 0 da0p5 ONLINE 0 0 0
>>
>>
>>>> _______________________________________________ Community-list
>>>> mailing list Community-list at lists.vpsfree.cz
>>>> http://lists.vpsfree.cz/listinfo/community-list
>>> _______________________________________________ Community-list
>>> mailing list Community-list at lists.vpsfree.cz
>>> http://lists.vpsfree.cz/listinfo/community-list
>> _______________________________________________ Community-list
>> mailing list Community-list at lists.vpsfree.cz
>> http://lists.vpsfree.cz/listinfo/community-list
> -----BEGIN PGP SIGNATURE-----
> Version: GnuPG v1.4.12 (GNU/Linux)
> Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
>
> iF4EAREIAAYFAlEFOHkACgkQdh+64ds5Daan6wEAnHXRFkw2QTd7F+oKgo32jqIv
> ngugeZtkCxVfTt4knqgBAI3nEeeqPGxKA361+5L7mA+xKkXG1HfmhIfpKHp4SUo8
> =ihn7
> -----END PGP SIGNATURE-----
> _______________________________________________
> Community-list mailing list
> Community-list at lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list
More information about the Community-list
mailing list