[vpsFree.cz: community-list] Aktualni stav zalohovani - ZFS, FreeBSD

Jiří Medvěd admin at jirimedved.cz
Sun Jan 27 22:07:53 CET 2013 

Ahoj Pavle,

diky, neni potreba.

Odesláno z iPhonu

27. 1. 2013 v 21:57, Pavel Snajdr <snajpa at snajpa.net>:

> -----BEGIN PGP SIGNED MESSAGE-----
> Hash: SHA256
>
> Ahojte,
>
> tak to vypada, ze budu muset asi zahodit vsechny zalohy udelane do ted :/
>
> Potrebujete z toho nekdo neco uplne nutne?
>
> Zkuste se ozvat idealne do 30ti minut.
>
> snajpa
>
> On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
>> Ahojte,
>>
>> tak na tohle tema mam smutne zpravy.
>>
>> FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major
>> problemy:
>>
>> 1. Po case vytuhne NFS server, zustanou viset df procesy od muninu
>> a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim
>> interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat
>> NFS/UDP
>>
>> Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni
>> FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
>>
>> Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime
>> licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni
>> masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze
>> tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
>>
>> Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s
>> kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do
>> zfsonlinux.org projektu, myslim, ze funding bychom na to nasli
>> (lepsi nez platit Oraclu).
>>
>> S pozdravem
>>
>> Pavel Snajdr
>>
>> +421 948 816 186  | +420 720 107 791          | 110-010-956 CTO of
>> Relbit     | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
>> http://vpsfree.cz         | https://www.redhat.com
>>
>> On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
>>> Zdravim vsechny,
>>
>>> Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz
>>> by vam teda melo jit obnovit VPS z dane zalohy bez nasi
>>> asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
>>
>>> S pozdravem
>>
>>> Pavel Snajdr
>>
>>> +421 948 816 186  | +420 720 107 791          | 110-010-956 CTO
>>> of Relbit     | Predseda vpsFree.cz, o.s. | RHCE
>>> http://relbit.com | http://vpsfree.cz         |
>>> https://www.redhat.com
>>
>>> On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
>>>> Ahoj vespolek,
>>
>>>> mam tu dalsi update k stavu zalohovani:
>>
>>>> Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne
>>>> Aither) podporu zaloh na puvodni uroven, jaka byla s
>>>> rdiff-backupem.
>>
>>>> Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin,
>>>> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
>>>> Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne
>>>> to, co prenesl rsync - tedy sedi opravneni atd.;
>>
>>>> Dalsi vec - jak se dostat k jednotlivym inkrementum?
>>
>>>> Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi
>>>> exportovat. Kdyz se podivate do slozky
>>>> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich
>>>> vsechny snapshoty, ktere mame.
>>
>>>> Cili vyplyva z toho, ze si ted muzete obnovit libovolna data
>>>> bezbolestne bez pouziti rdiff-backup utility :)
>>
>>>> V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve
>>>> vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup
>>>> download - vetsina z toho uz je hotova, zbyva nam to jeste
>>>> oddebugovat.
>>
>>>> Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou
>>>> transparentni kompresi. Kdyz budeme drzet aktualni
>>>> compress-ratio nebo o neco horsi, celkova kapacita usetrena
>>>> kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z
>>>> (ekvivalent RAID5) :))
>>
>>>> ~ # zfs get compressratio storage NAME     PROPERTY       VALUE
>>>> SOURCE storage  compressratio  1.53x  -
>>
>>>> Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se
>>>> musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice
>>>> nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh
>>>> na backup server najednou nestihalo, takze jsme
>>>> rekonfigurovali zpool nasledovne:
>>
>>>> ~ # zpool status pool: storage state: ONLINE scan: resilvered
>>>> 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013
>>>> config:
>>
>>>> NAME              STATE     READ WRITE CKSUM storage ONLINE 0
>>>> 0     0 raidz1-0        ONLINE       0     0 0 label/zfs-d0
>>>> ONLINE       0     0     0 label/zfs-d1  ONLINE 0     0     0
>>>> label/zfs-d2  ONLINE       0     0     0 raidz1-1 ONLINE
>>>> 0 0     0 label/zfs-d3  ONLINE       0     0 0 label/zfs-d4
>>>> ONLINE 0     0     0 label/zfs-d5  ONLINE 0     0     0
>>>> raidz1-2 ONLINE       0     0     0 label/zfs-d6  ONLINE
>>>> 0     0 0 label/zfs-d9  ONLINE 0     0     0 label/zfs-d8
>>>> ONLINE       0 0     0 logs mirror-3        ONLINE       0
>>>> 0     0 da0p4 ONLINE 0     0     0 da1p4         ONLINE       0
>>>> 0     0 cache da1p5 ONLINE       0     0     0 da0p5
>>>> ONLINE 0     0 0
>>
>>
>>
>>>> S pozdravem
>>
>>>> Pavel Snajdr
>>
>>>> +421 948 816 186  | +420 720 107 791          | 110-010-956
>>>> CTO of Relbit     | Predseda vpsFree.cz, o.s. | RHCE
>>>> http://relbit.com | http://vpsfree.cz         |
>>>> https://www.redhat.com
>>
>>>> On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
>>>>> Ahojte,
>>
>>>>> jelikoz nam puvodni storage server delal problemy, pujde do
>>>>> Abacusu na servis.
>>
>>>>> Takze na zalohovani jsme pouzili server, ktery mel puvodne
>>>>> delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
>>
>>>>> Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic
>>>>> stav linuxoveho storage subsystemu proste nenabizi
>>>>> moznosti, jak spravovat desitky terabajtu dat bez toho, aby
>>>>> se admin sel obesit.
>>
>>>>> Takze jsme dali jeste jednou sanci ZFS, ale jelikoz
>>>>> tentokrat uz je backend vpsAdminu napsany poradne diky
>>>>> Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
>>
>>>>> Takze server 'backup', ktery vidite ve vpsAdmin vypisu
>>>>> serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
>>
>>>>> Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro
>>>>> ty, koho to zajima.
>>
>>>>> Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne
>>>>> snapshoty, takze staci udelat rsync (se spravnymi flagy, aby
>>>>> zachoval vsechno, co ma + aby bylo snapshotovani na ZFS
>>>>> efektivni a zabiralo akorat to, co je nutne) a potom ZFS
>>>>> snapshot. Kazda VPS ma svuj dataset (neco jako filesystem),
>>>>> nad kterym se delaji snapshoty.
>>
>>>>> Tohle cele ma nekolik vyhod, tou hlavni je, ZFS
>>>>> snapshoty+rsync je vic blbuvzdorne a min nachylne na
>>>>> rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v
>>>>> prubehu a uz se mu to nelibi).
>>
>>>>> Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny
>>>>> uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak
>>>>> se bude situace vyvijet; kdyz pujde vsechno dobre a Aither
>>>>> bude mit cas (ma ted zkouskove), tak zpristupneni tech funkci
>>>>> a zaloh bude relativne brzo (radove 2-3 tydny).
>>
>>>>> Tady ten slibeny vypis:
>>
>>>>> [root at backup.prg.vpsfree.cz] / # zpool status -v pool:
>>>>> storage state: ONLINE scan: none requested config:
>>
>>>>> NAME              STATE     READ WRITE CKSUM storage ONLINE
>>>>> 0 0     0 raidz2-0        ONLINE       0     0 0 label/zfs-d0
>>>>> ONLINE       0     0     0 label/zfs-d1  ONLINE 0     0
>>>>> 0 label/zfs-d2  ONLINE       0     0     0 label/zfs-d3
>>>>> ONLINE 0 0     0 label/zfs-d4  ONLINE       0     0 0
>>>>> label/zfs-d5 ONLINE       0     0     0 label/zfs-d6  ONLINE
>>>>> 0     0     0 label/zfs-d7  ONLINE       0     0     0
>>>>> label/zfs-d8 ONLINE 0 0     0 label/zfs-d9  ONLINE       0
>>>>> 0 0 logs mirror-1 ONLINE       0     0     0 da0p4 ONLINE
>>>>> 0     0     0 da1p4 ONLINE       0     0 0 cache da1p5
>>>>> ONLINE 0     0 0 da0p5 ONLINE       0     0     0
>>
>>
>>>>> _______________________________________________
>>>>> Community-list mailing list Community-list at lists.vpsfree.cz
>>>>> http://lists.vpsfree.cz/listinfo/community-list
>>>> _______________________________________________ Community-list
>>>> mailing list Community-list at lists.vpsfree.cz
>>>> http://lists.vpsfree.cz/listinfo/community-list
>>> _______________________________________________ Community-list
>>> mailing list Community-list at lists.vpsfree.cz
>>> http://lists.vpsfree.cz/listinfo/community-list
>> _______________________________________________ Community-list
>> mailing list Community-list at lists.vpsfree.cz
>> http://lists.vpsfree.cz/listinfo/community-list
> -----BEGIN PGP SIGNATURE-----
> Version: GnuPG v1.4.12 (GNU/Linux)
> Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
>
> iF4EAREIAAYFAlEFlMMACgkQdh+64ds5DaZqVQEA22dl/B4OFvcb6yPEMd+yo6F/
> A4aCVlNhvWR+NwtysacA/1MY8krvRPITjGs/ECFkLewK710qWvOmdN9+wJqbAzyh
> =Tu25
> -----END PGP SIGNATURE-----
> _______________________________________________
> Community-list mailing list
> Community-list at lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list

More information about the Community-list mailing list