[vpsFree.cz: community-list] Aktualni stav zalohovani - ZFS, FreeBSD

Sun Jan 27 22:29:43 CET 2013

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256

On 01/27/2013 09:57 PM, Pavel Snajdr wrote:
> Ahojte,
> 
> tak to vypada, ze budu muset asi zahodit vsechny zalohy udelane do
> ted :/
> 
> Potrebujete z toho nekdo neco uplne nutne?
> 
> Zkuste se ozvat idealne do 30ti minut.

Takze, pockam hodinku, potom to zahodim. Uz se mi povedlo k tem datum
dostat, ale leze to odtamtud SILENE pomalu, takze pokud z toho fakt
nejaky data potrebujete, specifikujte konkretne co a volejte na moje
cislo - +421948816186

Nemuzu to nechat rozvrtany moc dlouho, porad lepsi je zahodit stary
zalohy a mit novy, nez nemit novy a zvysovat riziko, ze kdyz budou
zrovna potreba zalohy (think: disk failure nekde v nodu) kdyz budou
potreba.

Vypada to, ze to bude dlouha noc :(

> 
> snajpa
> 
> On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
>> Ahojte,
> 
>> tak na tohle tema mam smutne zpravy.
> 
>> FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major 
>> problemy:
> 
>> 1. Po case vytuhne NFS server, zustanou viset df procesy od
>> muninu a reboot zustane viset na synceru 2. Pri bondingu padaji
>> nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi
>> se pouzivat NFS/UDP
> 
>> Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni 
>> FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
> 
>> Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime 
>> licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni 
>> masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu,
>> protoze tam dostanu jeste mnohem horsi support nez od FreeBSD
>> komunity).
> 
>> Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s 
>> kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do 
>> zfsonlinux.org projektu, myslim, ze funding bychom na to nasli 
>> (lepsi nez platit Oraclu).
> 
>> S pozdravem
> 
>> Pavel Snajdr
> 
>> +421 948 816 186  | +420 720 107 791          | 110-010-956 CTO
>> of Relbit     | Predseda vpsFree.cz, o.s. | RHCE
>> http://relbit.com | http://vpsfree.cz         |
>> https://www.redhat.com
> 
>> On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
>>> Zdravim vsechny,
> 
>>> Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted
>>> uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi 
>>> asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
> 
>>> S pozdravem
> 
>>> Pavel Snajdr
> 
>>> +421 948 816 186  | +420 720 107 791          | 110-010-956
>>> CTO of Relbit     | Predseda vpsFree.cz, o.s. | RHCE 
>>> http://relbit.com | http://vpsfree.cz         | 
>>> https://www.redhat.com
> 
>>> On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
>>>> Ahoj vespolek,
> 
>>>> mam tu dalsi update k stavu zalohovani:
> 
>>>> Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne 
>>>> Aither) podporu zaloh na puvodni uroven, jaka byla s 
>>>> rdiff-backupem.
> 
>>>> Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, 
>>>> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
>>>>  Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je
>>>> presne to, co prenesl rsync - tedy sedi opravneni atd.;
> 
>>>> Dalsi vec - jak se dostat k jednotlivym inkrementum?
> 
>>>> Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi 
>>>> exportovat. Kdyz se podivate do slozky 
>>>> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v
>>>> podadresarich vsechny snapshoty, ktere mame.
> 
>>>> Cili vyplyva z toho, ze si ted muzete obnovit libovolna data
>>>>  bezbolestne bez pouziti rdiff-backup utility :)
> 
>>>> V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve
>>>>  vpsAdminu - tedy zobrazovani zaloh, full restore VPS a
>>>> backup download - vetsina z toho uz je hotova, zbyva nam to
>>>> jeste oddebugovat.
> 
>>>> Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou 
>>>> transparentni kompresi. Kdyz budeme drzet aktualni 
>>>> compress-ratio nebo o neco horsi, celkova kapacita usetrena 
>>>> kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z
>>>>  (ekvivalent RAID5) :))
> 
>>>> ~ # zfs get compressratio storage NAME     PROPERTY
>>>> VALUE SOURCE storage  compressratio  1.53x  -
> 
>>>> Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se 
>>>> musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice 
>>>> nejrychlejsi single-threaded reseni, ale pri ladovani 24
>>>> zaloh na backup server najednou nestihalo, takze jsme 
>>>> rekonfigurovali zpool nasledovne:
> 
>>>> ~ # zpool status pool: storage state: ONLINE scan: resilvered
>>>>  828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 
>>>> config:
> 
>>>> NAME              STATE     READ WRITE CKSUM storage ONLINE
>>>> 0 0     0 raidz1-0        ONLINE       0     0 0 label/zfs-d0
>>>>  ONLINE       0     0     0 label/zfs-d1  ONLINE 0     0
>>>> 0 label/zfs-d2  ONLINE       0     0     0 raidz1-1 ONLINE 0
>>>> 0     0 label/zfs-d3  ONLINE       0     0 0 label/zfs-d4 
>>>> ONLINE 0     0     0 label/zfs-d5  ONLINE 0     0     0 
>>>> raidz1-2 ONLINE       0     0     0 label/zfs-d6  ONLINE 0
>>>> 0 0 label/zfs-d9  ONLINE 0     0     0 label/zfs-d8 ONLINE
>>>> 0 0     0 logs mirror-3        ONLINE       0 0     0 da0p4
>>>> ONLINE 0     0     0 da1p4         ONLINE       0 0     0
>>>> cache da1p5 ONLINE       0     0     0 da0p5 ONLINE 0     0
>>>> 0
> 
> 
> 
>>>> S pozdravem
> 
>>>> Pavel Snajdr
> 
>>>> +421 948 816 186  | +420 720 107 791          | 110-010-956 
>>>> CTO of Relbit     | Predseda vpsFree.cz, o.s. | RHCE 
>>>> http://relbit.com | http://vpsfree.cz         | 
>>>> https://www.redhat.com
> 
>>>> On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
>>>>> Ahojte,
> 
>>>>> jelikoz nam puvodni storage server delal problemy, pujde do
>>>>>  Abacusu na servis.
> 
>>>>> Takze na zalohovani jsme pouzili server, ktery mel puvodne
>>>>>  delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
> 
>>>>> Rdiff-backup se ukazal jako spatne skalovatelne reseni,
>>>>> navic stav linuxoveho storage subsystemu proste nenabizi 
>>>>> moznosti, jak spravovat desitky terabajtu dat bez toho,
>>>>> aby se admin sel obesit.
> 
>>>>> Takze jsme dali jeste jednou sanci ZFS, ale jelikoz 
>>>>> tentokrat uz je backend vpsAdminu napsany poradne diky 
>>>>> Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
> 
>>>>> Takze server 'backup', ktery vidite ve vpsAdmin vypisu 
>>>>> serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
> 
>>>>> Storage je ZFS, zpool konfiguraci pastnu na konec mailu
>>>>> pro ty, koho to zajima.
> 
>>>>> Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne
>>>>>  snapshoty, takze staci udelat rsync (se spravnymi flagy,
>>>>> aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS
>>>>>  efektivni a zabiralo akorat to, co je nutne) a potom ZFS 
>>>>> snapshot. Kazda VPS ma svuj dataset (neco jako
>>>>> filesystem), nad kterym se delaji snapshoty.
> 
>>>>> Tohle cele ma nekolik vyhod, tou hlavni je, ZFS 
>>>>> snapshoty+rsync je vic blbuvzdorne a min nachylne na 
>>>>> rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v 
>>>>> prubehu a uz se mu to nelibi).
> 
>>>>> Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny 
>>>>> uzivatelske funkce ve vpsAdminu, protoze chceme pockat,
>>>>> jak se bude situace vyvijet; kdyz pujde vsechno dobre a
>>>>> Aither bude mit cas (ma ted zkouskove), tak zpristupneni
>>>>> tech funkci a zaloh bude relativne brzo (radove 2-3
>>>>> tydny).
> 
>>>>> Tady ten slibeny vypis:
> 
>>>>> [root at backup.prg.vpsfree.cz] / # zpool status -v pool: 
>>>>> storage state: ONLINE scan: none requested config:
> 
>>>>> NAME              STATE     READ WRITE CKSUM storage
>>>>> ONLINE 0 0     0 raidz2-0        ONLINE       0     0 0
>>>>> label/zfs-d0 ONLINE       0     0     0 label/zfs-d1
>>>>> ONLINE 0     0 0 label/zfs-d2  ONLINE       0     0     0
>>>>> label/zfs-d3 ONLINE 0 0     0 label/zfs-d4  ONLINE       0
>>>>> 0 0 label/zfs-d5 ONLINE       0     0     0 label/zfs-d6
>>>>> ONLINE 0     0     0 label/zfs-d7  ONLINE       0     0
>>>>> 0 label/zfs-d8 ONLINE 0 0     0 label/zfs-d9  ONLINE
>>>>> 0 0 0 logs mirror-1 ONLINE       0     0     0 da0p4
>>>>> ONLINE 0     0     0 da1p4 ONLINE       0     0 0 cache
>>>>> da1p5 ONLINE 0     0 0 da0p5 ONLINE       0     0     0
> 
> 
>>>>> _______________________________________________ 
>>>>> Community-list mailing list Community-list at lists.vpsfree.cz
>>>>>  http://lists.vpsfree.cz/listinfo/community-list
>>>> _______________________________________________
>>>> Community-list mailing list Community-list at lists.vpsfree.cz 
>>>> http://lists.vpsfree.cz/listinfo/community-list
>>> _______________________________________________ Community-list
>>>  mailing list Community-list at lists.vpsfree.cz 
>>> http://lists.vpsfree.cz/listinfo/community-list
>> _______________________________________________ Community-list 
>> mailing list Community-list at lists.vpsfree.cz 
>> http://lists.vpsfree.cz/listinfo/community-list
> _______________________________________________ Community-list
> mailing list Community-list at lists.vpsfree.cz 
> http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/

iF4EAREIAAYFAlEFnEQACgkQdh+64ds5DaaAzQEAtrS9UaJLpxGCfp/LKppOV5ZJ
4Qb2WPO3gIkY6DymU8sBAL3RpAgmSlYTUqVL1CJAyVgh/73lVu984pwSCJYMrzWt
=kSew
-----END PGP SIGNATURE-----