[vpsFree.cz: community-list] Aktualni stav zalohovani - ZFS, FreeBSD

Sun Jan 27 16:11:14 CET 2013

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256

Ahoj,

nemam az taku znalost, a mozno nenapisem nic nove, ale existuje nexenta
- http://www.nexentastor.org/ , stalo by to zato aspon skusit?

PB

On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
> Ahojte,
>
> tak na tohle tema mam smutne zpravy.
>
> FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:
>
> 1. Po case vytuhne NFS server, zustanou viset df procesy od muninu a
> reboot zustane viset na synceru
> 2. Pri bondingu padaji nad tim interfacem TCP spojeni
> 3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP
>
> Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD
> 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
>
> Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci
> na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne,
> OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste
> mnohem horsi support nez od FreeBSD komunity).
>
> Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s
> kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do
> zfsonlinux.org projektu, myslim, ze funding bychom na to nasli (lepsi
> nez platit Oraclu).
>
> S pozdravem
>
> Pavel Snajdr
>
> +421 948 816 186 | +420 720 107 791 | 110-010-956
> CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
> http://relbit.com | http://vpsfree.cz | https://www.redhat.com
>
> On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
> > Zdravim vsechny,
>
> > Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by
> > vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence,
> > stejne jako stahnuti konkretni zalohy celeho VPS.
>
> > S pozdravem
>
> > Pavel Snajdr
>
> > +421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of
> > Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
> > http://vpsfree.cz | https://www.redhat.com
>
> > On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
> >> Ahoj vespolek,
>
> >> mam tu dalsi update k stavu zalohovani:
>
> >> Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne
> >> Aither) podporu zaloh na puvodni uroven, jaka byla s
> >> rdiff-backupem.
>
> >> Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin,
> >> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
> >> Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne
> >> to, co prenesl rsync - tedy sedi opravneni atd.;
>
> >> Dalsi vec - jak se dostat k jednotlivym inkrementum?
>
> >> Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi
> >> exportovat. Kdyz se podivate do slozky
> >> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich
> >> vsechny snapshoty, ktere mame.
>
> >> Cili vyplyva z toho, ze si ted muzete obnovit libovolna data
> >> bezbolestne bez pouziti rdiff-backup utility :)
>
> >> V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve
> >> vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup
> >> download - vetsina z toho uz je hotova, zbyva nam to jeste
> >> oddebugovat.
>
> >> Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou
> >> transparentni kompresi. Kdyz budeme drzet aktualni
> >> compress-ratio nebo o neco horsi, celkova kapacita usetrena
> >> kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z
> >> (ekvivalent RAID5) :))
>
> >> ~ # zfs get compressratio storage NAME PROPERTY VALUE
> >> SOURCE storage compressratio 1.53x -
>
> >> Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se
> >> musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice
> >> nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na
> >> backup server najednou nestihalo, takze jsme rekonfigurovali
> >> zpool nasledovne:
>
> >> ~ # zpool status pool: storage state: ONLINE scan: resilvered
> >> 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
>
> >> NAME STATE READ WRITE CKSUM storage ONLINE
> >> 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0
> >> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0
> >> label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0
> >> 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE
> >> 0 0 0 label/zfs-d5 ONLINE 0 0 0 raidz1-2
> >> ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0
> >> 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0
> >> 0 0 logs mirror-3 ONLINE 0 0 0 da0p4
> >> ONLINE 0 0 0 da1p4 ONLINE 0 0 0
> >> cache da1p5 ONLINE 0 0 0 da0p5 ONLINE
> >> 0 0 0
>
>
>
> >> S pozdravem
>
> >> Pavel Snajdr
>
> >> +421 948 816 186 | +420 720 107 791 | 110-010-956 CTO
> >> of Relbit | Predseda vpsFree.cz, o.s. | RHCE
> >> http://relbit.com | http://vpsfree.cz |
> >> https://www.redhat.com
>
> >> On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
> >>> Ahojte,
>
> >>> jelikoz nam puvodni storage server delal problemy, pujde do
> >>> Abacusu na servis.
>
> >>> Takze na zalohovani jsme pouzili server, ktery mel puvodne
> >>> delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
>
> >>> Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic
> >>> stav linuxoveho storage subsystemu proste nenabizi moznosti,
> >>> jak spravovat desitky terabajtu dat bez toho, aby se admin sel
> >>> obesit.
>
> >>> Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat
> >>> uz je backend vpsAdminu napsany poradne diky Aitherovi,
> >>> nepotrebujeme linux, ale muzeme pouzit FreeBSD.
>
> >>> Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru
> >>> je nova zalohovaci masina, jede na ni FreeBSD 9.1.
>
> >>> Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty,
> >>> koho to zajima.
>
> >>> Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne
> >>> snapshoty, takze staci udelat rsync (se spravnymi flagy, aby
> >>> zachoval vsechno, co ma + aby bylo snapshotovani na ZFS
> >>> efektivni a zabiralo akorat to, co je nutne) a potom ZFS
> >>> snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad
> >>> kterym se delaji snapshoty.
>
> >>> Tohle cele ma nekolik vyhod, tou hlavni je, ZFS
> >>> snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti,
> >>> nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz
> >>> se mu to nelibi).
>
> >>> Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny
> >>> uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se
> >>> bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude
> >>> mit cas (ma ted zkouskove), tak zpristupneni tech funkci a
> >>> zaloh bude relativne brzo (radove 2-3 tydny).
>
> >>> Tady ten slibeny vypis:
>
> >>> [root at backup.prg.vpsfree.cz] / # zpool status -v pool: storage
> >>> state: ONLINE scan: none requested config:
>
> >>> NAME STATE READ WRITE CKSUM storage ONLINE 0
> >>> 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0
> >>> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0
> >>> label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0
> >>> 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5
> >>> ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0
> >>> label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0
> >>> 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1
> >>> ONLINE 0 0 0 da0p4 ONLINE 0 0 0
> >>> da1p4 ONLINE 0 0 0 cache da1p5 ONLINE
> >>> 0 0 0 da0p5 ONLINE 0 0 0
>
>
> >>> _______________________________________________ Community-list
> >>> mailing list Community-list at lists.vpsfree.cz
> >>> http://lists.vpsfree.cz/listinfo/community-list
> >> _______________________________________________ Community-list
> >> mailing list Community-list at lists.vpsfree.cz
> >> http://lists.vpsfree.cz/listinfo/community-list
> > _______________________________________________ Community-list
> > mailing list Community-list at lists.vpsfree.cz
> > http://lists.vpsfree.cz/listinfo/community-list
> _______________________________________________
> Community-list mailing list
> Community-list at lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list

- -- 
S pozdravom / Best regards
- ---------------------------------------------
[Peter Bubeliny] [+421 948 358 078]
[PGP Key: http://hakin.eu/peter.bubeliny.gpg]
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.11 (GNU/Linux)
Comment: Using GnuPG with Thunderbird - http://www.enigmail.net/

iF4EAREIAAYFAlEFQ5EACgkQpAd1n8BUwWFvXAD/SH5JpnyTAnGKmTxdllb7SiQi
PzE57lrMhXpRZOCzN8wBALDe96tuNXVGz432fjCXjtpU9PfteYbLB5k/QVKIjGtE
=Lqba
-----END PGP SIGNATURE-----