[vpsFree.cz: community-list] Aktualni stav zalohovani - ZFS, FreeBSD

Sun Jan 27 22:55:32 CET 2013

Pro ty co chteji zalohy, jenom muj poznatek - vpsfree neni komercni projekt
ktery by garantoval nejaky SLA, stat se muze cokoliv, porad se o to stara
jen banda nadsencu. Takze bych pro priste doporucoval stahovat si
(napriklad 1 tydne) zalohy i k sobe. Shit happens :)

Dne 27. ledna 2013 22:29 Pavel Snajdr <snajpa at snajpa.net> napsal(a):

> -----BEGIN PGP SIGNED MESSAGE-----
> Hash: SHA256
>
> On 01/27/2013 09:57 PM, Pavel Snajdr wrote:
> > Ahojte,
> >
> > tak to vypada, ze budu muset asi zahodit vsechny zalohy udelane do
> > ted :/
> >
> > Potrebujete z toho nekdo neco uplne nutne?
> >
> > Zkuste se ozvat idealne do 30ti minut.
>
>
> Takze, pockam hodinku, potom to zahodim. Uz se mi povedlo k tem datum
> dostat, ale leze to odtamtud SILENE pomalu, takze pokud z toho fakt
> nejaky data potrebujete, specifikujte konkretne co a volejte na moje
> cislo - +421948816186
>
> Nemuzu to nechat rozvrtany moc dlouho, porad lepsi je zahodit stary
> zalohy a mit novy, nez nemit novy a zvysovat riziko, ze kdyz budou
> zrovna potreba zalohy (think: disk failure nekde v nodu) kdyz budou
> potreba.
>
> Vypada to, ze to bude dlouha noc :(
>
> >
> > snajpa
> >
> > On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
> >> Ahojte,
> >
> >> tak na tohle tema mam smutne zpravy.
> >
> >> FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major
> >> problemy:
> >
> >> 1. Po case vytuhne NFS server, zustanou viset df procesy od
> >> muninu a reboot zustane viset na synceru 2. Pri bondingu padaji
> >> nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi
> >> se pouzivat NFS/UDP
> >
> >> Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni
> >> FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
> >
> >> Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime
> >> licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni
> >> masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu,
> >> protoze tam dostanu jeste mnohem horsi support nez od FreeBSD
> >> komunity).
> >
> >> Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s
> >> kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do
> >> zfsonlinux.org projektu, myslim, ze funding bychom na to nasli
> >> (lepsi nez platit Oraclu).
> >
> >> S pozdravem
> >
> >> Pavel Snajdr
> >
> >> +421 948 816 186  | +420 720 107 791          | 110-010-956 CTO
> >> of Relbit     | Predseda vpsFree.cz, o.s. | RHCE
> >> http://relbit.com | http://vpsfree.cz         |
> >> https://www.redhat.com
> >
> >> On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
> >>> Zdravim vsechny,
> >
> >>> Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted
> >>> uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi
> >>> asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
> >
> >>> S pozdravem
> >
> >>> Pavel Snajdr
> >
> >>> +421 948 816 186  | +420 720 107 791          | 110-010-956
> >>> CTO of Relbit     | Predseda vpsFree.cz, o.s. | RHCE
> >>> http://relbit.com | http://vpsfree.cz         |
> >>> https://www.redhat.com
> >
> >>> On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
> >>>> Ahoj vespolek,
> >
> >>>> mam tu dalsi update k stavu zalohovani:
> >
> >>>> Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne
> >>>> Aither) podporu zaloh na puvodni uroven, jaka byla s
> >>>> rdiff-backupem.
> >
> >>>> Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin,
> >>>> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
> >>>>  Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je
> >>>> presne to, co prenesl rsync - tedy sedi opravneni atd.;
> >
> >>>> Dalsi vec - jak se dostat k jednotlivym inkrementum?
> >
> >>>> Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi
> >>>> exportovat. Kdyz se podivate do slozky
> >>>> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v
> >>>> podadresarich vsechny snapshoty, ktere mame.
> >
> >>>> Cili vyplyva z toho, ze si ted muzete obnovit libovolna data
> >>>>  bezbolestne bez pouziti rdiff-backup utility :)
> >
> >>>> V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve
> >>>>  vpsAdminu - tedy zobrazovani zaloh, full restore VPS a
> >>>> backup download - vetsina z toho uz je hotova, zbyva nam to
> >>>> jeste oddebugovat.
> >
> >>>> Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou
> >>>> transparentni kompresi. Kdyz budeme drzet aktualni
> >>>> compress-ratio nebo o neco horsi, celkova kapacita usetrena
> >>>> kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z
> >>>>  (ekvivalent RAID5) :))
> >
> >>>> ~ # zfs get compressratio storage NAME     PROPERTY
> >>>> VALUE SOURCE storage  compressratio  1.53x  -
> >
> >>>> Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se
> >>>> musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice
> >>>> nejrychlejsi single-threaded reseni, ale pri ladovani 24
> >>>> zaloh na backup server najednou nestihalo, takze jsme
> >>>> rekonfigurovali zpool nasledovne:
> >
> >>>> ~ # zpool status pool: storage state: ONLINE scan: resilvered
> >>>>  828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013
> >>>> config:
> >
> >>>> NAME              STATE     READ WRITE CKSUM storage ONLINE
> >>>> 0 0     0 raidz1-0        ONLINE       0     0 0 label/zfs-d0
> >>>>  ONLINE       0     0     0 label/zfs-d1  ONLINE 0     0
> >>>> 0 label/zfs-d2  ONLINE       0     0     0 raidz1-1 ONLINE 0
> >>>> 0     0 label/zfs-d3  ONLINE       0     0 0 label/zfs-d4
> >>>> ONLINE 0     0     0 label/zfs-d5  ONLINE 0     0     0
> >>>> raidz1-2 ONLINE       0     0     0 label/zfs-d6  ONLINE 0
> >>>> 0 0 label/zfs-d9  ONLINE 0     0     0 label/zfs-d8 ONLINE
> >>>> 0 0     0 logs mirror-3        ONLINE       0 0     0 da0p4
> >>>> ONLINE 0     0     0 da1p4         ONLINE       0 0     0
> >>>> cache da1p5 ONLINE       0     0     0 da0p5 ONLINE 0     0
> >>>> 0
> >
> >
> >
> >>>> S pozdravem
> >
> >>>> Pavel Snajdr
> >
> >>>> +421 948 816 186  | +420 720 107 791          | 110-010-956
> >>>> CTO of Relbit     | Predseda vpsFree.cz, o.s. | RHCE
> >>>> http://relbit.com | http://vpsfree.cz         |
> >>>> https://www.redhat.com
> >
> >>>> On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
> >>>>> Ahojte,
> >
> >>>>> jelikoz nam puvodni storage server delal problemy, pujde do
> >>>>>  Abacusu na servis.
> >
> >>>>> Takze na zalohovani jsme pouzili server, ktery mel puvodne
> >>>>>  delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
> >
> >>>>> Rdiff-backup se ukazal jako spatne skalovatelne reseni,
> >>>>> navic stav linuxoveho storage subsystemu proste nenabizi
> >>>>> moznosti, jak spravovat desitky terabajtu dat bez toho,
> >>>>> aby se admin sel obesit.
> >
> >>>>> Takze jsme dali jeste jednou sanci ZFS, ale jelikoz
> >>>>> tentokrat uz je backend vpsAdminu napsany poradne diky
> >>>>> Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
> >
> >>>>> Takze server 'backup', ktery vidite ve vpsAdmin vypisu
> >>>>> serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
> >
> >>>>> Storage je ZFS, zpool konfiguraci pastnu na konec mailu
> >>>>> pro ty, koho to zajima.
> >
> >>>>> Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne
> >>>>>  snapshoty, takze staci udelat rsync (se spravnymi flagy,
> >>>>> aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS
> >>>>>  efektivni a zabiralo akorat to, co je nutne) a potom ZFS
> >>>>> snapshot. Kazda VPS ma svuj dataset (neco jako
> >>>>> filesystem), nad kterym se delaji snapshoty.
> >
> >>>>> Tohle cele ma nekolik vyhod, tou hlavni je, ZFS
> >>>>> snapshoty+rsync je vic blbuvzdorne a min nachylne na
> >>>>> rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v
> >>>>> prubehu a uz se mu to nelibi).
> >
> >>>>> Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny
> >>>>> uzivatelske funkce ve vpsAdminu, protoze chceme pockat,
> >>>>> jak se bude situace vyvijet; kdyz pujde vsechno dobre a
> >>>>> Aither bude mit cas (ma ted zkouskove), tak zpristupneni
> >>>>> tech funkci a zaloh bude relativne brzo (radove 2-3
> >>>>> tydny).
> >
> >>>>> Tady ten slibeny vypis:
> >
> >>>>> [root at backup.prg.vpsfree.cz] / # zpool status -v pool:
> >>>>> storage state: ONLINE scan: none requested config:
> >
> >>>>> NAME              STATE     READ WRITE CKSUM storage
> >>>>> ONLINE 0 0     0 raidz2-0        ONLINE       0     0 0
> >>>>> label/zfs-d0 ONLINE       0     0     0 label/zfs-d1
> >>>>> ONLINE 0     0 0 label/zfs-d2  ONLINE       0     0     0
> >>>>> label/zfs-d3 ONLINE 0 0     0 label/zfs-d4  ONLINE       0
> >>>>> 0 0 label/zfs-d5 ONLINE       0     0     0 label/zfs-d6
> >>>>> ONLINE 0     0     0 label/zfs-d7  ONLINE       0     0
> >>>>> 0 label/zfs-d8 ONLINE 0 0     0 label/zfs-d9  ONLINE
> >>>>> 0 0 0 logs mirror-1 ONLINE       0     0     0 da0p4
> >>>>> ONLINE 0     0     0 da1p4 ONLINE       0     0 0 cache
> >>>>> da1p5 ONLINE 0     0 0 da0p5 ONLINE       0     0     0
> >
> >
> >>>>> _______________________________________________
> >>>>> Community-list mailing list Community-list at lists.vpsfree.cz
> >>>>>  http://lists.vpsfree.cz/listinfo/community-list
> >>>> _______________________________________________
> >>>> Community-list mailing list Community-list at lists.vpsfree.cz
> >>>> http://lists.vpsfree.cz/listinfo/community-list
> >>> _______________________________________________ Community-list
> >>>  mailing list Community-list at lists.vpsfree.cz
> >>> http://lists.vpsfree.cz/listinfo/community-list
> >> _______________________________________________ Community-list
> >> mailing list Community-list at lists.vpsfree.cz
> >> http://lists.vpsfree.cz/listinfo/community-list
> > _______________________________________________ Community-list
> > mailing list Community-list at lists.vpsfree.cz
> > http://lists.vpsfree.cz/listinfo/community-list
> -----BEGIN PGP SIGNATURE-----
> Version: GnuPG v1.4.12 (GNU/Linux)
> Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
>
> iF4EAREIAAYFAlEFnEQACgkQdh+64ds5DaaAzQEAtrS9UaJLpxGCfp/LKppOV5ZJ
> 4Qb2WPO3gIkY6DymU8sBAL3RpAgmSlYTUqVL1CJAyVgh/73lVu984pwSCJYMrzWt
> =kSew
> -----END PGP SIGNATURE-----
> _______________________________________________
> Community-list mailing list
> Community-list at lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.vpsfree.cz/pipermail/community-list/attachments/20130127/d9097bf6/attachment-0002.html>