6 Jan
2013
6 Jan
'13
11:07 p.m.
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
Ahojte,
jelikoz nam puvodni storage server delal problemy, pujde do Abacusu na
servis.
Takze na zalohovani jsme pouzili server, ktery mel puvodne delat NAS -
dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic stav
linuxoveho storage subsystemu proste nenabizi moznosti, jak spravovat
desitky terabajtu dat bez toho, aby se admin sel obesit.
Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz je
backend vpsAdminu napsany poradne diky Aitherovi, nepotrebujeme linux,
ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru je nova
zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty, koho
to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne snapshoty,
takze staci udelat rsync (se spravnymi flagy, aby zachoval vsechno, co
ma + aby bylo snapshotovani na ZFS efektivni a zabiralo akorat to, co
je nutne) a potom ZFS snapshot. Kazda VPS ma svuj dataset (neco jako
filesystem), nad kterym se delaji snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync je vic
blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup (tam staci
prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny uzivatelske
funkce ve vpsAdminu, protoze chceme pockat, jak se bude situace
vyvijet; kdyz pujde vsechno dobre a Aither bude mit cas (ma ted
zkouskove), tak zpristupneni tech funkci a zaloh bude relativne brzo
(radove 2-3 tydny).
Tady ten slibeny vypis:
[root(a)backup.prg.vpsfree.cz]
/ # zpool status -v
pool: storage
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
storage ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
label/zfs-d0 ONLINE 0 0 0
label/zfs-d1 ONLINE 0 0 0
label/zfs-d2 ONLINE 0 0 0
label/zfs-d3 ONLINE 0 0 0
label/zfs-d4 ONLINE 0 0 0
label/zfs-d5 ONLINE 0 0 0
label/zfs-d6 ONLINE 0 0 0
label/zfs-d7 ONLINE 0 0 0
label/zfs-d8 ONLINE 0 0 0
label/zfs-d9 ONLINE 0 0 0
logs
mirror-1 ONLINE 0 0 0
da0p4 ONLINE 0 0 0
da1p4 ONLINE 0 0 0
cache
da1p5 ONLINE 0 0 0
da0p5 ONLINE 0 0 0
- --
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956
CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz | https://www.redhat.com
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlDqA8YACgkQdh+64ds5DaYc6AEAqASiwCjV+IBY96Utqrf6pbVu
mbgIlR7jiKRxCUX/yq0BAMcxRyb+bguWJo9bkhEeeBlNQk+aJvaL+WEwUffbzjNc
=PqKI
-----END PGP SIGNATURE-----
20 Jan
20 Jan
2:37 a.m.
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither)
podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje se
vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne to, co
prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi exportovat.
Kdyz se podivate do slozky /vpsadmin_backuper/.zfs/snapshot/, najdete
tam v podadresarich vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data
bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve vpsAdminu
- - tedy zobrazovani zaloh, full restore VPS a backup download - vetsina
z toho uz je hotova, zbyva nam to jeste oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou
transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio nebo
o neco horsi, celkova kapacita usetrena kompresi nam temer vyrovna
kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage
NAME PROPERTY VALUE SOURCE
storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela
udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi
single-threaded reseni, ale pri ladovani 24 zaloh na backup server
najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
~ # zpool status
pool: storage
state: ONLINE
scan: resilvered 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14
2013
config:
NAME STATE READ WRITE CKSUM
storage ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
label/zfs-d0 ONLINE 0 0 0
label/zfs-d1 ONLINE 0 0 0
label/zfs-d2 ONLINE 0 0 0
raidz1-1 ONLINE 0 0 0
label/zfs-d3 ONLINE 0 0 0
label/zfs-d4 ONLINE 0 0 0
label/zfs-d5 ONLINE 0 0 0
raidz1-2 ONLINE 0 0 0
label/zfs-d6 ONLINE 0 0 0
label/zfs-d9 ONLINE 0 0 0
label/zfs-d8 ONLINE 0 0 0
logs
mirror-3 ONLINE 0 0 0
da0p4 ONLINE 0 0 0
da1p4 ONLINE 0 0 0
cache
da1p5 ONLINE 0 0 0
da0p5 ONLINE 0 0 0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956
CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
Ahojte,
jelikoz nam puvodni storage server delal problemy, pujde do Abacusu
na servis.
Takze na zalohovani jsme pouzili server, ktery mel puvodne delat
NAS - dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic stav
linuxoveho storage subsystemu proste nenabizi moznosti, jak
spravovat desitky terabajtu dat bez toho, aby se admin sel obesit.
Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz
je backend vpsAdminu napsany poradne diky Aitherovi, nepotrebujeme
linux, ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru je
nova zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty,
koho to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne
snapshoty, takze staci udelat rsync (se spravnymi flagy, aby
zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni a
zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda VPS ma
svuj dataset (neco jako filesystem), nad kterym se delaji
snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync je
vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup (tam
staci prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny
uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se bude
situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit cas (ma
ted zkouskove), tak zpristupneni tech funkci a zaloh bude relativne
brzo (radove 2-3 tydny).
Tady ten slibeny vypis:
[root(a)backup.prg.vpsfree.cz] / # zpool status -v pool: storage
state: ONLINE scan: none requested config:
NAME STATE READ WRITE CKSUM storage
ONLINE 0 0 0 raidz2-0 ONLINE 0 0
0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE
0 0 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3
ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0
0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE
0 0 0 label/zfs-d7 ONLINE 0 0 0 label/zfs-d8
ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0
0 logs mirror-1 ONLINE 0 0 0 da0p4
ONLINE 0 0 0 da1p4 ONLINE 0 0
0 cache da1p5 ONLINE 0 0 0 da0p5
ONLINE 0 0 0
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlD7WIUACgkQdh+64ds5DaYzywEAjyGumU61b2H3MyqLMqr31oPJ
jZ8d9eg2CbXQ2MX1uuUA/3NduE90NC6kOLXGruaPNytOXgiEnYoP08jJWiqMFFDQ
=FOXt
-----END PGP SIGNATURE-----
23 Jan
23 Jan
1:10 p.m.
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by vam
teda melo jit obnovit VPS z dane zalohy bez nasi asistence, stejne
jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956
CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither)
podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje
se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. Hlavni vyhodou
je, ze stav, jaky ta zaloha vykazuje, je presne to, co prenesl
rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi
exportovat. Kdyz se podivate do slozky
/vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich
vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data
bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve
vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup
download - vetsina z toho uz je hotova, zbyva nam to jeste
oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou
transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio
nebo o neco horsi, celkova kapacita usetrena kompresi nam temer
vyrovna kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME PROPERTY VALUE
SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela
udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi
single-threaded reseni, ale pri ladovani 24 zaloh na backup server
najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
~ # zpool status pool: storage state: ONLINE scan: resilvered 828G
in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
NAME STATE READ WRITE CKSUM storage
ONLINE 0 0 0 raidz1-0 ONLINE 0 0
0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE
0 0 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1
ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0
0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE
0 0 0 raidz1-2 ONLINE 0 0 0
label/zfs-d6 ONLINE 0 0 0 label/zfs-d9 ONLINE
0 0 0 label/zfs-d8 ONLINE 0 0 0 logs
mirror-3 ONLINE 0 0 0 da0p4 ONLINE
0 0 0 da1p4 ONLINE 0 0 0 cache da1p5
ONLINE 0 0 0 da0p5 ONLINE 0 0
0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of
Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
http://vpsfree.cz | https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
Ahojte,
jelikoz nam puvodni storage server delal
problemy, pujde do
Abacusu na servis.
Takze na zalohovani jsme pouzili server, ktery
mel puvodne delat
NAS - dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne
reseni, navic
stav linuxoveho storage subsystemu proste nenabizi moznosti, jak
spravovat desitky terabajtu dat bez toho, aby se admin sel
obesit.
Takze jsme dali jeste jednou sanci ZFS, ale
jelikoz tentokrat uz
je backend vpsAdminu napsany poradne diky Aitherovi,
nepotrebujeme linux, ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve
vpsAdmin vypisu serveru
je nova zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec
mailu pro ty,
koho to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS
podporuje nativne
snapshoty, takze staci udelat rsync (se spravnymi flagy, aby
zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni
a zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda
VPS ma svuj dataset (neco jako filesystem), nad kterym se delaji
snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS
snapshoty+rsync
je vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup
(tam staci prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako
vsechny
uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se
bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit
cas (ma ted zkouskove), tak zpristupneni tech funkci a zaloh bude
relativne brzo (radove 2-3 tydny).
Tady ten slibeny vypis:
[root(a)backup.prg.vpsfree.cz] / # zpool status -v
pool: storage
state: ONLINE scan: none requested config:
NAME STATE READ WRITE CKSUM
storage ONLINE
0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0
ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0
label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE
0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5
ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0
label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE
0 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1
ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4
ONLINE 0 0 0 cache da1p5 ONLINE 0 0
0 da0p5 ONLINE 0 0 0
_______________________________________________
Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlD/4TcACgkQdh+64ds5DaYM/AD8C03XY7Y0XlSg5JVRyaH6cyYU
oW2dVWRTT31ekc97hIUBANmf+uV6Yy1s8ga8wTUCa95vgzr5kz3BYAP+K/3tAyhC
=yI0a
-----END PGP SIGNATURE-----
27 Jan
27 Jan
2:23 p.m.
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:
1. Po case vytuhne NFS server, zustanou viset df procesy od muninu a
reboot zustane viset na synceru
2. Pri bondingu padaji nad tim interfacem TCP spojeni
3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD
8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci
na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne,
OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste
mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s
kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do
zfsonlinux.org projektu, myslim, ze funding bychom na to nasli (lepsi
nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956
CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by
vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence,
stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of
Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlEFOHkACgkQdh+64ds5Daan6wEAnHXRFkw2QTd7F+oKgo32jqIv
ngugeZtkCxVfTt4knqgBAI3nEeeqPGxKA361+5L7mA+xKkXG1HfmhIfpKHp4SUo8
=ihn7
-----END PGP SIGNATURE-----
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted
uz hlavne
Aither) podporu zaloh na puvodni uroven, jaka byla s
rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres
vpsAdmin,
namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne
to, co prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym
inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS
je umi
exportovat. Kdyz se podivate do slozky
/vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich
vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit
libovolna data
bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici
funkcionalitu ve
vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup
download - vetsina z toho uz je hotova, zbyva nam to jeste
oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame
zapnutou
transparentni kompresi. Kdyz budeme drzet aktualni
compress-ratio nebo o neco horsi, celkova kapacita usetrena
kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z
(ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME
PROPERTY VALUE
SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci
zpoolu se
musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice
nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na
backup server najednou nestihalo, takze jsme rekonfigurovali
zpool nasledovne:
~ # zpool status pool: storage state: ONLINE
scan: resilvered
828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
NAME STATE READ WRITE CKSUM
storage ONLINE
0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0
ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0
label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0
0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE
0 0 0 label/zfs-d5 ONLINE 0 0 0 raidz1-2
ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0
0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0
0 0 logs mirror-3 ONLINE 0 0 0 da0p4
ONLINE 0 0 0 da1p4 ONLINE 0 0 0
cache da1p5 ONLINE 0 0 0 da0p5 ONLINE
0 0 0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 |
110-010-956 CTO
of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz |
https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
> Ahojte,
> jelikoz nam puvodni storage server delal
problemy, pujde do
> Abacusu na servis.
> Takze na zalohovani jsme pouzili server,
ktery mel puvodne
> delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
> Rdiff-backup se ukazal jako spatne
skalovatelne reseni, navic
> stav linuxoveho storage subsystemu proste nenabizi moznosti,
> jak spravovat desitky terabajtu dat bez toho, aby se admin sel
> obesit.
> Takze jsme dali jeste jednou sanci ZFS, ale
jelikoz tentokrat
> uz je backend vpsAdminu napsany poradne diky Aitherovi,
> nepotrebujeme linux, ale muzeme pouzit FreeBSD.
> Takze server 'backup', ktery vidite
ve vpsAdmin vypisu serveru
> je nova zalohovaci masina, jede na ni FreeBSD 9.1.
> Storage je ZFS, zpool konfiguraci pastnu na
konec mailu pro ty,
> koho to zajima.
> Zalohuje se ted o to jednoduseji, ze ZFS
podporuje nativne
> snapshoty, takze staci udelat rsync (se spravnymi flagy, aby
> zachoval vsechno, co ma + aby bylo snapshotovani na ZFS
> efektivni a zabiralo akorat to, co je nutne) a potom ZFS
> snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad
> kterym se delaji snapshoty.
> Tohle cele ma nekolik vyhod, tou hlavni je,
ZFS
> snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti,
> nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz
> se mu to nelibi).
> Zpristupneni zaloh do VPS zatim neni, stejne
jako vsechny
> uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se
> bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude
> mit cas (ma ted zkouskove), tak zpristupneni tech funkci a
> zaloh bude relativne brzo (radove 2-3 tydny).
> Tady ten slibeny vypis:
> [root(a)backup.prg.vpsfree.cz] / # zpool status
-v pool: storage
> state: ONLINE scan: none requested config:
> NAME STATE READ WRITE CKSUM
storage ONLINE 0
> 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0
> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0
> label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0
> 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5
> ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0
> label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0
> 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1
> ONLINE 0 0 0 da0p4 ONLINE 0 0 0
> da1p4 ONLINE 0 0 0 cache da1p5 ONLINE
> 0 0 0 da0p5 ONLINE 0 0 0
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list 
3:11 p.m.
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
Ahoj,
nemam az taku znalost, a mozno nenapisem nic nove, ale existuje nexenta
- http://www.nexentastor.org/ , stalo by to zato aspon skusit?
PB
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:
1. Po case vytuhne NFS server, zustanou viset df procesy od muninu a
reboot zustane viset na synceru
2. Pri bondingu padaji nad tim interfacem TCP spojeni
3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD
8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci
na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne,
OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste
mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s
kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do
zfsonlinux.org projektu, myslim, ze funding bychom na to nasli (lepsi
nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956
CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________
Community-list mailing list
Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
- --
S pozdravom / Best regards
- ---------------------------------------------
[Peter Bubeliny] [+421 948 358 078]
[PGP Key: http://hakin.eu/peter.bubeliny.gpg]
Zdravim vsechny,
Aither prave zpristupnil zalozku
"Backups" ve vpsAdminu. Ted uz by
vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence,
stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956
CTO of
Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
> Ahoj vespolek,
> mam tu dalsi update k stavu zalohovani:
> Veci se pomalu stabilizuji, dodelavame (tedy
ted uz hlavne
> Aither) podporu zaloh na puvodni uroven, jaka byla s
> rdiff-backupem.
> Kdyz ted stopnete a znovu startnete VPS pres
vpsAdmin,
> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
> Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne
> to, co prenesl rsync - tedy sedi opravneni atd.;
> Dalsi vec - jak se dostat k jednotlivym
inkrementum?
> Ty jsou implementovane pomoci ZFS snapshots,
ZFS je umi
> exportovat. Kdyz se podivate do slozky
> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich
> vsechny snapshoty, ktere mame.
> Cili vyplyva z toho, ze si ted muzete obnovit
libovolna data
> bezbolestne bez pouziti rdiff-backup utility :)
> V blizke budoucnosti zpristupnime zbyvajici
funkcionalitu ve
> vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup
> download - vetsina z toho uz je hotova, zbyva nam to jeste
> oddebugovat.
> Na zaver tresnicka na dortu - na tom zpoolu
mame zapnutou
> transparentni kompresi. Kdyz budeme drzet aktualni
> compress-ratio nebo o neco horsi, celkova kapacita usetrena
> kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z
> (ekvivalent RAID5) :))
> ~ # zfs get compressratio storage NAME
PROPERTY VALUE
> SOURCE storage compressratio 1.53x -
> Jo a jeste malickost - oproti puvodni
konfiguraci zpoolu se
> musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice
> nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na
> backup server najednou nestihalo, takze jsme rekonfigurovali
> zpool nasledovne:
> ~ # zpool status pool: storage state: ONLINE
scan: resilvered
> 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
> NAME STATE READ WRITE CKSUM storage ONLINE
> 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0
> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0
> label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0
> 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE
> 0 0 0 label/zfs-d5 ONLINE 0 0 0 raidz1-2
> ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0
> 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0
> 0 0 logs mirror-3 ONLINE 0 0 0 da0p4
> ONLINE 0 0 0 da1p4 ONLINE 0 0 0
> cache da1p5 ONLINE 0 0 0 da0p5 ONLINE
> 0 0 0
> S pozdravem
> Pavel Snajdr
> +421 948 816 186 | +420 720 107 791 |
110-010-956 CTO
> of Relbit | Predseda vpsFree.cz, o.s. | RHCE
> http://relbit.com | http://vpsfree.cz |
> https://www.redhat.com
> On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
>> Ahojte,
>> jelikoz nam puvodni storage server delal
problemy, pujde do
>> Abacusu na servis.
>> Takze na zalohovani jsme pouzili server,
ktery mel puvodne
>> delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
>> Rdiff-backup se ukazal jako spatne
skalovatelne reseni, navic
>> stav linuxoveho storage subsystemu proste nenabizi moznosti,
>> jak spravovat desitky terabajtu dat bez toho, aby se admin sel
>> obesit.
>> Takze jsme dali jeste jednou sanci ZFS,
ale jelikoz tentokrat
>> uz je backend vpsAdminu napsany poradne diky Aitherovi,
>> nepotrebujeme linux, ale muzeme pouzit FreeBSD.
>> Takze server 'backup', ktery
vidite ve vpsAdmin vypisu serveru
>> je nova zalohovaci masina, jede na ni FreeBSD 9.1.
>> Storage je ZFS, zpool konfiguraci pastnu
na konec mailu pro ty,
>> koho to zajima.
>> Zalohuje se ted o to jednoduseji, ze ZFS
podporuje nativne
>> snapshoty, takze staci udelat rsync (se spravnymi flagy, aby
>> zachoval vsechno, co ma + aby bylo snapshotovani na ZFS
>> efektivni a zabiralo akorat to, co je nutne) a potom ZFS
>> snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad
>> kterym se delaji snapshoty.
>> Tohle cele ma nekolik vyhod, tou hlavni
je, ZFS
>> snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti,
>> nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz
>> se mu to nelibi).
>> Zpristupneni zaloh do VPS zatim neni,
stejne jako vsechny
>> uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se
>> bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude
>> mit cas (ma ted zkouskove), tak zpristupneni tech funkci a
>> zaloh bude relativne brzo (radove 2-3 tydny).
>> Tady ten slibeny vypis:
>> [root(a)backup.prg.vpsfree.cz] / # zpool
status -v pool: storage
>> state: ONLINE scan: none requested config:
>> NAME STATE READ WRITE CKSUM storage
ONLINE 0
>> 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0
>> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0
>> label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0
>> 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5
>> ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0
>> label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0
>> 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1
>> ONLINE 0 0 0 da0p4 ONLINE 0 0 0
>> da1p4 ONLINE 0 0 0 cache da1p5 ONLINE
>> 0 0 0 da0p5 ONLINE 0 0 0
_______________________________________________
Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list -----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.11 (GNU/Linux)
Comment: Using GnuPG with Thunderbird - http://www.enigmail.net/
iF4EAREIAAYFAlEFQ5EACgkQpAd1n8BUwWFvXAD/SH5JpnyTAnGKmTxdllb7SiQi
PzE57lrMhXpRZOCzN8wBALDe96tuNXVGz432fjCXjtpU9PfteYbLB5k/QVKIjGtE
=Lqba
-----END PGP SIGNATURE-----
3:13 p.m.
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
Cau,
On 01/27/2013 04:11 PM, Peter Bubeliny wrote:
Ahoj,
nemam az taku znalost, a mozno nenapisem nic nove, ale existuje
nexenta - http://www.nexentastor.org/ , stalo by to zato aspon
skusit?
Nemuzeme pouzivat podobne NAS single purpose systemy, potrebujeme tam
vlastni software a vlastni specifickou konfiguraci (vpsadmin backend,
bonding sitovek atd.).
Navic nexenta je omezena kapacitne.
snajpa
PB
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlEFRDQACgkQdh+64ds5DabGOgEAzCKaRqbbCelWiYiDkZIcZwiM
wVCXC4VZ1MEgNCxYIOEBAMCZDDmOpZTlwai69dI8IAxO5cryRqKxbSmijTqCpMud
=x02u
-----END PGP SIGNATURE-----
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi
nas 3 major
problemy:
1. Po case vytuhne NFS server, zustanou viset df
procesy od
muninu a reboot zustane viset na synceru 2. Pri bondingu padaji
nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi
se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k
vyzkouseni
FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne
premyslim, ze koupime
licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni
masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze
tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery
si rozumi s
kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do
zfsonlinux.org projektu, myslim, ze funding bychom na to nasli
(lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956
CTO of Relbit |
Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
> Zdravim vsechny,
> Aither prave zpristupnil zalozku
"Backups" ve vpsAdminu. Ted uz
> by vam teda melo jit obnovit VPS z dane zalohy bez nasi
> asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
> S pozdravem
> Pavel Snajdr
> +421 948 816 186 | +420 720 107 791 |
110-010-956 CTO of Relbit
> | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
> http://vpsfree.cz | https://www.redhat.com
> On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
>> Ahoj vespolek,
>> mam tu dalsi update k stavu zalohovani:
>> Veci se pomalu stabilizuji, dodelavame
(tedy ted uz hlavne
>> Aither) podporu zaloh na puvodni uroven, jaka byla s
>> rdiff-backupem.
>> Kdyz ted stopnete a znovu startnete VPS
pres vpsAdmin,
>> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
>> Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je
>> presne to, co prenesl rsync - tedy sedi opravneni atd.;
>> Dalsi vec - jak se dostat k jednotlivym
inkrementum?
>> Ty jsou implementovane pomoci ZFS
snapshots, ZFS je umi
>> exportovat. Kdyz se podivate do slozky
>> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v
>> podadresarich vsechny snapshoty, ktere mame.
>> Cili vyplyva z toho, ze si ted muzete
obnovit libovolna data
>> bezbolestne bez pouziti rdiff-backup utility :)
>> V blizke budoucnosti zpristupnime
zbyvajici funkcionalitu ve
>> vpsAdminu - tedy zobrazovani zaloh, full restore VPS a
>> backup download - vetsina z toho uz je hotova, zbyva nam to
>> jeste oddebugovat.
>> Na zaver tresnicka na dortu - na tom
zpoolu mame zapnutou
>> transparentni kompresi. Kdyz budeme drzet aktualni
>> compress-ratio nebo o neco horsi, celkova kapacita usetrena
>> kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z
>> (ekvivalent RAID5) :))
>> ~ # zfs get compressratio storage NAME
PROPERTY VALUE SOURCE
>> storage compressratio 1.53x -
>> Jo a jeste malickost - oproti puvodni
konfiguraci zpoolu se
>> musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice
>> nejrychlejsi single-threaded reseni, ale pri ladovani 24
>> zaloh na backup server najednou nestihalo, takze jsme
>> rekonfigurovali zpool nasledovne:
>> ~ # zpool status pool: storage state:
ONLINE scan:
>> resilvered 828G in 41h55m with 0 errors on Sat Jan 19
>> 14:52:14 2013 config:
>> NAME STATE READ WRITE CKSUM storage
ONLINE 0 0 0 raidz1-0
>> ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0
>> 0 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0 0 0
>> label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0
>> label/zfs-d5 ONLINE 0 0 0 raidz1-2 ONLINE 0 0 0 label/zfs-d6
>> ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0
>> 0 0 logs mirror-3 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4
>> ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
>> S pozdravem
>> Pavel Snajdr
>> +421 948 816 186 | +420 720 107 791 |
110-010-956 CTO of
>> Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
>> http://vpsfree.cz | https://www.redhat.com
>>> On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
>>> Ahojte,
>>> jelikoz nam puvodni storage server
delal problemy, pujde
>>> do Abacusu na servis.
>>> Takze na zalohovani jsme pouzili
server, ktery mel puvodne
>>> delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
>>> Rdiff-backup se ukazal jako spatne
skalovatelne reseni,
>>> navic stav linuxoveho storage subsystemu proste nenabizi
>>> moznosti, jak spravovat desitky terabajtu dat bez toho, aby
>>> se admin sel obesit.
>>> Takze jsme dali jeste jednou sanci
ZFS, ale jelikoz
>>> tentokrat uz je backend vpsAdminu napsany poradne diky
>>> Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
>>> Takze server 'backup', ktery
vidite ve vpsAdmin vypisu
>>> serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
>>> Storage je ZFS, zpool konfiguraci
pastnu na konec mailu pro
>>> ty, koho to zajima.
>>> Zalohuje se ted o to jednoduseji, ze
ZFS podporuje nativne
>>> snapshoty, takze staci udelat rsync (se spravnymi flagy,
>>> aby zachoval vsechno, co ma + aby bylo snapshotovani na
>>> ZFS efektivni a zabiralo akorat to, co je nutne) a potom
>>> ZFS snapshot. Kazda VPS ma svuj dataset (neco jako
>>> filesystem), nad kterym se delaji snapshoty.
>>> Tohle cele ma nekolik vyhod, tou
hlavni je, ZFS
>>> snapshoty+rsync je vic blbuvzdorne a min nachylne na
>>> rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v
>>> prubehu a uz se mu to nelibi).
>>> Zpristupneni zaloh do VPS zatim neni,
stejne jako vsechny
>>> uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak
>>> se bude situace vyvijet; kdyz pujde vsechno dobre a Aither
>>> bude mit cas (ma ted zkouskove), tak zpristupneni tech
>>> funkci a zaloh bude relativne brzo (radove 2-3 tydny).
>>> Tady ten slibeny vypis:
>>> [root(a)backup.prg.vpsfree.cz] / #
zpool status -v pool:
>>> storage state: ONLINE scan: none requested config:
>>> NAME STATE READ WRITE CKSUM storage
ONLINE 0 0 0 raidz2-0
>>> ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE
>>> 0 0 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0
>>> label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0
>>> label/zfs-d6 ONLINE 0 0 0 label/zfs-d7 ONLINE 0 0 0
>>> label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 logs
>>> mirror-1 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0
>>> cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
> _______________________________________________
> Community-list mailing list
> Community-list(a)lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________
Community-list mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list 
8:01 p.m.
New subject: Aktualni stav zalohovani - ZFS, FreeBSD
Ahoj,
má to něco společného s tím, že když jsem restartoval VPS, tak se mi
to backup adresáře nic nenamountovalo?
S pozdravem
Miroslav Šedivý
Dne 27. ledna 2013 15:23 Pavel Snajdr <snajpa(a)snajpa.net> napsal(a):
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:
1. Po case vytuhne NFS server, zustanou viset df procesy od muninu a
reboot zustane viset na synceru
2. Pri bondingu padaji nad tim interfacem TCP spojeni
3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD
8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci
na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne,
OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste
mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s
kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do
zfsonlinux.org projektu, myslim, ze funding bychom na to nasli (lepsi
nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956
CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by
vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence,
stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of
Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlEFOHkACgkQdh+64ds5Daan6wEAnHXRFkw2QTd7F+oKgo32jqIv
ngugeZtkCxVfTt4knqgBAI3nEeeqPGxKA361+5L7mA+xKkXG1HfmhIfpKHp4SUo8
=ihn7
-----END PGP SIGNATURE-----
_______________________________________________
Community-list mailing list
Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted
uz hlavne
Aither) podporu zaloh na puvodni uroven, jaka byla s
rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres
vpsAdmin,
namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne
to, co prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym
inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS
je umi
exportovat. Kdyz se podivate do slozky
/vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich
vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit
libovolna data
bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici
funkcionalitu ve
vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup
download - vetsina z toho uz je hotova, zbyva nam to jeste
oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame
zapnutou
transparentni kompresi. Kdyz budeme drzet aktualni
compress-ratio nebo o neco horsi, celkova kapacita usetrena
kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z
(ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME
PROPERTY VALUE
SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci
zpoolu se
musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice
nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na
backup server najednou nestihalo, takze jsme rekonfigurovali
zpool nasledovne:
~ # zpool status pool: storage state: ONLINE
scan: resilvered
828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
NAME STATE READ WRITE CKSUM
storage ONLINE
0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0
ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0
label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0
0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE
0 0 0 label/zfs-d5 ONLINE 0 0 0 raidz1-2
ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0
0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0
0 0 logs mirror-3 ONLINE 0 0 0 da0p4
ONLINE 0 0 0 da1p4 ONLINE 0 0 0
cache da1p5 ONLINE 0 0 0 da0p5 ONLINE
0 0 0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 |
110-010-956 CTO
of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz |
https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
> Ahojte,
> jelikoz nam puvodni storage server delal
problemy, pujde do
> Abacusu na servis.
> Takze na zalohovani jsme pouzili server,
ktery mel puvodne
> delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
> Rdiff-backup se ukazal jako spatne
skalovatelne reseni, navic
> stav linuxoveho storage subsystemu proste nenabizi moznosti,
> jak spravovat desitky terabajtu dat bez toho, aby se admin sel
> obesit.
> Takze jsme dali jeste jednou sanci ZFS, ale
jelikoz tentokrat
> uz je backend vpsAdminu napsany poradne diky Aitherovi,
> nepotrebujeme linux, ale muzeme pouzit FreeBSD.
> Takze server 'backup', ktery vidite
ve vpsAdmin vypisu serveru
> je nova zalohovaci masina, jede na ni FreeBSD 9.1.
> Storage je ZFS, zpool konfiguraci pastnu na
konec mailu pro ty,
> koho to zajima.
> Zalohuje se ted o to jednoduseji, ze ZFS
podporuje nativne
> snapshoty, takze staci udelat rsync (se spravnymi flagy, aby
> zachoval vsechno, co ma + aby bylo snapshotovani na ZFS
> efektivni a zabiralo akorat to, co je nutne) a potom ZFS
> snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad
> kterym se delaji snapshoty.
> Tohle cele ma nekolik vyhod, tou hlavni je,
ZFS
> snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti,
> nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz
> se mu to nelibi).
> Zpristupneni zaloh do VPS zatim neni, stejne
jako vsechny
> uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se
> bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude
> mit cas (ma ted zkouskove), tak zpristupneni tech funkci a
> zaloh bude relativne brzo (radove 2-3 tydny).
> Tady ten slibeny vypis:
> [root(a)backup.prg.vpsfree.cz] / # zpool status
-v pool: storage
> state: ONLINE scan: none requested config:
> NAME STATE READ WRITE CKSUM
storage ONLINE 0
> 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0
> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0
> label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0
> 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5
> ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0
> label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0
> 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1
> ONLINE 0 0 0 da0p4 ONLINE 0 0 0
> da1p4 ONLINE 0 0 0 cache da1p5 ONLINE
> 0 0 0 da0p5 ONLINE 0 0 0
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
8:03 p.m.
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
On 01/27/2013 09:01 PM, Miroslav Šedivý wrote:
Ahoj,
má to něco společného s tím, že když jsem restartoval VPS, tak se
mi to backup adresáře nic nenamountovalo?
Vcelku logicky ano :)
Pokousim se vymyslet, co s tim backupovanim provedeme a tak tam trochu
experimentuju.
snajpa
S pozdravem Miroslav Šedivý
Dne 27. ledna 2013 15:23 Pavel Snajdr <snajpa(a)snajpa.net>
napsal(a): Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major
problemy:
1. Po case vytuhne NFS server, zustanou viset df procesy od muninu
a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim
interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat
NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni
FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime
licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni
masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze
tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s
kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do
zfsonlinux.org projektu, myslim, ze funding bychom na to nasli
(lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of
Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlEFiBoACgkQdh+64ds5DabbgQEArDRhkpsG6lsLTZE1cbcUWJyA
ncXRpuUA616Zzi8EFBEBALiUV8+DXJUknbI4KeSyaUt6LmCQekSWduEkhwWAAc68
=gA5X
-----END PGP SIGNATURE-----
>
Zdravim vsechny,
>
> Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted
> uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi
> asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
>
> S pozdravem
>
> Pavel Snajdr
>
> +421 948 816 186 | +420 720 107 791 | 110-010-956
> CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
> http://relbit.com | http://vpsfree.cz |
> https://www.redhat.com
>
> On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
>> Ahoj vespolek,
>
>> mam tu dalsi update k stavu zalohovani:
>
>> Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne
>> Aither) podporu zaloh na puvodni uroven, jaka byla s
>> rdiff-backupem.
>
>> Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin,
>> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made
>> zaloha. Hlavni vyhodou je, ze stav, jaky ta zaloha
>> vykazuje, je presne to, co prenesl rsync - tedy sedi
>> opravneni atd.;
>
>> Dalsi vec - jak se dostat k jednotlivym inkrementum?
>
>> Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi
>> exportovat. Kdyz se podivate do slozky
>> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v
>> podadresarich vsechny snapshoty, ktere mame.
>
>> Cili vyplyva z toho, ze si ted muzete obnovit libovolna
>> data bezbolestne bez pouziti rdiff-backup utility :)
>
>> V blizke budoucnosti zpristupnime zbyvajici funkcionalitu
>> ve vpsAdminu - tedy zobrazovani zaloh, full restore VPS a
>> backup download - vetsina z toho uz je hotova, zbyva nam to
>> jeste oddebugovat.
>
>> Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou
>> transparentni kompresi. Kdyz budeme drzet aktualni
>> compress-ratio nebo o neco horsi, celkova kapacita
>> usetrena kompresi nam temer vyrovna kapacitni ztratu z
>> pouziti RAID-Z (ekvivalent RAID5) :))
>
>> ~ # zfs get compressratio storage NAME PROPERTY
>> VALUE SOURCE storage compressratio 1.53x -
>
>> Jo a jeste malickost - oproti puvodni konfiguraci zpoolu
>> se musela udelat zmena, RAID-Z2 pres vsechny disky bylo
>> sice nejrychlejsi single-threaded reseni, ale pri ladovani
>> 24 zaloh na backup server najednou nestihalo, takze jsme
>> rekonfigurovali zpool nasledovne:
>
>> ~ # zpool status pool: storage state: ONLINE scan:
>> resilvered 828G in 41h55m with 0 errors on Sat Jan 19
>> 14:52:14 2013 config:
>
>> NAME STATE READ WRITE CKSUM storage
>> ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0
>> label/zfs-d0 ONLINE 0 0 0 label/zfs-d1
>> ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0
>> 0 raidz1-1 ONLINE 0 0 0 label/zfs-d3 ONLINE
>> 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5
>> ONLINE 0 0 0 raidz1-2 ONLINE 0 0 0
>> label/zfs-d6 ONLINE 0 0 0 label/zfs-d9 ONLINE 0
>> 0 0 label/zfs-d8 ONLINE 0 0 0 logs mirror-3
>> ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4
>> ONLINE 0 0 0 cache da1p5 ONLINE 0 0
>> 0 da0p5 ONLINE 0 0 0
>
>
>
>> S pozdravem
>
>> Pavel Snajdr
>
>> +421 948 816 186 | +420 720 107 791 | 110-010-956
>> CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
>> http://relbit.com | http://vpsfree.cz |
>> https://www.redhat.com
>
>> On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
>>> Ahojte,
>
>>> jelikoz nam puvodni storage server delal problemy, pujde
>>> do Abacusu na servis.
>
>>> Takze na zalohovani jsme pouzili server, ktery mel
>>> puvodne delat NAS - dlouhodobe totiz bez zaloh byt
>>> nemuzem.
>
>>> Rdiff-backup se ukazal jako spatne skalovatelne reseni,
>>> navic stav linuxoveho storage subsystemu proste nenabizi
>>> moznosti, jak spravovat desitky terabajtu dat bez toho,
>>> aby se admin sel obesit.
>
>>> Takze jsme dali jeste jednou sanci ZFS, ale jelikoz
>>> tentokrat uz je backend vpsAdminu napsany poradne diky
>>> Aitherovi, nepotrebujeme linux, ale muzeme pouzit
>>> FreeBSD.
>
>>> Takze server 'backup', ktery vidite ve vpsAdmin vypisu
>>> serveru je nova zalohovaci masina, jede na ni FreeBSD
>>> 9.1.
>
>>> Storage je ZFS, zpool konfiguraci pastnu na konec mailu
>>> pro ty, koho to zajima.
>
>>> Zalohuje se ted o to jednoduseji, ze ZFS podporuje
>>> nativne snapshoty, takze staci udelat rsync (se spravnymi
>>> flagy, aby zachoval vsechno, co ma + aby bylo
>>> snapshotovani na ZFS efektivni a zabiralo akorat to, co
>>> je nutne) a potom ZFS snapshot. Kazda VPS ma svuj dataset
>>> (neco jako filesystem), nad kterym se delaji snapshoty.
>
>>> Tohle cele ma nekolik vyhod, tou hlavni je, ZFS
>>> snapshoty+rsync je vic blbuvzdorne a min nachylne na
>>> rozbiti, nez rdiff-backup (tam staci prerusit zalohovani
>>> v prubehu a uz se mu to nelibi).
>
>>> Zpristupneni zaloh do VPS zatim neni, stejne jako
>>> vsechny uzivatelske funkce ve vpsAdminu, protoze chceme
>>> pockat, jak se bude situace vyvijet; kdyz pujde vsechno
>>> dobre a Aither bude mit cas (ma ted zkouskove), tak
>>> zpristupneni tech funkci a zaloh bude relativne brzo
>>> (radove 2-3 tydny).
>
>>> Tady ten slibeny vypis:
>
>>> [root(a)backup.prg.vpsfree.cz] / # zpool status -v pool:
>>> storage state: ONLINE scan: none requested config:
>
>>> NAME STATE READ WRITE CKSUM storage
>>> ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0
>>> label/zfs-d0 ONLINE 0 0 0 label/zfs-d1
>>> ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0
>>> 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE
>>> 0 0 0 label/zfs-d5 ONLINE 0 0 0
>>> label/zfs-d6 ONLINE 0 0 0 label/zfs-d7 ONLINE
>>> 0 0 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9
>>> ONLINE 0 0 0 logs mirror-1 ONLINE 0 0
>>> 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0
>>> 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE
>>> 0 0 0
>
>
>>> _______________________________________________
>>> Community-list mailing list
>>> Community-list(a)lists.vpsfree.cz
>>> http://lists.vpsfree.cz/listinfo/community-list
>> _______________________________________________
>> Community-list mailing list
>> Community-list(a)lists.vpsfree.cz
>> http://lists.vpsfree.cz/listinfo/community-list
> _______________________________________________
> Community-list mailing list Community-list(a)lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
8:57 p.m.
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
Ahojte,
tak to vypada, ze budu muset asi zahodit vsechny zalohy udelane do ted :/
Potrebujete z toho nekdo neco uplne nutne?
Zkuste se ozvat idealne do 30ti minut.
snajpa
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major
problemy:
1. Po case vytuhne NFS server, zustanou viset df procesy od muninu
a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim
interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat
NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni
FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime
licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni
masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze
tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s
kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do
zfsonlinux.org projektu, myslim, ze funding bychom na to nasli
(lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of
Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlEFlMMACgkQdh+64ds5DaZqVQEA22dl/B4OFvcb6yPEMd+yo6F/
A4aCVlNhvWR+NwtysacA/1MY8krvRPITjGs/ECFkLewK710qWvOmdN9+wJqbAzyh
=Tu25
-----END PGP SIGNATURE-----
Zdravim vsechny,
Aither prave zpristupnil zalozku
"Backups" ve vpsAdminu. Ted uz
by vam teda melo jit obnovit VPS z dane zalohy bez nasi
asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 |
110-010-956 CTO
of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz |
https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
> Ahoj vespolek,
> mam tu dalsi update k stavu zalohovani:
> Veci se pomalu stabilizuji, dodelavame (tedy
ted uz hlavne
> Aither) podporu zaloh na puvodni uroven, jaka byla s
> rdiff-backupem.
> Kdyz ted stopnete a znovu startnete VPS pres
vpsAdmin,
> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
> Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne
> to, co prenesl rsync - tedy sedi opravneni atd.;
> Dalsi vec - jak se dostat k jednotlivym
inkrementum?
> Ty jsou implementovane pomoci ZFS snapshots,
ZFS je umi
> exportovat. Kdyz se podivate do slozky
> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich
> vsechny snapshoty, ktere mame.
> Cili vyplyva z toho, ze si ted muzete obnovit
libovolna data
> bezbolestne bez pouziti rdiff-backup utility :)
> V blizke budoucnosti zpristupnime zbyvajici
funkcionalitu ve
> vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup
> download - vetsina z toho uz je hotova, zbyva nam to jeste
> oddebugovat.
> Na zaver tresnicka na dortu - na tom zpoolu
mame zapnutou
> transparentni kompresi. Kdyz budeme drzet aktualni
> compress-ratio nebo o neco horsi, celkova kapacita usetrena
> kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z
> (ekvivalent RAID5) :))
> ~ # zfs get compressratio storage NAME
PROPERTY VALUE
> SOURCE storage compressratio 1.53x -
> Jo a jeste malickost - oproti puvodni
konfiguraci zpoolu se
> musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice
> nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh
> na backup server najednou nestihalo, takze jsme
> rekonfigurovali zpool nasledovne:
> ~ # zpool status pool: storage state: ONLINE
scan: resilvered
> 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013
> config:
> NAME STATE READ WRITE CKSUM
storage ONLINE 0
> 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0
> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0
> label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE
> 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4
> ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0
> raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE
> 0 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8
> ONLINE 0 0 0 logs mirror-3 ONLINE 0
> 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0
> 0 0 cache da1p5 ONLINE 0 0 0 da0p5
> ONLINE 0 0 0
> S pozdravem
> Pavel Snajdr
> +421 948 816 186 | +420 720 107 791
| 110-010-956
> CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
> http://relbit.com | http://vpsfree.cz |
> https://www.redhat.com
> On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
>> Ahojte,
>> jelikoz nam puvodni storage server delal
problemy, pujde do
>> Abacusu na servis.
>> Takze na zalohovani jsme pouzili server,
ktery mel puvodne
>> delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
>> Rdiff-backup se ukazal jako spatne
skalovatelne reseni, navic
>> stav linuxoveho storage subsystemu proste nenabizi
>> moznosti, jak spravovat desitky terabajtu dat bez toho, aby
>> se admin sel obesit.
>> Takze jsme dali jeste jednou sanci ZFS,
ale jelikoz
>> tentokrat uz je backend vpsAdminu napsany poradne diky
>> Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
>> Takze server 'backup', ktery
vidite ve vpsAdmin vypisu
>> serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
>> Storage je ZFS, zpool konfiguraci pastnu
na konec mailu pro
>> ty, koho to zajima.
>> Zalohuje se ted o to jednoduseji, ze ZFS
podporuje nativne
>> snapshoty, takze staci udelat rsync (se spravnymi flagy, aby
>> zachoval vsechno, co ma + aby bylo snapshotovani na ZFS
>> efektivni a zabiralo akorat to, co je nutne) a potom ZFS
>> snapshot. Kazda VPS ma svuj dataset (neco jako filesystem),
>> nad kterym se delaji snapshoty.
>> Tohle cele ma nekolik vyhod, tou hlavni
je, ZFS
>> snapshoty+rsync je vic blbuvzdorne a min nachylne na
>> rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v
>> prubehu a uz se mu to nelibi).
>> Zpristupneni zaloh do VPS zatim neni,
stejne jako vsechny
>> uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak
>> se bude situace vyvijet; kdyz pujde vsechno dobre a Aither
>> bude mit cas (ma ted zkouskove), tak zpristupneni tech funkci
>> a zaloh bude relativne brzo (radove 2-3 tydny).
>> Tady ten slibeny vypis:
>> [root(a)backup.prg.vpsfree.cz] / # zpool
status -v pool:
>> storage state: ONLINE scan: none requested config:
>> NAME STATE READ WRITE
CKSUM storage ONLINE
>> 0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0
>> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0
>> 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3
>> ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0
>> label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE
>> 0 0 0 label/zfs-d7 ONLINE 0 0 0
>> label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE 0
>> 0 0 logs mirror-1 ONLINE 0 0 0 da0p4 ONLINE
>> 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5
>> ONLINE 0 0 0 da0p5 ONLINE 0 0 0
_______________________________________________
Community-list mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list 
9:02 p.m.
New subject: Aktualni stav zalohovani - ZFS, FreeBSD
Ja bych docela rad mel zalohu ze ctvrtka, delal jsem v patek upgrade na
wheezy, zatim teda zadne bugy, ale pro jistotu. Id 1288.
Diky
T
Dne neděle, 27. ledna 2013, Pavel Snajdr napsal(a):
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
Ahojte,
tak to vypada, ze budu muset asi zahodit vsechny zalohy udelane do ted :/
Potrebujete z toho nekdo neco uplne nutne?
Zkuste se ozvat idealne do 30ti minut.
snajpa
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major
problemy:
1. Po case vytuhne NFS server, zustanou viset df procesy od muninu
a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim
interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat
NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni
FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime
licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni
masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze
tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s
kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do
zfsonlinux.org projektu, myslim, ze funding bychom na to nasli
(lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of
Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
_______________________________________________
Community-list mailing list
Community-list(a)lists.vpsfree.cz <javascript:;>
http://lists.vpsfree.cz/listinfo/community-list
Zdravim vsechny,
Aither prave zpristupnil zalozku
"Backups" ve vpsAdminu. Ted uz
by vam teda melo jit obnovit VPS z dane zalohy bez nasi
asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 |
110-010-956 CTO
of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz |
https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
> Ahoj vespolek,
> mam tu dalsi update k stavu zalohovani:
> Veci se pomalu stabilizuji, dodelavame (tedy
ted uz hlavne
> Aither) podporu zaloh na puvodni uroven, jaka byla s
> rdiff-backupem.
> Kdyz ted stopnete a znovu startnete VPS pres
vpsAdmin,
> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
> Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne
> to, co prenesl rsync - tedy sedi opravneni atd.;
> Dalsi vec - jak se dostat k jednotlivym
inkrementum?
> Ty jsou implementovane pomoci ZFS snapshots,
ZFS je umi
> exportovat. Kdyz se podivate do slozky
> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich
> vsechny snapshoty, ktere mame.
> Cili vyplyva z toho, ze si ted muzete obnovit
libovolna data
> bezbolestne bez pouziti rdiff-backup utility :)
> V blizke budoucnosti zpristupnime zbyvajici
funkcionalitu ve
> vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup
> download - vetsina z toho uz je hotova, zbyva nam to jeste
> oddebugovat.
> Na zaver tresnicka na dortu - na tom zpoolu
mame zapnutou
> transparentni kompresi. Kdyz budeme drzet aktualni
> compress-ratio nebo o neco horsi, celkova kapacita usetrena
> kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z
> (ekvivalent RAID5) :))
> ~ # zfs get compressratio storage NAME
PROPERTY VALUE
> SOURCE storage compressratio 1.53x -
> Jo a jeste malickost - oproti puvodni
konfiguraci zpoolu se
> musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice
> nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh
> na backup server najednou nestihalo, takze jsme
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlEFlMMACgkQdh+64ds5DaZqVQEA22dl/B4OFvcb6yPEMd+yo6F/
A4aCVlNhvWR+NwtysacA/1MY8krvRPITjGs/ECFkLewK710qWvOmdN9+wJqbAzyh
=Tu25
-----END PGP SIGNATURE----- > rekonfigurovali zpool nasledovne:
9:13 p.m.
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
On 01/27/2013 10:02 PM, Tomas Varil wrote:
Ja bych docela rad mel zalohu ze ctvrtka, delal jsem v
patek
upgrade na wheezy, zatim teda zadne bugy, ale pro jistotu. Id
1288.
Takze to beru tak, ze tu zalohu nutne nepotrebujes, ze?
Musel bych stravit minimalne 12h v kuse za klavesnici, abych to z toho
dostal.
Proto se ptam :)
Diky
T
Dne neděle, 27. ledna 2013, Pavel Snajdr napsal(a):
Ahojte,
tak to vypada, ze budu muset asi zahodit vsechny zalohy udelane do
ted :/
Potrebujete z toho nekdo neco uplne nutne?
Zkuste se ozvat idealne do 30ti minut.
snajpa
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi
nas 3 major
problemy:
1. Po case vytuhne NFS server, zustanou viset df
procesy od
muninu a reboot zustane viset na synceru 2. Pri bondingu padaji
nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi
se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k
vyzkouseni
FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne
premyslim, ze koupime
licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni
masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu,
protoze tam dostanu jeste mnohem horsi support nez od FreeBSD
komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery
si rozumi s
kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do
zfsonlinux.org <http://zfsonlinux.org> projektu, myslim, ze
funding bychom
na to nasli
(lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 |
110-010-956 CTO
of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz |
https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
> Zdravim vsechny,
> Aither prave zpristupnil zalozku
"Backups" ve vpsAdminu. Ted
> uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi
> asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
> S pozdravem
> Pavel Snajdr
> +421 948 816 186 | +420 720 107 791
| 110-010-956
> CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
> http://relbit.com | http://vpsfree.cz |
> https://www.redhat.com
> On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
>> Ahoj vespolek,
>> mam tu dalsi update k stavu zalohovani:
>> Veci se pomalu stabilizuji, dodelavame
(tedy ted uz hlavne
>> Aither) podporu zaloh na puvodni uroven, jaka byla s
>> rdiff-backupem.
>> Kdyz ted stopnete a znovu startnete VPS
pres vpsAdmin,
>> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
>> Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je
>> presne to, co prenesl rsync - tedy sedi opravneni atd.;
>> Dalsi vec - jak se dostat k jednotlivym
inkrementum?
>> Ty jsou implementovane pomoci ZFS
snapshots, ZFS je umi
>> exportovat. Kdyz se podivate do slozky
>> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v
>> podadresarich vsechny snapshoty, ktere mame.
>> Cili vyplyva z toho, ze si ted muzete
obnovit libovolna data
>> bezbolestne bez pouziti rdiff-backup utility :)
>> V blizke budoucnosti zpristupnime
zbyvajici funkcionalitu ve
>> vpsAdminu - tedy zobrazovani zaloh, full restore VPS a
>> backup download - vetsina z toho uz je hotova, zbyva nam to
>> jeste oddebugovat.
>> Na zaver tresnicka na dortu - na tom
zpoolu mame zapnutou
>> transparentni kompresi. Kdyz budeme drzet aktualni
>> compress-ratio nebo o neco horsi, celkova kapacita usetrena
>> kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z
>> (ekvivalent RAID5) :))
>> ~ # zfs get compressratio storage NAME
PROPERTY
>> VALUE SOURCE storage compressratio 1.53x -
>> Jo a jeste malickost - oproti puvodni
konfiguraci zpoolu se
>> musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice
>> nejrychlejsi single-threaded reseni, ale pri ladovani 24
>> zaloh na backup server najednou nestihalo, takze jsme
>> rekonfigurovali zpool nasledovne:
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz <javascript:;>
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlEFmHQACgkQdh+64ds5DaZh8wD/Z8DFREGklGbAOmdMfddr9b0z
65G7q+EMKxVmePwnz1kBAJv0gtWJQM0z58Ics2VIfoDvDYoxajArF9O+z6UZxaoW
=7uLn
-----END PGP SIGNATURE----- 
9:07 p.m.
New subject: Aktualni stav zalohovani - ZFS, FreeBSD
Ahoj Pavle,
diky, neni potreba.
Odesláno z iPhonu
27. 1. 2013 v 21:57, Pavel Snajdr <snajpa(a)snajpa.net>et>:
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
Ahojte,
tak to vypada, ze budu muset asi zahodit vsechny zalohy udelane do ted :/
Potrebujete z toho nekdo neco uplne nutne?
Zkuste se ozvat idealne do 30ti minut.
snajpa
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major
problemy:
1. Po case vytuhne NFS server, zustanou viset df procesy od muninu
a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim
interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat
NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni
FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime
licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni
masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze
tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s
kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do
zfsonlinux.org projektu, myslim, ze funding bychom na to nasli
(lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of
Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlEFlMMACgkQdh+64ds5DaZqVQEA22dl/B4OFvcb6yPEMd+yo6F/
A4aCVlNhvWR+NwtysacA/1MY8krvRPITjGs/ECFkLewK710qWvOmdN9+wJqbAzyh
=Tu25
-----END PGP SIGNATURE-----
_______________________________________________
Community-list mailing list
Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list Zdravim vsechny,
Aither prave zpristupnil zalozku
"Backups" ve vpsAdminu. Ted uz
by vam teda melo jit obnovit VPS z dane zalohy bez nasi
asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 |
110-010-956 CTO
of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz |
https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
> Ahoj vespolek,
> mam tu dalsi update k stavu zalohovani:
> Veci se pomalu stabilizuji, dodelavame (tedy
ted uz hlavne
> Aither) podporu zaloh na puvodni uroven, jaka byla s
> rdiff-backupem.
> Kdyz ted stopnete a znovu startnete VPS pres
vpsAdmin,
> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
> Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne
> to, co prenesl rsync - tedy sedi opravneni atd.;
> Dalsi vec - jak se dostat k jednotlivym
inkrementum?
> Ty jsou implementovane pomoci ZFS snapshots,
ZFS je umi
> exportovat. Kdyz se podivate do slozky
> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich
> vsechny snapshoty, ktere mame.
> Cili vyplyva z toho, ze si ted muzete obnovit
libovolna data
> bezbolestne bez pouziti rdiff-backup utility :)
> V blizke budoucnosti zpristupnime zbyvajici
funkcionalitu ve
> vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup
> download - vetsina z toho uz je hotova, zbyva nam to jeste
> oddebugovat.
> Na zaver tresnicka na dortu - na tom zpoolu
mame zapnutou
> transparentni kompresi. Kdyz budeme drzet aktualni
> compress-ratio nebo o neco horsi, celkova kapacita usetrena
> kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z
> (ekvivalent RAID5) :))
> ~ # zfs get compressratio storage NAME
PROPERTY VALUE
> SOURCE storage compressratio 1.53x -
> Jo a jeste malickost - oproti puvodni
konfiguraci zpoolu se
> musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice
> nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh
> na backup server najednou nestihalo, takze jsme
> rekonfigurovali zpool nasledovne:
> ~ # zpool status pool: storage state: ONLINE
scan: resilvered
> 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013
> config:
> NAME STATE READ WRITE CKSUM
storage ONLINE 0
> 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0
> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0
> label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE
> 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4
> ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0
> raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE
> 0 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8
> ONLINE 0 0 0 logs mirror-3 ONLINE 0
> 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0
> 0 0 cache da1p5 ONLINE 0 0 0 da0p5
> ONLINE 0 0 0
> S pozdravem
> Pavel Snajdr
> +421 948 816 186 | +420 720 107 791
| 110-010-956
> CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
> http://relbit.com | http://vpsfree.cz |
> https://www.redhat.com
> On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
>> Ahojte,
>> jelikoz nam puvodni storage server delal
problemy, pujde do
>> Abacusu na servis.
>> Takze na zalohovani jsme pouzili server,
ktery mel puvodne
>> delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
>> Rdiff-backup se ukazal jako spatne
skalovatelne reseni, navic
>> stav linuxoveho storage subsystemu proste nenabizi
>> moznosti, jak spravovat desitky terabajtu dat bez toho, aby
>> se admin sel obesit.
>> Takze jsme dali jeste jednou sanci ZFS,
ale jelikoz
>> tentokrat uz je backend vpsAdminu napsany poradne diky
>> Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
>> Takze server 'backup', ktery
vidite ve vpsAdmin vypisu
>> serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
>> Storage je ZFS, zpool konfiguraci pastnu
na konec mailu pro
>> ty, koho to zajima.
>> Zalohuje se ted o to jednoduseji, ze ZFS
podporuje nativne
>> snapshoty, takze staci udelat rsync (se spravnymi flagy, aby
>> zachoval vsechno, co ma + aby bylo snapshotovani na ZFS
>> efektivni a zabiralo akorat to, co je nutne) a potom ZFS
>> snapshot. Kazda VPS ma svuj dataset (neco jako filesystem),
>> nad kterym se delaji snapshoty.
>> Tohle cele ma nekolik vyhod, tou hlavni
je, ZFS
>> snapshoty+rsync je vic blbuvzdorne a min nachylne na
>> rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v
>> prubehu a uz se mu to nelibi).
>> Zpristupneni zaloh do VPS zatim neni,
stejne jako vsechny
>> uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak
>> se bude situace vyvijet; kdyz pujde vsechno dobre a Aither
>> bude mit cas (ma ted zkouskove), tak zpristupneni tech funkci
>> a zaloh bude relativne brzo (radove 2-3 tydny).
>> Tady ten slibeny vypis:
>> [root(a)backup.prg.vpsfree.cz] / # zpool
status -v pool:
>> storage state: ONLINE scan: none requested config:
>> NAME STATE READ WRITE
CKSUM storage ONLINE
>> 0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0
>> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0
>> 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3
>> ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0
>> label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE
>> 0 0 0 label/zfs-d7 ONLINE 0 0 0
>> label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE 0
>> 0 0 logs mirror-1 ONLINE 0 0 0 da0p4 ONLINE
>> 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5
>> ONLINE 0 0 0 da0p5 ONLINE 0 0 0
>
_______________________________________________
> Community-list mailing list Community-list(a)lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
9:29 p.m.
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
On 01/27/2013 09:57 PM, Pavel Snajdr wrote:
Ahojte,
tak to vypada, ze budu muset asi zahodit vsechny zalohy udelane do
ted :/
Potrebujete z toho nekdo neco uplne nutne?
Zkuste se ozvat idealne do 30ti minut.
Takze, pockam hodinku, potom to zahodim. Uz se mi povedlo k tem datum
dostat, ale leze to odtamtud SILENE pomalu, takze pokud z toho fakt
nejaky data potrebujete, specifikujte konkretne co a volejte na moje
cislo - +421948816186
Nemuzu to nechat rozvrtany moc dlouho, porad lepsi je zahodit stary
zalohy a mit novy, nez nemit novy a zvysovat riziko, ze kdyz budou
zrovna potreba zalohy (think: disk failure nekde v nodu) kdyz budou
potreba.
Vypada to, ze to bude dlouha noc :(
snajpa
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlEFnEQACgkQdh+64ds5DaaAzQEAtrS9UaJLpxGCfp/LKppOV5ZJ
4Qb2WPO3gIkY6DymU8sBAL3RpAgmSlYTUqVL1CJAyVgh/73lVu984pwSCJYMrzWt
=kSew
-----END PGP SIGNATURE-----
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi
nas 3 major
problemy:
1. Po case vytuhne NFS server, zustanou viset df
procesy od
muninu a reboot zustane viset na synceru 2. Pri bondingu padaji
nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi
se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k
vyzkouseni
FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne
premyslim, ze koupime
licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni
masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu,
protoze tam dostanu jeste mnohem horsi support nez od FreeBSD
komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery
si rozumi s
kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do
zfsonlinux.org projektu, myslim, ze funding bychom na to nasli
(lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 |
110-010-956 CTO
of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz |
https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
> Zdravim vsechny,
> Aither prave zpristupnil zalozku
"Backups" ve vpsAdminu. Ted
> uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi
> asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
> S pozdravem
> Pavel Snajdr
> +421 948 816 186 | +420 720 107 791
| 110-010-956
> CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
> http://relbit.com | http://vpsfree.cz |
> https://www.redhat.com
> On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
>> Ahoj vespolek,
>> mam tu dalsi update k stavu zalohovani:
>> Veci se pomalu stabilizuji, dodelavame
(tedy ted uz hlavne
>> Aither) podporu zaloh na puvodni uroven, jaka byla s
>> rdiff-backupem.
>> Kdyz ted stopnete a znovu startnete VPS
pres vpsAdmin,
>> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
>> Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je
>> presne to, co prenesl rsync - tedy sedi opravneni atd.;
>> Dalsi vec - jak se dostat k jednotlivym
inkrementum?
>> Ty jsou implementovane pomoci ZFS
snapshots, ZFS je umi
>> exportovat. Kdyz se podivate do slozky
>> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v
>> podadresarich vsechny snapshoty, ktere mame.
>> Cili vyplyva z toho, ze si ted muzete
obnovit libovolna data
>> bezbolestne bez pouziti rdiff-backup utility :)
>> V blizke budoucnosti zpristupnime
zbyvajici funkcionalitu ve
>> vpsAdminu - tedy zobrazovani zaloh, full restore VPS a
>> backup download - vetsina z toho uz je hotova, zbyva nam to
>> jeste oddebugovat.
>> Na zaver tresnicka na dortu - na tom
zpoolu mame zapnutou
>> transparentni kompresi. Kdyz budeme drzet aktualni
>> compress-ratio nebo o neco horsi, celkova kapacita usetrena
>> kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z
>> (ekvivalent RAID5) :))
>> ~ # zfs get compressratio storage NAME
PROPERTY
>> VALUE SOURCE storage compressratio 1.53x -
>> Jo a jeste malickost - oproti puvodni
konfiguraci zpoolu se
>> musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice
>> nejrychlejsi single-threaded reseni, ale pri ladovani 24
>> zaloh na backup server najednou nestihalo, takze jsme
>> rekonfigurovali zpool nasledovne:
>> ~ # zpool status pool: storage state:
ONLINE scan: resilvered
>> 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013
>> config:
>> NAME STATE READ WRITE
CKSUM storage ONLINE
>> 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0
>> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0
>> 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0
>> 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4
>> ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0
>> raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE 0
>> 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE
>> 0 0 0 logs mirror-3 ONLINE 0 0 0 da0p4
>> ONLINE 0 0 0 da1p4 ONLINE 0 0 0
>> cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0
>> 0
>> S pozdravem
>> Pavel Snajdr
>> +421 948 816 186 | +420 720 107 791
| 110-010-956
>> CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
>> http://relbit.com | http://vpsfree.cz |
>> https://www.redhat.com
>>> On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
>>> Ahojte,
>>> jelikoz nam puvodni storage server
delal problemy, pujde do
>>> Abacusu na servis.
>>> Takze na zalohovani jsme pouzili
server, ktery mel puvodne
>>> delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
>>> Rdiff-backup se ukazal jako spatne
skalovatelne reseni,
>>> navic stav linuxoveho storage subsystemu proste nenabizi
>>> moznosti, jak spravovat desitky terabajtu dat bez toho,
>>> aby se admin sel obesit.
>>> Takze jsme dali jeste jednou sanci
ZFS, ale jelikoz
>>> tentokrat uz je backend vpsAdminu napsany poradne diky
>>> Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
>>> Takze server 'backup', ktery
vidite ve vpsAdmin vypisu
>>> serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
>>> Storage je ZFS, zpool konfiguraci
pastnu na konec mailu
>>> pro ty, koho to zajima.
>>> Zalohuje se ted o to jednoduseji, ze
ZFS podporuje nativne
>>> snapshoty, takze staci udelat rsync (se spravnymi flagy,
>>> aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS
>>> efektivni a zabiralo akorat to, co je nutne) a potom ZFS
>>> snapshot. Kazda VPS ma svuj dataset (neco jako
>>> filesystem), nad kterym se delaji snapshoty.
>>> Tohle cele ma nekolik vyhod, tou
hlavni je, ZFS
>>> snapshoty+rsync je vic blbuvzdorne a min nachylne na
>>> rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v
>>> prubehu a uz se mu to nelibi).
>>> Zpristupneni zaloh do VPS zatim neni,
stejne jako vsechny
>>> uzivatelske funkce ve vpsAdminu, protoze chceme pockat,
>>> jak se bude situace vyvijet; kdyz pujde vsechno dobre a
>>> Aither bude mit cas (ma ted zkouskove), tak zpristupneni
>>> tech funkci a zaloh bude relativne brzo (radove 2-3
>>> tydny).
>>> Tady ten slibeny vypis:
>>> [root(a)backup.prg.vpsfree.cz] / #
zpool status -v pool:
>>> storage state: ONLINE scan: none requested config:
>>> NAME STATE READ
WRITE CKSUM storage
>>> ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0
>>> label/zfs-d0 ONLINE 0 0 0 label/zfs-d1
>>> ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0
>>> label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0
>>> 0 0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6
>>> ONLINE 0 0 0 label/zfs-d7 ONLINE 0 0
>>> 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE
>>> 0 0 0 logs mirror-1 ONLINE 0 0 0 da0p4
>>> ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache
>>> da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
> _______________________________________________
> Community-list mailing list Community-list(a)lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________
Community-list mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list 
9:55 p.m.
New subject: Aktualni stav zalohovani - ZFS, FreeBSD
Pro ty co chteji zalohy, jenom muj poznatek - vpsfree neni komercni projekt
ktery by garantoval nejaky SLA, stat se muze cokoliv, porad se o to stara
jen banda nadsencu. Takze bych pro priste doporucoval stahovat si
(napriklad 1 tydne) zalohy i k sobe. Shit happens :)
Dne 27. ledna 2013 22:29 Pavel Snajdr <snajpa(a)snajpa.net> napsal(a):
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
On 01/27/2013 09:57 PM, Pavel Snajdr wrote:
Ahojte,
tak to vypada, ze budu muset asi zahodit vsechny zalohy udelane do
ted :/
Potrebujete z toho nekdo neco uplne nutne?
Zkuste se ozvat idealne do 30ti minut.
Takze, pockam hodinku, potom to zahodim. Uz se mi povedlo k tem datum
dostat, ale leze to odtamtud SILENE pomalu, takze pokud z toho fakt
nejaky data potrebujete, specifikujte konkretne co a volejte na moje
cislo - +421948816186
Nemuzu to nechat rozvrtany moc dlouho, porad lepsi je zahodit stary
zalohy a mit novy, nez nemit novy a zvysovat riziko, ze kdyz budou
zrovna potreba zalohy (think: disk failure nekde v nodu) kdyz budou
potreba.
Vypada to, ze to bude dlouha noc :(
snajpa
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlEFnEQACgkQdh+64ds5DaaAzQEAtrS9UaJLpxGCfp/LKppOV5ZJ
4Qb2WPO3gIkY6DymU8sBAL3RpAgmSlYTUqVL1CJAyVgh/73lVu984pwSCJYMrzWt
=kSew
-----END PGP SIGNATURE-----
_______________________________________________
Community-list mailing list
Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi
nas 3 major
problemy:
1. Po case vytuhne NFS server, zustanou viset df
procesy od
muninu a reboot zustane viset na synceru 2. Pri bondingu padaji
nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi
se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k
vyzkouseni
FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne
premyslim, ze koupime
licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni
masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu,
protoze tam dostanu jeste mnohem horsi support nez od FreeBSD
komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery
si rozumi s
kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do
zfsonlinux.org projektu, myslim, ze funding bychom na to nasli
(lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 |
110-010-956 CTO
of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz |
https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
> Zdravim vsechny,
> Aither prave zpristupnil zalozku
"Backups" ve vpsAdminu. Ted
> uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi
> asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
> S pozdravem
> Pavel Snajdr
> +421 948 816 186 | +420 720 107 791
| 110-010-956
> CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
> http://relbit.com | http://vpsfree.cz |
> https://www.redhat.com
> On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
>> Ahoj vespolek,
>> mam tu dalsi update k stavu zalohovani:
>> Veci se pomalu stabilizuji, dodelavame
(tedy ted uz hlavne
>> Aither) podporu zaloh na puvodni uroven, jaka byla s
>> rdiff-backupem.
>> Kdyz ted stopnete a znovu startnete VPS
pres vpsAdmin,
>> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
>> Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je
>> presne to, co prenesl rsync - tedy sedi opravneni atd.;
>> Dalsi vec - jak se dostat k jednotlivym
inkrementum?
>> Ty jsou implementovane pomoci ZFS
snapshots, ZFS je umi
>> exportovat. Kdyz se podivate do slozky
>> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v
>> podadresarich vsechny snapshoty, ktere mame.
>> Cili vyplyva z toho, ze si ted muzete
obnovit libovolna data
>> bezbolestne bez pouziti rdiff-backup utility :)
>> V blizke budoucnosti zpristupnime
zbyvajici funkcionalitu ve
>> vpsAdminu - tedy zobrazovani zaloh, full restore VPS a
>> backup download - vetsina z toho uz je hotova, zbyva nam to
>> jeste oddebugovat.
>> Na zaver tresnicka na dortu - na tom
zpoolu mame zapnutou
>> transparentni kompresi. Kdyz budeme drzet aktualni
>> compress-ratio nebo o neco horsi, celkova kapacita usetrena
>> kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z
>> (ekvivalent RAID5) :))
>> ~ # zfs get compressratio storage NAME
PROPERTY
>> VALUE SOURCE storage compressratio 1.53x -
>> Jo a jeste malickost - oproti puvodni
konfiguraci zpoolu se
>> musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice
>> nejrychlejsi single-threaded reseni, ale pri ladovani 24
>> zaloh na backup server najednou nestihalo, takze jsme
>> rekonfigurovali zpool nasledovne:
>> ~ # zpool status pool: storage state:
ONLINE scan: resilvered
>> 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013
>> config:
>> NAME STATE READ WRITE
CKSUM storage ONLINE
>> 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0
>> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0
>> 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0
>> 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4
>> ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0
>> raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE 0
>> 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE
>> 0 0 0 logs mirror-3 ONLINE 0 0 0 da0p4
>> ONLINE 0 0 0 da1p4 ONLINE 0 0 0
>> cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0
>> 0
>> S pozdravem
>> Pavel Snajdr
>> +421 948 816 186 | +420 720 107 791
| 110-010-956
>> CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
>> http://relbit.com | http://vpsfree.cz |
>> https://www.redhat.com
>>> On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
>>> Ahojte,
>>> jelikoz nam puvodni storage server
delal problemy, pujde do
>>> Abacusu na servis.
>>> Takze na zalohovani jsme pouzili
server, ktery mel puvodne
>>> delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
>>> Rdiff-backup se ukazal jako spatne
skalovatelne reseni,
>>> navic stav linuxoveho storage subsystemu proste nenabizi
>>> moznosti, jak spravovat desitky terabajtu dat bez toho,
>>> aby se admin sel obesit.
>>> Takze jsme dali jeste jednou sanci
ZFS, ale jelikoz
>>> tentokrat uz je backend vpsAdminu napsany poradne diky
>>> Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
>>> Takze server 'backup', ktery
vidite ve vpsAdmin vypisu
>>> serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
>>> Storage je ZFS, zpool konfiguraci
pastnu na konec mailu
>>> pro ty, koho to zajima.
>>> Zalohuje se ted o to jednoduseji, ze
ZFS podporuje nativne
>>> snapshoty, takze staci udelat rsync (se spravnymi flagy,
>>> aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS
>>> efektivni a zabiralo akorat to, co je nutne) a potom ZFS
>>> snapshot. Kazda VPS ma svuj dataset (neco jako
>>> filesystem), nad kterym se delaji snapshoty.
>>> Tohle cele ma nekolik vyhod, tou
hlavni je, ZFS
>>> snapshoty+rsync je vic blbuvzdorne a min nachylne na
>>> rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v
>>> prubehu a uz se mu to nelibi).
>>> Zpristupneni zaloh do VPS zatim neni,
stejne jako vsechny
>>> uzivatelske funkce ve vpsAdminu, protoze chceme pockat,
>>> jak se bude situace vyvijet; kdyz pujde vsechno dobre a
>>> Aither bude mit cas (ma ted zkouskove), tak zpristupneni
>>> tech funkci a zaloh bude relativne brzo (radove 2-3
>>> tydny).
>>> Tady ten slibeny vypis:
>>> [root(a)backup.prg.vpsfree.cz] / #
zpool status -v pool:
>>> storage state: ONLINE scan: none requested config:
>>> NAME STATE READ
WRITE CKSUM storage
>>> ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0
>>> label/zfs-d0 ONLINE 0 0 0 label/zfs-d1
>>> ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0
>>> label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0
>>> 0 0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6
>>> ONLINE 0 0 0 label/zfs-d7 ONLINE 0 0
>>> 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE
>>> 0 0 0 logs mirror-1 ONLINE 0 0 0 da0p4
>>> ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache
>>> da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
>>
_______________________________________________
>> Community-list mailing list Community-list(a)lists.vpsfree.cz
>> http://lists.vpsfree.cz/listinfo/community-list
> _______________________________________________
> Community-list mailing list Community-list(a)lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
28 Jan
28 Jan
5:27 a.m.
New subject: Aktualni stav zalohovani - ZFS, OpenIndiana
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
Zdravim vsechny,
prave jsem dozapasil s doufam posledni konfiguraci zalohovani [tukam
na drevo].
Zustava ZFS, vsechno jak jsem popsal, komprese pekne, ale jeden rozdil
tu preci jenom je:
[root(a)backuper.prg.vpsfree.cz]
/ # uname -a
SunOS backuper.prg.vpsfree.cz 5.11 oi_151a7 i86pc i386 i86pc Solaris
Drzme tomu vsichni kolektivne palce, at to jede pekne, protoze:
1. uz pak jinak nemame moc jinych moznosti
2. se mi OpenIndiana hodne libi a dela se s tim lip nez s FreeBSD :)
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956
CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major
problemy:
1. Po case vytuhne NFS server, zustanou viset df procesy od muninu
a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim
interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat
NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni
FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime
licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni
masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze
tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s
kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do
zfsonlinux.org projektu, myslim, ze funding bychom na to nasli
(lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of
Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com |
http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlEGDC4ACgkQdh+64ds5DaahjQEAnl1v+Roh5dvIiCKSswl5X67g
zc5qzpG9zMqcN8abOHgBAKdJG/0ED3I15j5GCSPvblHxzW4mTCiGjCf7pquf0F7M
=7N7b
-----END PGP SIGNATURE-----
Zdravim vsechny,
Aither prave zpristupnil zalozku
"Backups" ve vpsAdminu. Ted uz
by vam teda melo jit obnovit VPS z dane zalohy bez nasi
asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 |
110-010-956 CTO
of Relbit | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz |
https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
> Ahoj vespolek,
> mam tu dalsi update k stavu zalohovani:
> Veci se pomalu stabilizuji, dodelavame (tedy
ted uz hlavne
> Aither) podporu zaloh na puvodni uroven, jaka byla s
> rdiff-backupem.
> Kdyz ted stopnete a znovu startnete VPS pres
vpsAdmin,
> namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha.
> Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne
> to, co prenesl rsync - tedy sedi opravneni atd.;
> Dalsi vec - jak se dostat k jednotlivym
inkrementum?
> Ty jsou implementovane pomoci ZFS snapshots,
ZFS je umi
> exportovat. Kdyz se podivate do slozky
> /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich
> vsechny snapshoty, ktere mame.
> Cili vyplyva z toho, ze si ted muzete obnovit
libovolna data
> bezbolestne bez pouziti rdiff-backup utility :)
> V blizke budoucnosti zpristupnime zbyvajici
funkcionalitu ve
> vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup
> download - vetsina z toho uz je hotova, zbyva nam to jeste
> oddebugovat.
> Na zaver tresnicka na dortu - na tom zpoolu
mame zapnutou
> transparentni kompresi. Kdyz budeme drzet aktualni
> compress-ratio nebo o neco horsi, celkova kapacita usetrena
> kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z
> (ekvivalent RAID5) :))
> ~ # zfs get compressratio storage NAME
PROPERTY VALUE
> SOURCE storage compressratio 1.53x -
> Jo a jeste malickost - oproti puvodni
konfiguraci zpoolu se
> musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice
> nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh
> na backup server najednou nestihalo, takze jsme
> rekonfigurovali zpool nasledovne:
> ~ # zpool status pool: storage state: ONLINE
scan: resilvered
> 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013
> config:
> NAME STATE READ WRITE CKSUM
storage ONLINE 0
> 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0
> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0
> label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE
> 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4
> ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0
> raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE
> 0 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8
> ONLINE 0 0 0 logs mirror-3 ONLINE 0
> 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0
> 0 0 cache da1p5 ONLINE 0 0 0 da0p5
> ONLINE 0 0 0
> S pozdravem
> Pavel Snajdr
> +421 948 816 186 | +420 720 107 791
| 110-010-956
> CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE
> http://relbit.com | http://vpsfree.cz |
> https://www.redhat.com
> On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
>> Ahojte,
>> jelikoz nam puvodni storage server delal
problemy, pujde do
>> Abacusu na servis.
>> Takze na zalohovani jsme pouzili server,
ktery mel puvodne
>> delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
>> Rdiff-backup se ukazal jako spatne
skalovatelne reseni, navic
>> stav linuxoveho storage subsystemu proste nenabizi
>> moznosti, jak spravovat desitky terabajtu dat bez toho, aby
>> se admin sel obesit.
>> Takze jsme dali jeste jednou sanci ZFS,
ale jelikoz
>> tentokrat uz je backend vpsAdminu napsany poradne diky
>> Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
>> Takze server 'backup', ktery
vidite ve vpsAdmin vypisu
>> serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
>> Storage je ZFS, zpool konfiguraci pastnu
na konec mailu pro
>> ty, koho to zajima.
>> Zalohuje se ted o to jednoduseji, ze ZFS
podporuje nativne
>> snapshoty, takze staci udelat rsync (se spravnymi flagy, aby
>> zachoval vsechno, co ma + aby bylo snapshotovani na ZFS
>> efektivni a zabiralo akorat to, co je nutne) a potom ZFS
>> snapshot. Kazda VPS ma svuj dataset (neco jako filesystem),
>> nad kterym se delaji snapshoty.
>> Tohle cele ma nekolik vyhod, tou hlavni
je, ZFS
>> snapshoty+rsync je vic blbuvzdorne a min nachylne na
>> rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v
>> prubehu a uz se mu to nelibi).
>> Zpristupneni zaloh do VPS zatim neni,
stejne jako vsechny
>> uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak
>> se bude situace vyvijet; kdyz pujde vsechno dobre a Aither
>> bude mit cas (ma ted zkouskove), tak zpristupneni tech funkci
>> a zaloh bude relativne brzo (radove 2-3 tydny).
>> Tady ten slibeny vypis:
>> [root(a)backup.prg.vpsfree.cz] / # zpool
status -v pool:
>> storage state: ONLINE scan: none requested config:
>> NAME STATE READ WRITE
CKSUM storage ONLINE
>> 0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0
>> ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0
>> 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3
>> ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0
>> label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE
>> 0 0 0 label/zfs-d7 ONLINE 0 0 0
>> label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE 0
>> 0 0 logs mirror-1 ONLINE 0 0 0 da0p4 ONLINE
>> 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5
>> ONLINE 0 0 0 da0p5 ONLINE 0 0 0
_______________________________________________
Community-list mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
4108
days inactive
4130
days old
community-list@lists.vpsfree.cz
14 comments
6 participants
participants (6)
-
Jiří Medvěd -
Martin Kubíček -
Miroslav Šedivý -
Pavel Snajdr -
Peter Bubeliny -
Tomas Varil