-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Ahojte,
jelikoz nam puvodni storage server delal problemy, pujde do Abacusu na servis.
Takze na zalohovani jsme pouzili server, ktery mel puvodne delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic stav linuxoveho storage subsystemu proste nenabizi moznosti, jak spravovat desitky terabajtu dat bez toho, aby se admin sel obesit.
Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz je backend vpsAdminu napsany poradne diky Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty, koho to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne snapshoty, takze staci udelat rsync (se spravnymi flagy, aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni a zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad kterym se delaji snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit cas (ma ted zkouskove), tak zpristupneni tech funkci a zaloh bude relativne brzo (radove 2-3 tydny).
Tady ten slibeny vypis:
[root@backup.prg.vpsfree.cz] / # zpool status -v pool: storage state: ONLINE scan: none requested config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
- -- S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither) podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne to, co prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi exportovat. Kdyz se podivate do slozky /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve vpsAdminu - - tedy zobrazovani zaloh, full restore VPS a backup download - vetsina z toho uz je hotova, zbyva nam to jeste oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio nebo o neco horsi, celkova kapacita usetrena kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME PROPERTY VALUE SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na backup server najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
~ # zpool status pool: storage state: ONLINE scan: resilvered 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 logs mirror-3 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
Ahojte,
jelikoz nam puvodni storage server delal problemy, pujde do Abacusu na servis.
Takze na zalohovani jsme pouzili server, ktery mel puvodne delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic stav linuxoveho storage subsystemu proste nenabizi moznosti, jak spravovat desitky terabajtu dat bez toho, aby se admin sel obesit.
Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz je backend vpsAdminu napsany poradne diky Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty, koho to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne snapshoty, takze staci udelat rsync (se spravnymi flagy, aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni a zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad kterym se delaji snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit cas (ma ted zkouskove), tak zpristupneni tech funkci a zaloh bude relativne brzo (radove 2-3 tydny).
Tady ten slibeny vypis:
[root@backup.prg.vpsfree.cz] / # zpool status -v pool: storage state: ONLINE scan: none requested config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither) podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne to, co prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi exportovat. Kdyz se podivate do slozky /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup download - vetsina z toho uz je hotova, zbyva nam to jeste oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio nebo o neco horsi, celkova kapacita usetrena kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME PROPERTY VALUE SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na backup server najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
~ # zpool status pool: storage state: ONLINE scan: resilvered 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 logs mirror-3 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
Ahojte,
jelikoz nam puvodni storage server delal problemy, pujde do Abacusu na servis.
Takze na zalohovani jsme pouzili server, ktery mel puvodne delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic stav linuxoveho storage subsystemu proste nenabizi moznosti, jak spravovat desitky terabajtu dat bez toho, aby se admin sel obesit.
Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz je backend vpsAdminu napsany poradne diky Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty, koho to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne snapshoty, takze staci udelat rsync (se spravnymi flagy, aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni a zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad kterym se delaji snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit cas (ma ted zkouskove), tak zpristupneni tech funkci a zaloh bude relativne brzo (radove 2-3 tydny).
Tady ten slibeny vypis:
[root@backup.prg.vpsfree.cz] / # zpool status -v pool: storage state: ONLINE scan: none requested config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:
1. Po case vytuhne NFS server, zustanou viset df procesy od muninu a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do zfsonlinux.org projektu, myslim, ze funding bychom na to nasli (lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither) podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne to, co prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi exportovat. Kdyz se podivate do slozky /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup download - vetsina z toho uz je hotova, zbyva nam to jeste oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio nebo o neco horsi, celkova kapacita usetrena kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME PROPERTY VALUE SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na backup server najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
~ # zpool status pool: storage state: ONLINE scan: resilvered 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 logs mirror-3 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
Ahojte,
jelikoz nam puvodni storage server delal problemy, pujde do Abacusu na servis.
Takze na zalohovani jsme pouzili server, ktery mel puvodne delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic stav linuxoveho storage subsystemu proste nenabizi moznosti, jak spravovat desitky terabajtu dat bez toho, aby se admin sel obesit.
Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz je backend vpsAdminu napsany poradne diky Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty, koho to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne snapshoty, takze staci udelat rsync (se spravnymi flagy, aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni a zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad kterym se delaji snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit cas (ma ted zkouskove), tak zpristupneni tech funkci a zaloh bude relativne brzo (radove 2-3 tydny).
Tady ten slibeny vypis:
[root@backup.prg.vpsfree.cz] / # zpool status -v pool: storage state: ONLINE scan: none requested config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Ahoj,
nemam az taku znalost, a mozno nenapisem nic nove, ale existuje nexenta - http://www.nexentastor.org/ , stalo by to zato aspon skusit?
PB
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:
- Po case vytuhne NFS server, zustanou viset df procesy od muninu a
reboot zustane viset na synceru 2. Pri bondingu padaji nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do zfsonlinux.org projektu, myslim, ze funding bychom na to nasli (lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither) podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne to, co prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi exportovat. Kdyz se podivate do slozky /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup download - vetsina z toho uz je hotova, zbyva nam to jeste oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio nebo o neco horsi, celkova kapacita usetrena kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME PROPERTY VALUE SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na backup server najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
~ # zpool status pool: storage state: ONLINE scan: resilvered 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 logs mirror-3 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
Ahojte,
jelikoz nam puvodni storage server delal problemy, pujde do Abacusu na servis.
Takze na zalohovani jsme pouzili server, ktery mel puvodne delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic stav linuxoveho storage subsystemu proste nenabizi moznosti, jak spravovat desitky terabajtu dat bez toho, aby se admin sel obesit.
Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz je backend vpsAdminu napsany poradne diky Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty, koho to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne snapshoty, takze staci udelat rsync (se spravnymi flagy, aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni a zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad kterym se delaji snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit cas (ma ted zkouskove), tak zpristupneni tech funkci a zaloh bude relativne brzo (radove 2-3 tydny).
Tady ten slibeny vypis:
[root@backup.prg.vpsfree.cz] / # zpool status -v pool: storage state: ONLINE scan: none requested config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
- -- S pozdravom / Best regards - --------------------------------------------- [Peter Bubeliny] [+421 948 358 078] [PGP Key: http://hakin.eu/peter.bubeliny.gpg]
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Cau,
On 01/27/2013 04:11 PM, Peter Bubeliny wrote:
Ahoj,
nemam az taku znalost, a mozno nenapisem nic nove, ale existuje nexenta - http://www.nexentastor.org/ , stalo by to zato aspon skusit?
Nemuzeme pouzivat podobne NAS single purpose systemy, potrebujeme tam vlastni software a vlastni specifickou konfiguraci (vpsadmin backend, bonding sitovek atd.).
Navic nexenta je omezena kapacitne.
snajpa
PB
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:
- Po case vytuhne NFS server, zustanou viset df procesy od
muninu a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do zfsonlinux.org projektu, myslim, ze funding bychom na to nasli (lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither) podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne to, co prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi exportovat. Kdyz se podivate do slozky /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup download - vetsina z toho uz je hotova, zbyva nam to jeste oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio nebo o neco horsi, celkova kapacita usetrena kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME PROPERTY VALUE SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na backup server najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
~ # zpool status pool: storage state: ONLINE scan: resilvered 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 logs mirror-3 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
Ahojte,
jelikoz nam puvodni storage server delal problemy, pujde do Abacusu na servis.
Takze na zalohovani jsme pouzili server, ktery mel puvodne delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic stav linuxoveho storage subsystemu proste nenabizi moznosti, jak spravovat desitky terabajtu dat bez toho, aby se admin sel obesit.
Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz je backend vpsAdminu napsany poradne diky Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty, koho to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne snapshoty, takze staci udelat rsync (se spravnymi flagy, aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni a zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad kterym se delaji snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit cas (ma ted zkouskove), tak zpristupneni tech funkci a zaloh bude relativne brzo (radove 2-3 tydny).
Tady ten slibeny vypis:
[root@backup.prg.vpsfree.cz] / # zpool status -v pool: storage state: ONLINE scan: none requested config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Ahoj,
má to něco společného s tím, že když jsem restartoval VPS, tak se mi to backup adresáře nic nenamountovalo?
S pozdravem Miroslav Šedivý
Dne 27. ledna 2013 15:23 Pavel Snajdr snajpa@snajpa.net napsal(a):
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:
- Po case vytuhne NFS server, zustanou viset df procesy od muninu a
reboot zustane viset na synceru 2. Pri bondingu padaji nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do zfsonlinux.org projektu, myslim, ze funding bychom na to nasli (lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither) podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne to, co prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi exportovat. Kdyz se podivate do slozky /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup download - vetsina z toho uz je hotova, zbyva nam to jeste oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio nebo o neco horsi, celkova kapacita usetrena kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME PROPERTY VALUE SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na backup server najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
~ # zpool status pool: storage state: ONLINE scan: resilvered 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 logs mirror-3 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
Ahojte,
jelikoz nam puvodni storage server delal problemy, pujde do Abacusu na servis.
Takze na zalohovani jsme pouzili server, ktery mel puvodne delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic stav linuxoveho storage subsystemu proste nenabizi moznosti, jak spravovat desitky terabajtu dat bez toho, aby se admin sel obesit.
Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz je backend vpsAdminu napsany poradne diky Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty, koho to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne snapshoty, takze staci udelat rsync (se spravnymi flagy, aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni a zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad kterym se delaji snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit cas (ma ted zkouskove), tak zpristupneni tech funkci a zaloh bude relativne brzo (radove 2-3 tydny).
Tady ten slibeny vypis:
[root@backup.prg.vpsfree.cz] / # zpool status -v pool: storage state: ONLINE scan: none requested config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlEFOHkACgkQdh+64ds5Daan6wEAnHXRFkw2QTd7F+oKgo32jqIv ngugeZtkCxVfTt4knqgBAI3nEeeqPGxKA361+5L7mA+xKkXG1HfmhIfpKHp4SUo8 =ihn7 -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
On 01/27/2013 09:01 PM, Miroslav Šedivý wrote:
Ahoj,
má to něco společného s tím, že když jsem restartoval VPS, tak se mi to backup adresáře nic nenamountovalo?
Vcelku logicky ano :)
Pokousim se vymyslet, co s tim backupovanim provedeme a tak tam trochu experimentuju.
snajpa
S pozdravem Miroslav Šedivý
Dne 27. ledna 2013 15:23 Pavel Snajdr snajpa@snajpa.net napsal(a): Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:
- Po case vytuhne NFS server, zustanou viset df procesy od muninu
a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do zfsonlinux.org projektu, myslim, ze funding bychom na to nasli (lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither) podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne to, co prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi exportovat. Kdyz se podivate do slozky /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup download - vetsina z toho uz je hotova, zbyva nam to jeste oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio nebo o neco horsi, celkova kapacita usetrena kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME PROPERTY VALUE SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na backup server najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
~ # zpool status pool: storage state: ONLINE scan: resilvered 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 logs mirror-3 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
Ahojte,
jelikoz nam puvodni storage server delal problemy, pujde do Abacusu na servis.
Takze na zalohovani jsme pouzili server, ktery mel puvodne delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic stav linuxoveho storage subsystemu proste nenabizi moznosti, jak spravovat desitky terabajtu dat bez toho, aby se admin sel obesit.
Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz je backend vpsAdminu napsany poradne diky Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty, koho to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne snapshoty, takze staci udelat rsync (se spravnymi flagy, aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni a zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad kterym se delaji snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit cas (ma ted zkouskove), tak zpristupneni tech funkci a zaloh bude relativne brzo (radove 2-3 tydny).
Tady ten slibeny vypis:
[root@backup.prg.vpsfree.cz] / # zpool status -v pool: storage state: ONLINE scan: none requested config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Ahojte,
tak to vypada, ze budu muset asi zahodit vsechny zalohy udelane do ted :/
Potrebujete z toho nekdo neco uplne nutne?
Zkuste se ozvat idealne do 30ti minut.
snajpa
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:
- Po case vytuhne NFS server, zustanou viset df procesy od muninu
a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do zfsonlinux.org projektu, myslim, ze funding bychom na to nasli (lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither) podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne to, co prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi exportovat. Kdyz se podivate do slozky /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup download - vetsina z toho uz je hotova, zbyva nam to jeste oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio nebo o neco horsi, celkova kapacita usetrena kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME PROPERTY VALUE SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na backup server najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
~ # zpool status pool: storage state: ONLINE scan: resilvered 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 logs mirror-3 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
Ahojte,
jelikoz nam puvodni storage server delal problemy, pujde do Abacusu na servis.
Takze na zalohovani jsme pouzili server, ktery mel puvodne delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic stav linuxoveho storage subsystemu proste nenabizi moznosti, jak spravovat desitky terabajtu dat bez toho, aby se admin sel obesit.
Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz je backend vpsAdminu napsany poradne diky Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty, koho to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne snapshoty, takze staci udelat rsync (se spravnymi flagy, aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni a zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad kterym se delaji snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit cas (ma ted zkouskove), tak zpristupneni tech funkci a zaloh bude relativne brzo (radove 2-3 tydny).
Tady ten slibeny vypis:
[root@backup.prg.vpsfree.cz] / # zpool status -v pool: storage state: ONLINE scan: none requested config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Ja bych docela rad mel zalohu ze ctvrtka, delal jsem v patek upgrade na wheezy, zatim teda zadne bugy, ale pro jistotu. Id 1288.
Diky
T
Dne neděle, 27. ledna 2013, Pavel Snajdr napsal(a):
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Ahojte,
tak to vypada, ze budu muset asi zahodit vsechny zalohy udelane do ted :/
Potrebujete z toho nekdo neco uplne nutne?
Zkuste se ozvat idealne do 30ti minut.
snajpa
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:
- Po case vytuhne NFS server, zustanou viset df procesy od muninu
a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do zfsonlinux.org projektu, myslim, ze funding bychom na to nasli (lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither) podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne to, co prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi exportovat. Kdyz se podivate do slozky /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup download - vetsina z toho uz je hotova, zbyva nam to jeste oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio nebo o neco horsi, celkova kapacita usetrena kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME PROPERTY VALUE SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na backup server najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
-----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlEFlMMACgkQdh+64ds5DaZqVQEA22dl/B4OFvcb6yPEMd+yo6F/ A4aCVlNhvWR+NwtysacA/1MY8krvRPITjGs/ECFkLewK710qWvOmdN9+wJqbAzyh =Tu25 -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz javascript:; http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
On 01/27/2013 10:02 PM, Tomas Varil wrote:
Ja bych docela rad mel zalohu ze ctvrtka, delal jsem v patek upgrade na wheezy, zatim teda zadne bugy, ale pro jistotu. Id 1288.
Takze to beru tak, ze tu zalohu nutne nepotrebujes, ze?
Musel bych stravit minimalne 12h v kuse za klavesnici, abych to z toho dostal.
Proto se ptam :)
Diky
T
Dne neděle, 27. ledna 2013, Pavel Snajdr napsal(a):
Ahojte,
tak to vypada, ze budu muset asi zahodit vsechny zalohy udelane do ted :/
Potrebujete z toho nekdo neco uplne nutne?
Zkuste se ozvat idealne do 30ti minut.
snajpa
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:
- Po case vytuhne NFS server, zustanou viset df procesy od
muninu a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do zfsonlinux.org http://zfsonlinux.org projektu, myslim, ze
funding bychom na to nasli
(lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither) podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne to, co prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi exportovat. Kdyz se podivate do slozky /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup download - vetsina z toho uz je hotova, zbyva nam to jeste oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio nebo o neco horsi, celkova kapacita usetrena kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME PROPERTY VALUE SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na backup server najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz javascript:; http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Ahoj Pavle,
diky, neni potreba.
Odesláno z iPhonu
27. 1. 2013 v 21:57, Pavel Snajdr snajpa@snajpa.net:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Ahojte,
tak to vypada, ze budu muset asi zahodit vsechny zalohy udelane do ted :/
Potrebujete z toho nekdo neco uplne nutne?
Zkuste se ozvat idealne do 30ti minut.
snajpa
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:
- Po case vytuhne NFS server, zustanou viset df procesy od muninu
a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do zfsonlinux.org projektu, myslim, ze funding bychom na to nasli (lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither) podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne to, co prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi exportovat. Kdyz se podivate do slozky /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup download - vetsina z toho uz je hotova, zbyva nam to jeste oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio nebo o neco horsi, celkova kapacita usetrena kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME PROPERTY VALUE SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na backup server najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
~ # zpool status pool: storage state: ONLINE scan: resilvered 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 logs mirror-3 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
Ahojte,
jelikoz nam puvodni storage server delal problemy, pujde do Abacusu na servis.
Takze na zalohovani jsme pouzili server, ktery mel puvodne delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic stav linuxoveho storage subsystemu proste nenabizi moznosti, jak spravovat desitky terabajtu dat bez toho, aby se admin sel obesit.
Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz je backend vpsAdminu napsany poradne diky Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty, koho to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne snapshoty, takze staci udelat rsync (se spravnymi flagy, aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni a zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad kterym se delaji snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit cas (ma ted zkouskove), tak zpristupneni tech funkci a zaloh bude relativne brzo (radove 2-3 tydny).
Tady ten slibeny vypis:
[root@backup.prg.vpsfree.cz] / # zpool status -v pool: storage state: ONLINE scan: none requested config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlEFlMMACgkQdh+64ds5DaZqVQEA22dl/B4OFvcb6yPEMd+yo6F/ A4aCVlNhvWR+NwtysacA/1MY8krvRPITjGs/ECFkLewK710qWvOmdN9+wJqbAzyh =Tu25 -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
On 01/27/2013 09:57 PM, Pavel Snajdr wrote:
Ahojte,
tak to vypada, ze budu muset asi zahodit vsechny zalohy udelane do ted :/
Potrebujete z toho nekdo neco uplne nutne?
Zkuste se ozvat idealne do 30ti minut.
Takze, pockam hodinku, potom to zahodim. Uz se mi povedlo k tem datum dostat, ale leze to odtamtud SILENE pomalu, takze pokud z toho fakt nejaky data potrebujete, specifikujte konkretne co a volejte na moje cislo - +421948816186
Nemuzu to nechat rozvrtany moc dlouho, porad lepsi je zahodit stary zalohy a mit novy, nez nemit novy a zvysovat riziko, ze kdyz budou zrovna potreba zalohy (think: disk failure nekde v nodu) kdyz budou potreba.
Vypada to, ze to bude dlouha noc :(
snajpa
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:
- Po case vytuhne NFS server, zustanou viset df procesy od
muninu a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do zfsonlinux.org projektu, myslim, ze funding bychom na to nasli (lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither) podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne to, co prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi exportovat. Kdyz se podivate do slozky /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup download - vetsina z toho uz je hotova, zbyva nam to jeste oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio nebo o neco horsi, celkova kapacita usetrena kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME PROPERTY VALUE SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na backup server najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
~ # zpool status pool: storage state: ONLINE scan: resilvered 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 logs mirror-3 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
Ahojte,
jelikoz nam puvodni storage server delal problemy, pujde do Abacusu na servis.
Takze na zalohovani jsme pouzili server, ktery mel puvodne delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic stav linuxoveho storage subsystemu proste nenabizi moznosti, jak spravovat desitky terabajtu dat bez toho, aby se admin sel obesit.
Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz je backend vpsAdminu napsany poradne diky Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty, koho to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne snapshoty, takze staci udelat rsync (se spravnymi flagy, aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni a zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad kterym se delaji snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit cas (ma ted zkouskove), tak zpristupneni tech funkci a zaloh bude relativne brzo (radove 2-3 tydny).
Tady ten slibeny vypis:
[root@backup.prg.vpsfree.cz] / # zpool status -v pool: storage state: ONLINE scan: none requested config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Pro ty co chteji zalohy, jenom muj poznatek - vpsfree neni komercni projekt ktery by garantoval nejaky SLA, stat se muze cokoliv, porad se o to stara jen banda nadsencu. Takze bych pro priste doporucoval stahovat si (napriklad 1 tydne) zalohy i k sobe. Shit happens :)
Dne 27. ledna 2013 22:29 Pavel Snajdr snajpa@snajpa.net napsal(a):
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
On 01/27/2013 09:57 PM, Pavel Snajdr wrote:
Ahojte,
tak to vypada, ze budu muset asi zahodit vsechny zalohy udelane do ted :/
Potrebujete z toho nekdo neco uplne nutne?
Zkuste se ozvat idealne do 30ti minut.
Takze, pockam hodinku, potom to zahodim. Uz se mi povedlo k tem datum dostat, ale leze to odtamtud SILENE pomalu, takze pokud z toho fakt nejaky data potrebujete, specifikujte konkretne co a volejte na moje cislo - +421948816186
Nemuzu to nechat rozvrtany moc dlouho, porad lepsi je zahodit stary zalohy a mit novy, nez nemit novy a zvysovat riziko, ze kdyz budou zrovna potreba zalohy (think: disk failure nekde v nodu) kdyz budou potreba.
Vypada to, ze to bude dlouha noc :(
snajpa
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:
- Po case vytuhne NFS server, zustanou viset df procesy od
muninu a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do zfsonlinux.org projektu, myslim, ze funding bychom na to nasli (lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither) podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne to, co prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi exportovat. Kdyz se podivate do slozky /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup download - vetsina z toho uz je hotova, zbyva nam to jeste oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio nebo o neco horsi, celkova kapacita usetrena kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME PROPERTY VALUE SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na backup server najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
~ # zpool status pool: storage state: ONLINE scan: resilvered 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 logs mirror-3 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
Ahojte,
jelikoz nam puvodni storage server delal problemy, pujde do Abacusu na servis.
Takze na zalohovani jsme pouzili server, ktery mel puvodne delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic stav linuxoveho storage subsystemu proste nenabizi moznosti, jak spravovat desitky terabajtu dat bez toho, aby se admin sel obesit.
Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz je backend vpsAdminu napsany poradne diky Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty, koho to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne snapshoty, takze staci udelat rsync (se spravnymi flagy, aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni a zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad kterym se delaji snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit cas (ma ted zkouskove), tak zpristupneni tech funkci a zaloh bude relativne brzo (radove 2-3 tydny).
Tady ten slibeny vypis:
[root@backup.prg.vpsfree.cz] / # zpool status -v pool: storage state: ONLINE scan: none requested config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlEFnEQACgkQdh+64ds5DaaAzQEAtrS9UaJLpxGCfp/LKppOV5ZJ 4Qb2WPO3gIkY6DymU8sBAL3RpAgmSlYTUqVL1CJAyVgh/73lVu984pwSCJYMrzWt =kSew -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Zdravim vsechny,
prave jsem dozapasil s doufam posledni konfiguraci zalohovani [tukam na drevo].
Zustava ZFS, vsechno jak jsem popsal, komprese pekne, ale jeden rozdil tu preci jenom je:
[root@backuper.prg.vpsfree.cz] / # uname -a SunOS backuper.prg.vpsfree.cz 5.11 oi_151a7 i86pc i386 i86pc Solaris
Drzme tomu vsichni kolektivne palce, at to jede pekne, protoze:
1. uz pak jinak nemame moc jinych moznosti 2. se mi OpenIndiana hodne libi a dela se s tim lip nez s FreeBSD :)
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/27/2013 03:23 PM, Pavel Snajdr wrote:
Ahojte,
tak na tohle tema mam smutne zpravy.
FreeBSD 9.1-RELEASE je poradne zabugovane. Trapi nas 3 major problemy:
- Po case vytuhne NFS server, zustanou viset df procesy od muninu
a reboot zustane viset na synceru 2. Pri bondingu padaji nad tim interfacem TCP spojeni 3. NFS/TCP je nepouzitelne, musi se pouzivat NFS/UDP
Takze jdu s tim neco vymyslet, prvni pokus vede k vyzkouseni FreeBSD 8.3-RELEASE, ktere ma nastesti stejnou zpool version.
Kdyz se ani to nepovede, docela seriozne premyslim, ze koupime licenci na Oracle Solaris (2000 USD rocne pro tuhle konkretni masinu, a ne, OpenIndiana ani podobne neprichazi v uvahu, protoze tam dostanu jeste mnohem horsi support nez od FreeBSD komunity).
Leda ze by se mezi vami nasel nejaky Cckar, ktery si rozumi s kernelem, kdo by byl ochotny vrazit 2-3 mesice fulltime casu do zfsonlinux.org projektu, myslim, ze funding bychom na to nasli (lepsi nez platit Oraclu).
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/23/2013 02:10 PM, Pavel Snajdr wrote:
Zdravim vsechny,
Aither prave zpristupnil zalozku "Backups" ve vpsAdminu. Ted uz by vam teda melo jit obnovit VPS z dane zalohy bez nasi asistence, stejne jako stahnuti konkretni zalohy celeho VPS.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/20/2013 03:37 AM, Pavel Snajdr wrote:
Ahoj vespolek,
mam tu dalsi update k stavu zalohovani:
Veci se pomalu stabilizuji, dodelavame (tedy ted uz hlavne Aither) podporu zaloh na puvodni uroven, jaka byla s rdiff-backupem.
Kdyz ted stopnete a znovu startnete VPS pres vpsAdmin, namountuje se vam do /vpsadmin_backuper/ uz ZFS-made zaloha. Hlavni vyhodou je, ze stav, jaky ta zaloha vykazuje, je presne to, co prenesl rsync - tedy sedi opravneni atd.;
Dalsi vec - jak se dostat k jednotlivym inkrementum?
Ty jsou implementovane pomoci ZFS snapshots, ZFS je umi exportovat. Kdyz se podivate do slozky /vpsadmin_backuper/.zfs/snapshot/, najdete tam v podadresarich vsechny snapshoty, ktere mame.
Cili vyplyva z toho, ze si ted muzete obnovit libovolna data bezbolestne bez pouziti rdiff-backup utility :)
V blizke budoucnosti zpristupnime zbyvajici funkcionalitu ve vpsAdminu - tedy zobrazovani zaloh, full restore VPS a backup download - vetsina z toho uz je hotova, zbyva nam to jeste oddebugovat.
Na zaver tresnicka na dortu - na tom zpoolu mame zapnutou transparentni kompresi. Kdyz budeme drzet aktualni compress-ratio nebo o neco horsi, celkova kapacita usetrena kompresi nam temer vyrovna kapacitni ztratu z pouziti RAID-Z (ekvivalent RAID5) :))
~ # zfs get compressratio storage NAME PROPERTY VALUE SOURCE storage compressratio 1.53x -
Jo a jeste malickost - oproti puvodni konfiguraci zpoolu se musela udelat zmena, RAID-Z2 pres vsechny disky bylo sice nejrychlejsi single-threaded reseni, ale pri ladovani 24 zaloh na backup server najednou nestihalo, takze jsme rekonfigurovali zpool nasledovne:
~ # zpool status pool: storage state: ONLINE scan: resilvered 828G in 41h55m with 0 errors on Sat Jan 19 14:52:14 2013 config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 raidz1-1 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 raidz1-2 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 logs mirror-3 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 01/07/2013 12:07 AM, Pavel Snajdr wrote:
Ahojte,
jelikoz nam puvodni storage server delal problemy, pujde do Abacusu na servis.
Takze na zalohovani jsme pouzili server, ktery mel puvodne delat NAS - dlouhodobe totiz bez zaloh byt nemuzem.
Rdiff-backup se ukazal jako spatne skalovatelne reseni, navic stav linuxoveho storage subsystemu proste nenabizi moznosti, jak spravovat desitky terabajtu dat bez toho, aby se admin sel obesit.
Takze jsme dali jeste jednou sanci ZFS, ale jelikoz tentokrat uz je backend vpsAdminu napsany poradne diky Aitherovi, nepotrebujeme linux, ale muzeme pouzit FreeBSD.
Takze server 'backup', ktery vidite ve vpsAdmin vypisu serveru je nova zalohovaci masina, jede na ni FreeBSD 9.1.
Storage je ZFS, zpool konfiguraci pastnu na konec mailu pro ty, koho to zajima.
Zalohuje se ted o to jednoduseji, ze ZFS podporuje nativne snapshoty, takze staci udelat rsync (se spravnymi flagy, aby zachoval vsechno, co ma + aby bylo snapshotovani na ZFS efektivni a zabiralo akorat to, co je nutne) a potom ZFS snapshot. Kazda VPS ma svuj dataset (neco jako filesystem), nad kterym se delaji snapshoty.
Tohle cele ma nekolik vyhod, tou hlavni je, ZFS snapshoty+rsync je vic blbuvzdorne a min nachylne na rozbiti, nez rdiff-backup (tam staci prerusit zalohovani v prubehu a uz se mu to nelibi).
Zpristupneni zaloh do VPS zatim neni, stejne jako vsechny uzivatelske funkce ve vpsAdminu, protoze chceme pockat, jak se bude situace vyvijet; kdyz pujde vsechno dobre a Aither bude mit cas (ma ted zkouskove), tak zpristupneni tech funkci a zaloh bude relativne brzo (radove 2-3 tydny).
Tady ten slibeny vypis:
[root@backup.prg.vpsfree.cz] / # zpool status -v pool: storage state: ONLINE scan: none requested config:
NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 label/zfs-d0 ONLINE 0 0 0 label/zfs-d1 ONLINE 0 0 0 label/zfs-d2 ONLINE 0 0 0 label/zfs-d3 ONLINE 0 0 0 label/zfs-d4 ONLINE 0 0 0 label/zfs-d5 ONLINE 0 0 0 label/zfs-d6 ONLINE 0 0 0 label/zfs-d7 ONLINE 0 0 0 label/zfs-d8 ONLINE 0 0 0 label/zfs-d9 ONLINE 0 0 0 logs mirror-1 ONLINE 0 0 0 da0p4 ONLINE 0 0 0 da1p4 ONLINE 0 0 0 cache da1p5 ONLINE 0 0 0 da0p5 ONLINE 0 0 0
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
community-list@lists.vpsfree.cz
-
Jiří Medvěd -
Martin Kubíček -
Miroslav Šedivý -
Pavel Snajdr -
Peter Bubeliny -
Tomas Varil