Re: [vpsFree.cz: community-list] Update soucasneho stavu - ZFS + 10x 7200RPM SAS2 + 2x SSD + OpenVZ
14 Jul
2013
14 Jul
'13
8:02 a.m.
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
*WRONG* :)
velikost bloku v ZFS je dynamicka od 512B do 1MB, na disk se data
flushuji jednou za 5s a snazi se je seskupovat do vetsich chunku,
kterym se rika transaction groups.
Cele ZFS je navrzene tak, aby stacilo v maximalnim pocte pripadu
proste udelat write, ne nutne read-modify-write.
- - snajpa
On 07/14/2013 01:34 AM, glux(a)glux.org wrote:
Ono to vychazi z toho ze se komprimuji vetsi bloky
dat, myslim ze
defaultni velikost bloku ktey se v ZFS komprimuje je 4KB, coz
znamena z pri zmene napr. 1B uvnitr souboru se musi precist cely
blok komprimovanych dat, prekomprimovat a opet cely zapsat. A
nektere operace napriklad v SQL databazich presne takovehle
chovani, kdy se meni jen velice malo dat (napr. DELETE kde se
pouze “oznacuje” jako smazane - protoze mazani fyzicky je az
VACUUM) zpusobuji vetsi zdrzeni. Pokud by se nastavila velikost
bloku pro kompresi na malou hodnotu, napr. 512B stejne jako ma
fyzicky sektor tak by sel kompresni pomer drastiky dolu.
Sent from Windows Mail
*From:* Tomas Volf *Sent:* Saturday, July 13, 2013 10:32
AM *To:* vpsFree.cz Community list
pokud si pamatuju co snajpa, tak io vykon by naopak mel jit
nahoru.. rozdil by mel byt akorat v hlasene a skutecne velikosti
souboru.
potom co jsem u sebe zapnull kompresi, sel vykon selkove spise
nahoru. u postgresql jsem si niceho nevsiml, ale asi neni pod
dostatecnou zatezi aby se neco projevilo tedy
glux(a)glux.org wrote:
No, kdyz jsem zkousel ZFS ze zapnutou kompresi tak napriklat u
PostgreSQL byl znatelnej propad vykonu, ale na druhou stranu jiny
aplikace (jako treba dovecot) sly vykonove nahoru. Univerzalni
odpoved tady asi neexistuje. Nicmene myslim si ze by to urcite
stalo za vyzkouseni, protoze pokud by nekdo provozoval aplikace tak
moc citlivy na vykon IO (zejmena v zapisu), nebude to provozovat na
VPS. Takze ja si myslim ze pro vetsinu to bude budto drobnym
prinosem nebo to nijak nezaznamenaj.
Sent from Windows Mail
*From:* mrkva(a)mrkva.eu *Sent:* Friday, July 12, 2013
6:29 PM *To:* community-list(a)lists.vpsfree.cz
Co CPU overhead? On 12.7.2013 18:23, Pavel Snajdr wrote:
Dik moc, mas ji tam :)
Btw, otazka na vsechny - napada vas nejaka aplikace, ktera by
mohla mit problem s transparentni kompresi filesystemu?
Jedina manifestace toho je takova, ze "du" bez --apparent-size
ukazuje min zabranyho prostoru souborem, nez ls -lh. Takze jestli
vas nenapada aplikace, ktere by to mohlo vadit?
Ono tu kompresi je dobre tam mit - zmensi to zatez na IO (nemusi
se cist tolik dat, pokud jsou dobre komprimovatelna) a navic to
usetri diskspace, proto jsem ji by default zapnul.
Ale je dobre si to overit, nez to nasadime pripadne do
production
vsem.
- snajpa
On 07/12/2013 06:08 PM, Jiří Fejfar wrote:
Community-list mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
-- Sent from my Android phone with K-9 Mail. Please excuse my
brevity.
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlHiWy4ACgkQMBKdi9lkZ6pamQD+OvM0mR/CJYX5lYlGps1veEry
NXAKfx0mdnhxvfzvjh0BAM/ZRxAx9ucte4VaGHZ7dxJ5P7klAx5D3cxXdyJ7rj6u
=XOBd
-----END PGP SIGNATURE----- Ahoj, pokud je treba, muzu se taky dodatecne
pridat k
testovani. VPS 1191. JuraF.
Dne 12. července 2013 17:22 Pavel Snajdr
<snajpa(a)snajpa.net
<mailto:snajpa@snajpa.net>> napsal(a):
A to cislo jsem zapomnel, je tam celkem 19 VPS.
Chtelo by to
vic, ale nikoho nutit nemuzu.
No zatim to bezi OK a nevypada, ze by s tim mely
byt problemy
(ne ze bych je cekal, a le na tyhle veci byvam az prilis
optimista).
- snajpa
On 07/12/2013 05:20 PM, Pavel Snajdr wrote:
> Tak jsem tam domigroval vsechny testery, vsem moc dik a
> muzete ty masine dat poradne pocoudit :)
> To jsem te premigroval, ani sis nevsim :)
> (K testum se prihlasilo i par z vas, kdo mate
VPS v Brne, to
> tam premigrovat nemuzu, protoze byste prisli o IP adresu. Ale
> i tak diky.)
> - snajpa
> On 07/12/2013 03:38 PM, Paladin wrote:
>> 1) kolik jsi jich cca nasel? ^_^
>> 2) mam ocekavat nejaky down time?
>> On Thu, Jul 11, 2013 at 03:36:32PM +0200,
Pavel Snajdr
>> wrote: Caute,
>> takze jdu postupne migrovat vsechny
testery na onen node6
>> :)
>> - snajpa
> On
07/02/2013 04:29 PM, Pavel Snajdr wrote:
>>>> Ahojte,
>>>>
>>>> sice bylo ticho, neznamena to ale, ze jsme umreli.
>>>>
>>>> Uprimne ja osobne mam ted dost roztristenou
>>>> pozornost mezi hromadu veci, tak se nekterym vecem
>>>> venuju jenom tak, ze neco delam, ale nezbyva cas na
>>>> "okecavani". Podobne bych rekl, ze to maji i dalsi
>>>> :)
>>>>
>>>> Koupili jsme dva nove servery s 2.5" disky, jenze
>>>> ukazalo se, ze LSI si nerozumi s
>>>> notebook-upper-class disky (bezne jedou v pohode,
>>>> kdyz se jim vypne parkovani hlavicek a podobne).
>>>> Takze jsme nakoupili do jednoho nodu 10ks SAS2 7200
>>>> RPM Seagate Constellation ES 1TB.
>>>>
>>>> Druhy node to ceka za nejakou dobu. Outcome je, ze
>>>> mame 20 disku navic - kdo chcete, jde o WD Scorpio
>>>> Black 750 GB (WD7500BPKT), zbavujeme se jich za 1250
>>>> Kc (50 EUR), jsou nove, najeto maji nekolik desitek
>>>> hodin. Zaruka by se resila pres nas vzdycky
>>>> hromadneji, kdyz se toho sejde vic (stava se tak
>>>> jednou za jeden-dva mesice). Kdo mate zajem, predani
>>>> budeme resit osobne, jsou dostupne v Praze a
>>>> Bratislave, piste na podporu.
>>>>
>>>> Dal, kvuli problemum s vzquota (je to pomala ****),
>>>> lepsimu zalohovani a obnove, snapshotum, journalu na
>>>> ext4 jako bottle necku... je na node6 (=> druhy z
>>>> tech novych stroju) ZFS.
>>>>
>>>> Mam na tom uz par tydnu svoje VPSky a bezi to v
>>>> pohode. Aither dodelava podporu do vpsAdminu, takze
>>>> node6 bude pouzitelny pro vsechny uz brzo - konkretne
>>>> v utery. Do konce mesice pojedeme v testovacim
>>>> provozu, kdo mate zajem to vyzkouset, ozvete se na
>>>> podporu prosim. Potreboval bych aspon 20
>>>> dobrovolniku, ze zkusenosti vim, ze se jich ozve tak
>>>> 5, zkuste se prosim vic zapojit, pokud muzete.
>>>> Nejkrajnejsim a nejhororovejsim, zaroven nejmene
>>>> pravdepodobnym scenarem je mozna ztrata dat od
>>>> posledni zalohy a nekolik jednotek hodin
>>>> dostupnosti. Prosim tedy vas tedy - vy, kteri jsou
>>>> ochotni to akceptovat, mohli byste nam napsat na
>>>> podporu? Diky moc.
>>>>
>>>> ZFS on Linux, pokud se prokaze, ma pro nas vsechny
>>>> spoustu vyhod - rychlejsi zotaveni pri vypadku,
>>>> rychlejsi zaloha a obnova ze zalohy, predvidatelna
>>>> doba zalohovani (rozptyl nekolik jednotek minut, ne
>>>> hodin jako ted), rychlejsi hojeni pri umrti disku,
>>>> odolnost proti nahodnemu poskozeni dat. Take se nam
>>>> do budoucna otevrou moznosti jako off-site backup (az
>>>> na to budem e mit hw), rychlejsi spawnovani virtualu,
>>>> on-demand snapshoty primo na nodu bez nutnosti jit
>>>> pres backuper (hodi se pro experimentovani s upgrade
>>>> OS ve VPS napr.), atd.
>>>>
>>>> V utery po 1:00 se udeje upgrade infrastruktury na
>>>> nejnovejsi Scientific Linux release (6.4),
>>>> nejnovejsi OpenVZ kernel a upravi se nastaveni site.
>>>> zaroven **konecne** povolime moznost zvetsovat NAS
>>>> prostor.
>>>>
>>>> Takze jsme neumreli, jenom je min casu na delani PR
>>>> :)
>>>>
>>>> Cau vsem,
>>>>
>>>> Pavel Snajdr
>>>>
>>>> ; +421 948 816 186 | +420 720 107 791 |
>>>> 110-010-956 CTO of Relbit | Predseda vpsFree.cz,
>>>> o.s. | RHCE http://relbit.com | http://vpsfree.cz
>>>> | https://www.redhat.com
>>>> _______________________________________________
>>>> Community-list mailing list
>>>> Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
>>>>>
_______________________________________________
>> Community-list mailing list
>> Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
>>>
>>
>> _______________________________________________
>> Community-list mailing list
>> Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
>
_______________________________________________
Community-list mailing list Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
http://lists.vpsfree.cz/listinfo/community-list _______________________________________________
Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
14 Jul
14 Jul
11:32 a.m.
New subject: Update soucasneho stavu - ZFS + 10x 7200RPM SAS2 + 2x SSD + OpenVZ
Tohle platí při VYPNUTY kompresi. Jde o to ze samotný kompresní algoritmus pracuje s
pevnou velikosti bloku a i malá změna je změnou celého bloku komprimovanych dat.
Stanislav Petr
14. 7. 2013 v 10:02, Pavel Snajdr <snajpa(a)snajpa.net>et>:
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
*WRONG* :)
velikost bloku v ZFS je dynamicka od 512B do 1MB, na disk se data
flushuji jednou za 5s a snazi se je seskupovat do vetsich chunku,
kterym se rika transaction groups.
Cele ZFS je navrzene tak, aby stacilo v maximalnim pocte pripadu
proste udelat write, ne nutne read-modify-write.
- - snajpa
On 07/14/2013 01:34 AM, glux(a)glux.org wrote:
Ono to vychazi z toho ze se komprimuji vetsi bloky dat, myslim ze
defaultni velikost bloku ktey se v ZFS komprimuje je 4KB, coz
znamena z pri zmene napr. 1B uvnitr souboru se musi precist cely
blok komprimovanych dat, prekomprimovat a opet cely zapsat. A
nektere operace napriklad v SQL databazich presne takovehle
chovani, kdy se meni jen velice malo dat (napr. DELETE kde se
pouze “oznacuje” jako smazane - protoze mazani fyzicky je az
VACUUM) zpusobuji vetsi zdrzeni. Pokud by se nastavila velikost
bloku pro kompresi na malou hodnotu, napr. 512B stejne jako ma
fyzicky sektor tak by sel kompresni pomer drastiky dolu.
Sent from Windows Mail
*From:* Tomas Volf *Sent:* Saturday, July 13, 2013 10:32
AM *To:* vpsFree.cz Community list
pokud si pamatuju co snajpa, tak io vykon by naopak mel jit
nahoru.. rozdil by mel byt akorat v hlasene a skutecne velikosti
souboru.
potom co jsem u sebe zapnull kompresi, sel vykon selkove spise
nahoru. u postgresql jsem si niceho nevsiml, ale asi neni pod
dostatecnou zatezi aby se neco projevilo tedy
glux(a)glux.org wrote:
No, kdyz jsem zkousel ZFS ze zapnutou kompresi tak napriklat u
PostgreSQL byl znatelnej propad vykonu, ale na druhou stranu jiny
aplikace (jako treba dovecot) sly vykonove nahoru. Univerzalni
odpoved tady asi neexistuje. Nicmene myslim si ze by to urcite
stalo za vyzkouseni, protoze pokud by nekdo provozoval aplikace tak
moc citlivy na vykon IO (zejmena v zapisu), nebude to provozovat na
VPS. Takze ja si myslim ze pro vetsinu to bude budto drobnym
prinosem nebo to nijak nezaznamenaj.
Sent from Windows Mail
*From:* mrkva(a)mrkva.eu *Sent:* Friday, July 12, 2013
6:29 PM *To:* community-list(a)lists.vpsfree.cz
Co CPU overhead? On 12.7.2013 18:23, Pavel Snajdr wrote:
_______________________________________________
Community-list mailing list
Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list Dik moc, mas ji tam :)
Btw, otazka na vsechny - napada vas nejaka aplikace, ktera by
mohla mit problem s transparentni kompresi filesystemu?
Jedina manifestace toho je takova, ze "du" bez --apparent-size
ukazuje min zabranyho prostoru souborem, nez ls -lh. Takze jestli
vas nenapada aplikace, ktere by to mohlo vadit?
Ono tu kompresi je dobre tam mit - zmensi to zatez na IO (nemusi
se cist tolik dat, pokud jsou dobre komprimovatelna) a navic to
usetri diskspace, proto jsem ji by default zapnul.
Ale je dobre si to overit, nez to nasadime pripadne do
production
vsem.
- snajpa
Community-list mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
-- Sent from my Android phone with K-9 Mail. Please excuse my
brevity.
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlHiWy4ACgkQMBKdi9lkZ6pamQD+OvM0mR/CJYX5lYlGps1veEry
NXAKfx0mdnhxvfzvjh0BAM/ZRxAx9ucte4VaGHZ7dxJ5P7klAx5D3cxXdyJ7rj6u
=XOBd
-----END PGP SIGNATURE----- On 07/12/2013 06:08 PM, Jiří Fejfar wrote:
Ahoj, pokud je treba, muzu se taky dodatecne pridat k
testovani. VPS 1191. JuraF.
Dne 12. července 2013 17:22 Pavel Snajdr
<snajpa(a)snajpa.net
<mailto:snajpa@snajpa.net>> napsal(a):
A to cislo jsem zapomnel, je tam celkem 19 VPS.
Chtelo by to
vic, ale nikoho nutit nemuzu.
No zatim to bezi OK a nevypada, ze by s tim mely
byt problemy
(ne ze bych je cekal, a le na tyhle veci byvam az prilis
optimista).
- snajpa
> On 07/12/2013 05:20 PM, Pavel Snajdr wrote:
> Tak jsem tam domigroval vsechny testery, vsem moc dik a
> muzete ty masine dat poradne pocoudit :)
> To jsem te premigroval, ani sis nevsim :)
> (K testum se prihlasilo i par z vas, kdo mate
VPS v Brne, to
> tam premigrovat nemuzu, protoze byste prisli o IP adresu. Ale
> i tak diky.)
> - snajpa
>> On 07/12/2013 03:38 PM, Paladin wrote:
>> 1) kolik jsi jich cca nasel? ^_^
>> 2) mam ocekavat nejaky down time?
>> On Thu, Jul 11, 2013 at 03:36:32PM +0200,
Pavel Snajdr
>> wrote: Caute,
>> takze jdu postupne migrovat vsechny
testery na onen node6
>> :)
>> - snajpa
>> On 07/02/2013 04:29 PM, Pavel Snajdr
wrote:
>>>>> Ahojte,
>>>>>
>>>>> sice bylo ticho, neznamena to ale, ze jsme umreli.
>>>>>
>>>>> Uprimne ja osobne mam ted dost roztristenou
>>>>> pozornost mezi hromadu veci, tak se nekterym vecem
>>>>> venuju jenom tak, ze neco delam, ale nezbyva cas na
>>>>> "okecavani". Podobne bych rekl, ze to maji i dalsi
>>>>> :)
>>>>>
>>>>> Koupili jsme dva nove servery s 2.5" disky, jenze
>>>>> ukazalo se, ze LSI si nerozumi s
>>>>> notebook-upper-class disky (bezne jedou v pohode,
>>>>> kdyz se jim vypne parkovani hlavicek a podobne).
>>>>> Takze jsme nakoupili do jednoho nodu 10ks SAS2 7200
>>>>> RPM Seagate Constellation ES 1TB.
>>>>>
>>>>> Druhy node to ceka za nejakou dobu. Outcome je, ze
>>>>> mame 20 disku navic - kdo chcete, jde o WD Scorpio
>>>>> Black 750 GB (WD7500BPKT), zbavujeme se jich za 1250
>>>>> Kc (50 EUR), jsou nove, najeto maji nekolik desitek
>>>>> hodin. Zaruka by se resila pres nas vzdycky
>>>>> hromadneji, kdyz se toho sejde vic (stava se tak
>>>>> jednou za jeden-dva mesice). Kdo mate zajem, predani
>>>>> budeme resit osobne, jsou dostupne v Praze a
>>>>> Bratislave, piste na podporu.
>>>>>
>>>>> Dal, kvuli problemum s vzquota (je to pomala ****),
>>>>> lepsimu zalohovani a obnove, snapshotum, journalu na
>>>>> ext4 jako bottle necku... je na node6 (=> druhy z
>>>>> tech novych stroju) ZFS.
>>>>>
>>>>> Mam na tom uz par tydnu svoje VPSky a bezi to v
>>>>> pohode. Aither dodelava podporu do vpsAdminu, takze
>>>>> node6 bude pouzitelny pro vsechny uz brzo - konkretne
>>>>> v utery. Do konce mesice pojedeme v testovacim
>>>>> provozu, kdo mate zajem to vyzkouset, ozvete se na
>>>>> podporu prosim. Potreboval bych aspon 20
>>>>> dobrovolniku, ze zkusenosti vim, ze se jich ozve tak
>>>>> 5, zkuste se prosim vic zapojit, pokud muzete.
>>>>> Nejkrajnejsim a nejhororovejsim, zaroven nejmene
>>>>> pravdepodobnym scenarem je mozna ztrata dat od
>>>>> posledni zalohy a nekolik jednotek hodin
>>>>> dostupnosti. Prosim tedy vas tedy - vy, kteri jsou
>>>>> ochotni to akceptovat, mohli byste nam napsat na
>>>>> podporu? Diky moc.
>>>>>
>>>>> ZFS on Linux, pokud se prokaze, ma pro nas vsechny
>>>>> spoustu vyhod - rychlejsi zotaveni pri vypadku,
>>>>> rychlejsi zaloha a obnova ze zalohy, predvidatelna
>>>>> doba zalohovani (rozptyl nekolik jednotek minut, ne
>>>>> hodin jako ted), rychlejsi hojeni pri umrti disku,
>>>>> odolnost proti nahodnemu poskozeni dat. Take se nam
>>>>> do budoucna otevrou moznosti jako off-site backup (az
>>>>> na to budem e mit hw), rychlejsi spawnovani virtualu,
>>>>> on-demand snapshoty primo na nodu bez nutnosti jit
>>>>> pres backuper (hodi se pro experimentovani s upgrade
>>>>> OS ve VPS napr.), atd.
>>>>>
>>>>> V utery po 1:00 se udeje upgrade infrastruktury na
>>>>> nejnovejsi Scientific Linux release (6.4),
>>>>> nejnovejsi OpenVZ kernel a upravi se nastaveni site.
>>>>> zaroven **konecne** povolime moznost zvetsovat NAS
>>>>> prostor.
>>>>>
>>>>> Takze jsme neumreli, jenom je min casu na delani PR
>>>>> :)
>>>>>
>>>>> Cau vsem,
>>>>>
>>>>> Pavel Snajdr
>>>>>
>>>>> ; +421 948 816 186 | +420 720 107 791 |
>>>>> 110-010-956 CTO of Relbit | Predseda vpsFree.cz,
>>>>> o.s. | RHCE http://relbit.com | http://vpsfree.cz
>>>>> | https://www.redhat.com
>>>>> _______________________________________________
>>>>> Community-list mailing list
>>>>> Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
>>>>> http://lists.vpsfree.cz/listinfo/community-list
>>> _______________________________________________
>>> Community-list mailing list
>>> Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
>>> http://lists.vpsfree.cz/listinfo/community-list
>>>
>>>
>>> _______________________________________________
>>> Community-list mailing list
>>> Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
>>> http://lists.vpsfree.cz/listinfo/community-list
> _______________________________________________
> Community-list mailing list Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
> http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________
Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
12:12 p.m.
New subject: Update soucasneho stavu - ZFS + 10x 7200RPM SAS2 + 2x SSD + OpenVZ
nope, fakt je ta velikost bloku dynamicka. To by byla dost zasadni limitace, kdyby to
bylo, jak rikas.
Prave jsem koukal do kodu a jedine, co ta komprese - logicky - dela je, ze doplni
zkomprimovana data paddingem kvuli zarovnani na nejblizsi cely nasobek block size
underlying vdevu, u nas teda 4kB.
ZFS ma ale pojem tzv. gang blocku, umi v jedny txg (transaction group) / vic consecutive
txg v ramci jednoho sync okna sloucit malinky bloky jako subblocky do gang blocku (=
uzitecny pro pidisoubory).
Doporucuju zfs nainstalovat a pomoci zdb se fakt kouknout, co to na tech diskach dela :)
--
Sent from your iPad.On 14.07.2013 13:32 Stanislav Petr wrote:
Tohle platí při VYPNUTY kompresi. Jde o to ze samotný kompresní algoritmus pracuje s
pevnou velikosti bloku a i malá změna je změnou celého bloku komprimovanych dat.
Stanislav Petr
14. 7. 2013 v 10:02, Pavel Snajdr <snajpa(a)snajpa.net>et>:
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
*WRONG* :)
velikost bloku v ZFS je dynamicka od 512B do 1MB, na disk se data
flushuji jednou za 5s a snazi se je seskupovat do vetsich chunku,
kterym se rika transaction groups.
Cele ZFS je navrzene tak, aby stacilo v maximalnim pocte pripadu
proste udelat write, ne nutne read-modify-write.
- - snajpa
_______________________________________________
Community-list mailing list
Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
On 07/14/2013 01:34 AM, glux(a)glux.org wrote:
Ono to vychazi z toho ze se komprimuji vetsi bloky dat, myslim ze
defaultni velikost bloku ktey se v ZFS komprimuje je 4KB, coz
znamena z pri zmene napr. 1B uvnitr souboru se musi precist cely
blok komprimovanych dat, prekomprimovat a opet cely zapsat. A
nektere operace napriklad v SQL databazich presne takovehle
chovani, kdy se meni jen velice malo dat (napr. DELETE kde se
pouze “oznacuje” jako smazane - protoze mazani fyzicky je az
VACUUM) zpusobuji vetsi zdrzeni. Pokud by se nastavila velikost
bloku pro kompresi na malou hodnotu, napr. 512B stejne jako ma
fyzicky sektor tak by sel kompresni pomer drastiky dolu.
Sent from Windows Mail
*From:* Tomas Volf *Sent:* Saturday, July 13, 2013 10:32
AM *To:* vpsFree.cz Community list
pokud si pamatuju co snajpa, tak io vykon by naopak mel jit
nahoru.. rozdil by mel byt akorat v hlasene a skutecne velikosti
souboru.
potom co jsem u sebe zapnull kompresi, sel vykon selkove spise
nahoru. u postgresql jsem si niceho nevsiml, ale asi neni pod
dostatecnou zatezi aby se neco projevilo tedy
glux(a)glux.org wrote:
No, kdyz jsem zkousel ZFS ze zapnutou kompresi tak napriklat u
PostgreSQL byl znatelnej propad vykonu, ale na druhou stranu jiny
aplikace (jako treba dovecot) sly vykonove nahoru. Univerzalni
odpoved tady asi neexistuje. Nicmene myslim si ze by to urcite
stalo za vyzkouseni, protoze pokud by nekdo provozoval aplikace tak
moc citlivy na vykon IO (zejmena v zapisu), nebude to provozovat na
VPS. Takze ja si myslim ze pro vetsinu to bude budto drobnym
prinosem nebo to nijak nezaznamenaj.
Sent from Windows Mail
*From:* mrkva(a)mrkva.eu *Sent:* Friday, July 12, 2013
6:29 PM *To:* community-list(a)lists.vpsfree.cz
Co CPU overhead? On 12.7.2013 18:23, Pavel Snajdr wrote:
_______________________________________________
Community-list mailing list
Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
Dik moc, mas ji tam :)
Btw, otazka na vsechny - napada vas nejaka aplikace, ktera by
mohla mit problem s transparentni kompresi filesystemu?
Jedina manifestace toho je takova, ze "du" bez --apparent-size
ukazuje min zabranyho prostoru souborem, nez ls -lh. Takze jestli
vas nenapada aplikace, ktere by to mohlo vadit?
Ono tu kompresi je dobre tam mit - zmensi to zatez na IO (nemusi
se cist tolik dat, pokud jsou dobre komprimovatelna) a navic to
usetri diskspace, proto jsem ji by default zapnul.
Ale je dobre si to overit, nez to nasadime pripadne do
production
vsem.
- snajpa
Community-list mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
-- Sent from my Android phone with K-9 Mail. Please excuse my
brevity.
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlHiWy4ACgkQMBKdi9lkZ6pamQD+OvM0mR/CJYX5lYlGps1veEry
NXAKfx0mdnhxvfzvjh0BAM/ZRxAx9ucte4VaGHZ7dxJ5P7klAx5D3cxXdyJ7rj6u
=XOBd
-----END PGP SIGNATURE----- On 07/12/2013 06:08 PM, Jiří Fejfar wrote:
Ahoj, pokud je treba, muzu se taky dodatecne pridat k
testovani. VPS 1191. JuraF.
Dne 12. července 2013 17:22 Pavel Snajdr
<snajpa(a)snajpa.net
<mailto:snajpa@snajpa.net>> napsal(a):
A to cislo jsem zapomnel, je tam celkem 19 VPS.
Chtelo by to
vic, ale nikoho nutit nemuzu.
No zatim to bezi OK a nevypada, ze by s tim mely
byt problemy
(ne ze bych je cekal, a le na tyhle veci byvam az prilis
optimista).
- snajpa
> On 07/12/2013 05:20 PM, Pavel Snajdr wrote:
> Tak jsem tam domigroval vsechny testery, vsem moc dik a
> muzete ty masine dat poradne pocoudit :)
> To jsem te premigroval, ani sis nevsim :)
> (K testum se prihlasilo i par z vas, kdo mate
VPS v Brne, to
> tam premigrovat nemuzu, protoze byste prisli o IP adresu. Ale
> i tak diky.)
> - snajpa
>> On 07/12/2013 03:38 PM, Paladin wrote:
>> 1) kolik jsi jich cca nasel? ^_^
>> 2) mam ocekavat nejaky down time?
>> On Thu, Jul 11, 2013 at 03:36:32PM +0200,
Pavel Snajdr
>> wrote: Caute,
>> takze jdu postupne migrovat vsechny
testery na onen node6
>> :)
>> - snajpa
>> On 07/02/2013 04:29 PM, Pavel Snajdr
wrote:
>>>>> Ahojte,
>>>>>
>>>>> sice bylo ticho, neznamena to ale, ze jsme umreli.
>>>>>
>>>>> Uprimne ja osobne mam ted dost roztristenou
>>>>> pozornost mezi hromadu veci, tak se nekterym vecem
>>>>> venuju jenom tak, ze neco delam, ale nezbyva cas na
>>>>> "okecavani". Podobne bych rekl, ze to maji i dalsi
>>>>> :)
>>>>>
>>>>> Koupili jsme dva nove servery s 2.5" disky, jenze
>>>>> ukazalo se, ze LSI si nerozumi s
>>>>> notebook-upper-class disky (bezne jedou v pohode,
>>>>> kdyz se jim vypne parkovani hlavicek a podobne).
>>>>> Takze jsme nakoupili do jednoho nodu 10ks SAS2 7200
>>>>> RPM Seagate Constellation ES 1TB.
>>>>>
>>>>> Druhy node to ceka za nejakou dobu. Outcome je, ze
>>>>> mame 20 disku navic - kdo chcete, jde o WD Scorpio
>>>>> Black 750 GB (WD7500BPKT), zbavujeme se jich za 1250
>>>>> Kc (50 EUR), jsou nove, najeto maji nekolik desitek
>>>>> hodin. Zaruka by se resila pres nas vzdycky
>>>>> hromadneji, kdyz se toho sejde vic (stava se tak
>>>>> jednou za jeden-dva mesice). Kdo mate zajem, predani
>>>>> budeme resit osobne, jsou dostupne v Praze a
>>>>> Bratislave, piste na podporu.
>>>>>
>>>>> Dal, kvuli problemum s vzquota (je to pomala ****),
>>>>> lepsimu zalohovani a obnove, snapshotum, journalu na
>>>>> ext4 jako bottle necku... je na node6 (=> druhy z
>>>>> tech novych stroju) ZFS.
>>>>>
>>>>> Mam na tom uz par tydnu svoje VPSky a bezi to v
>>>>> pohode. Aither dodelava podporu do vpsAdminu, takze
>>>>> node6 bude pouzitelny pro vsechny uz brzo - konkretne
>>>>> v utery. Do konce mesice pojedeme v testovacim
>>>>> provozu, kdo mate zajem to vyzkouset, ozvete se na
>>>>> podporu prosim. Potreboval bych aspon 20
>>>>> dobrovolniku, ze zkusenosti vim, ze se jich ozve tak
>>>>> 5, zkuste se prosim vic zapojit, pokud muzete.
>>>>> Nejkrajnejsim a nejhororovejsim, zaroven nejmene
>>>>> pravdepodobnym scenarem je mozna ztrata dat od
>>>>> posledni zalohy a nekolik jednotek hodin
>>>>> dostupnosti. Prosim tedy vas tedy - vy, kteri jsou
>>>>> ochotni to akceptovat, mohli byste nam napsat na
>>>>> podporu? Diky moc.
>>>>>
>>>>> ZFS on Linux, pokud se prokaze, ma pro nas vsechny
>>>>> spoustu vyhod - rychlejsi zotaveni pri vypadku,
>>>>> rychlejsi zaloha a obnova ze zalohy, predvidatelna
>>>>> doba zalohovani (rozptyl nekolik jednotek minut, ne
>>>>> hodin jako ted), rychlejsi hojeni pri umrti disku,
>>>>> odolnost proti nahodnemu poskozeni dat. Take se nam
>>>>> do budoucna otevrou moznosti jako off-site backup (az
>>>>> na to budem e mit hw), rychlejsi spawnovani virtualu,
>>>>> on-demand snapshoty primo na nodu bez nutnosti jit
>>>>> pres backuper (hodi se pro experimentovani s upgrade
>>>>> OS ve VPS napr.), atd.
>>>>>
>>>>> V utery po 1:00 se udeje upgrade infrastruktury na
>>>>> nejnovejsi Scientific Linux release (6.4),
>>>>> nejnovejsi OpenVZ kernel a upravi se nastaveni site.
>>>>> zaroven **konecne** povolime moznost zvetsovat NAS
>>>>> prostor.
>>>>>
>>>>> Takze jsme neumreli, jenom je min casu na delani PR
>>>>> :)
>>>>>
>>>>> Cau vsem,
>>>>>
>>>>> Pavel Snajdr
>>>>>
>>>>> ; +421 948 816 186 | +420 720 107 791 |
>>>>> 110-010-956 CTO of Relbit | Predseda vpsFree.cz,
>>>>> o.s. | RHCE http://relbit.com | http://vpsfree.cz
>>>>> | https://www.redhat.com
>>>>> _______________________________________________
>>>>> Community-list mailing list
>>>>> Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
>>>>> http://lists.vpsfree.cz/listinfo/community-list
>>> _______________________________________________
>>> Community-list mailing list
>>> Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
>>> http://lists.vpsfree.cz/listinfo/community-list
>>>
>>>
>>> _______________________________________________
>>> Community-list mailing list
>>> Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
>>> http://lists.vpsfree.cz/listinfo/community-list
> _______________________________________________
> Community-list mailing list Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
> http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________
Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
12:16 p.m.
New subject: Update soucasneho stavu - ZFS + 10x 7200RPM SAS2 + 2x SSD + OpenVZ
To teda znamena, ze pro nektery situace se read-write-modify nevyhnes, v tom mas pravdu,
ale reagoval jsem teda primarne na tvoje tvrzeni o fixni velikosti compressed bloku.
Jinak jeste pro zajimavost, ZFS zkusi ten blok zkomprimovat a kdyz nedostane aspon 12%
usporu, zapise blok nekomprimovane.
--
Sent from your iPad.On 14.07.2013 14:12 snajpa(a)snajpa.net wrote:
nope, fakt je ta velikost bloku dynamicka. To by byla dost zasadni limitace, kdyby to
bylo, jak rikas.
Prave jsem koukal do kodu a jedine, co ta komprese - logicky - dela je, ze doplni
zkomprimovana data paddingem kvuli zarovnani na nejblizsi cely nasobek block size
underlying vdevu, u nas teda 4kB.
ZFS ma ale pojem tzv. gang blocku, umi v jedny txg (transaction group) / vic consecutive
txg v ramci jednoho sync okna sloucit malinky bloky jako subblocky do gang blocku (=
uzitecny pro pidisoubory).
Doporucuju zfs nainstalovat a pomoci zdb se fakt kouknout, co to na tech diskach dela :)
--
Sent from your iPad.On 14.07.2013 13:32 Stanislav Petr wrote:
Tohle platí při VYPNUTY kompresi. Jde o to ze samotný kompresní algoritmus pracuje s
pevnou velikosti bloku a i malá změna je změnou celého bloku komprimovanych dat.
Stanislav Petr
14. 7. 2013 v 10:02, Pavel Snajdr <snajpa(a)snajpa.net>et>:
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
*WRONG* :)
velikost bloku v ZFS je dynamicka od 512B do 1MB, na disk se data
flushuji jednou za 5s a snazi se je seskupovat do vetsich chunku,
kterym se rika transaction groups.
Cele ZFS je navrzene tak, aby stacilo v maximalnim pocte pripadu
proste udelat write, ne nutne read-modify-write.
- - snajpa
_______________________________________________
Community-list mailing list
Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
On 07/14/2013 01:34 AM, glux(a)glux.org wrote:
Ono to vychazi z toho ze se komprimuji vetsi bloky dat, myslim ze
defaultni velikost bloku ktey se v ZFS komprimuje je 4KB, coz
znamena z pri zmene napr. 1B uvnitr souboru se musi precist cely
blok komprimovanych dat, prekomprimovat a opet cely zapsat. A
nektere operace napriklad v SQL databazich presne takovehle
chovani, kdy se meni jen velice malo dat (napr. DELETE kde se
pouze “oznacuje” jako smazane - protoze mazani fyzicky je az
VACUUM) zpusobuji vetsi zdrzeni. Pokud by se nastavila velikost
bloku pro kompresi na malou hodnotu, napr. 512B stejne jako ma
fyzicky sektor tak by sel kompresni pomer drastiky dolu.
Sent from Windows Mail
*From:* Tomas Volf *Sent:* Saturday, July 13, 2013 10:32
AM *To:* vpsFree.cz Community list
pokud si pamatuju co snajpa, tak io vykon by naopak mel jit
nahoru.. rozdil by mel byt akorat v hlasene a skutecne velikosti
souboru.
potom co jsem u sebe zapnull kompresi, sel vykon selkove spise
nahoru. u postgresql jsem si niceho nevsiml, ale asi neni pod
dostatecnou zatezi aby se neco projevilo tedy
glux(a)glux.org wrote:
No, kdyz jsem zkousel ZFS ze zapnutou kompresi tak napriklat u
PostgreSQL byl znatelnej propad vykonu, ale na druhou stranu jiny
aplikace (jako treba dovecot) sly vykonove nahoru. Univerzalni
odpoved tady asi neexistuje. Nicmene myslim si ze by to urcite
stalo za vyzkouseni, protoze pokud by nekdo provozoval aplikace tak
moc citlivy na vykon IO (zejmena v zapisu), nebude to provozovat na
VPS. Takze ja si myslim ze pro vetsinu to bude budto drobnym
prinosem nebo to nijak nezaznamenaj.
Sent from Windows Mail
*From:* mrkva(a)mrkva.eu *Sent:* Friday, July 12, 2013
6:29 PM *To:* community-list(a)lists.vpsfree.cz
Co CPU overhead? On 12.7.2013 18:23, Pavel Snajdr wrote:
_______________________________________________
Community-list mailing list
Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
Dik moc, mas ji tam :)
Btw, otazka na vsechny - napada vas nejaka aplikace, ktera by
mohla mit problem s transparentni kompresi filesystemu?
Jedina manifestace toho je takova, ze "du" bez --apparent-size
ukazuje min zabranyho prostoru souborem, nez ls -lh. Takze jestli
vas nenapada aplikace, ktere by to mohlo vadit?
Ono tu kompresi je dobre tam mit - zmensi to zatez na IO (nemusi
se cist tolik dat, pokud jsou dobre komprimovatelna) a navic to
usetri diskspace, proto jsem ji by default zapnul.
Ale je dobre si to overit, nez to nasadime pripadne do
production
vsem.
- snajpa
Community-list mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
-- Sent from my Android phone with K-9 Mail. Please excuse my
brevity.
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
-----BEGIN PGP
SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlHiWy4ACgkQMBKdi9lkZ6pamQD+OvM0mR/CJYX5lYlGps1veEry
NXAKfx0mdnhxvfzvjh0BAM/ZRxAx9ucte4VaGHZ7dxJ5P7klAx5D3cxXdyJ7rj6u
=XOBd
-----END PGP SIGNATURE----- On 07/12/2013 06:08 PM, Jiří Fejfar wrote:
Ahoj, pokud je treba, muzu se taky dodatecne pridat k
testovani. VPS 1191. JuraF.
Dne 12. července 2013 17:22 Pavel Snajdr
<snajpa(a)snajpa.net
<mailto:snajpa@snajpa.net>> napsal(a):
A to cislo jsem zapomnel, je tam celkem 19 VPS.
Chtelo by to
vic, ale nikoho nutit nemuzu.
No zatim to bezi OK a nevypada, ze by s tim mely
byt problemy
(ne ze bych je cekal, a le na tyhle veci byvam az prilis
optimista).
- snajpa
> On 07/12/2013 05:20 PM, Pavel Snajdr wrote:
> Tak jsem tam domigroval vsechny testery, vsem moc dik a
> muzete ty masine dat poradne pocoudit :)
> To jsem te premigroval, ani sis nevsim :)
> (K testum se prihlasilo i par z vas, kdo mate
VPS v Brne, to
> tam premigrovat nemuzu, protoze byste prisli o IP adresu. Ale
> i tak diky.)
> - snajpa
>> On 07/12/2013 03:38 PM, Paladin wrote:
>> 1) kolik jsi jich cca nasel? ^_^
>> 2) mam ocekavat nejaky down time?
>> On Thu, Jul 11, 2013 at 03:36:32PM +0200,
Pavel Snajdr
>> wrote: Caute,
>> takze jdu postupne migrovat vsechny
testery na onen node6
>> :)
>> - snajpa
>> On 07/02/2013 04:29 PM, Pavel Snajdr
wrote:
>>>>> Ahojte,
>>>>>
>>>>> sice bylo ticho, neznamena to ale, ze jsme umreli.
>>>>>
>>>>> Uprimne ja osobne mam ted dost roztristenou
>>>>> pozornost mezi hromadu veci, tak se nekterym vecem
>>>>> venuju jenom tak, ze neco delam, ale nezbyva cas na
>>>>> "okecavani". Podobne bych rekl, ze to maji i dalsi
>>>>> :)
>>>>>
>>>>> Koupili jsme dva nove servery s 2.5" disky, jenze
>>>>> ukazalo se, ze LSI si nerozumi s
>>>>> notebook-upper-class disky (bezne jedou v pohode,
>>>>> kdyz se jim vypne parkovani hlavicek a podobne).
>>>>> Takze jsme nakoupili do jednoho nodu 10ks SAS2 7200
>>>>> RPM Seagate Constellation ES 1TB.
>>>>>
>>>>> Druhy node to ceka za nejakou dobu. Outcome je, ze
>>>>> mame 20 disku navic - kdo chcete, jde o WD Scorpio
>>>>> Black 750 GB (WD7500BPKT), zbavujeme se jich za 1250
>>>>> Kc (50 EUR), jsou nove, najeto maji nekolik desitek
>>>>> hodin. Zaruka by se resila pres nas vzdycky
>>>>> hromadneji, kdyz se toho sejde vic (stava se tak
>>>>> jednou za jeden-dva mesice). Kdo mate zajem, predani
>>>>> budeme resit osobne, jsou dostupne v Praze a
>>>>> Bratislave, piste na podporu.
>>>>>
>>>>> Dal, kvuli problemum s vzquota (je to pomala ****),
>>>>> lepsimu zalohovani a obnove, snapshotum, journalu na
>>>>> ext4 jako bottle necku... je na node6 (=> druhy z
>>>>> tech novych stroju) ZFS.
>>>>>
>>>>> Mam na tom uz par tydnu svoje VPSky a bezi to v
>>>>> pohode. Aither dodelava podporu do vpsAdminu, takze
>>>>> node6 bude pouzitelny pro vsechny uz brzo - konkretne
>>>>> v utery. Do konce mesice pojedeme v testovacim
>>>>> provozu, kdo mate zajem to vyzkouset, ozvete se na
>>>>> podporu prosim. Potreboval bych aspon 20
>>>>> dobrovolniku, ze zkusenosti vim, ze se jich ozve tak
>>>>> 5, zkuste se prosim vic zapojit, pokud muzete.
>>>>> Nejkrajnejsim a nejhororovejsim, zaroven nejmene
>>>>> pravdepodobnym scenarem je mozna ztrata dat od
>>>>> posledni zalohy a nekolik jednotek hodin
>>>>> dostupnosti. Prosim tedy vas tedy - vy, kteri jsou
>>>>> ochotni to akceptovat, mohli byste nam napsat na
>>>>> podporu? Diky moc.
>>>>>
>>>>> ZFS on Linux, pokud se prokaze, ma pro nas vsechny
>>>>> spoustu vyhod - rychlejsi zotaveni pri vypadku,
>>>>> rychlejsi zaloha a obnova ze zalohy, predvidatelna
>>>>> doba zalohovani (rozptyl nekolik jednotek minut, ne
>>>>> hodin jako ted), rychlejsi hojeni pri umrti disku,
>>>>> odolnost proti nahodnemu poskozeni dat. Take se nam
>>>>> do budoucna otevrou moznosti jako off-site backup (az
>>>>> na to budem e mit hw), rychlejsi spawnovani virtualu,
>>>>> on-demand snapshoty primo na nodu bez nutnosti jit
>>>>> pres backuper (hodi se pro experimentovani s upgrade
>>>>> OS ve VPS napr.), atd.
>>>>>
>>>>> V utery po 1:00 se udeje upgrade infrastruktury na
>>>>> nejnovejsi Scientific Linux release (6.4),
>>>>> nejnovejsi OpenVZ kernel a upravi se nastaveni site.
>>>>> zaroven **konecne** povolime moznost zvetsovat NAS
>>>>> prostor.
>>>>>
>>>>> Takze jsme neumreli, jenom je min casu na delani PR
>>>>> :)
>>>>>
>>>>> Cau vsem,
>>>>>
>>>>> Pavel Snajdr
>>>>>
>>>>> ; +421 948 816 186 | +420 720 107 791 |
>>>>> 110-010-956 CTO of Relbit | Predseda vpsFree.cz,
>>>>> o.s. | RHCE http://relbit.com | http://vpsfree.cz
>>>>> | https://www.redhat.com
>>>>> _______________________________________________
>>>>> Community-list mailing list
>>>>> Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
>>>>> http://lists.vpsfree.cz/listinfo/community-list
>>> _______________________________________________
>>> Community-list mailing list
>>> Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
>>> http://lists.vpsfree.cz/listinfo/community-list
>>>
>>>
>>> _______________________________________________
>>> Community-list mailing list
>>> Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
>>> http://lists.vpsfree.cz/listinfo/community-list
> _______________________________________________
> Community-list mailing list Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
> http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
<mailto:Community-list@lists.vpsfree.cz>
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________
Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list
mailing list Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list
3962
days inactive
3962
days old
community-list@lists.vpsfree.cz
3 comments
3 participants
participants (3)
-
Pavel Snajdr -
snajpa＠snajpa.net
-
Stanislav Petr