Re: [vpsFree.cz: community-list] Update soucasneho stavu - ZFS + 10x 7200RPM SAS2 + 2x SSD + OpenVZ
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 *WRONG* :) velikost bloku v ZFS je dynamicka od 512B do 1MB, na disk se data flushuji jednou za 5s a snazi se je seskupovat do vetsich chunku, kterym se rika transaction groups. Cele ZFS je navrzene tak, aby stacilo v maximalnim pocte pripadu proste udelat write, ne nutne read-modify-write. - - snajpa On 07/14/2013 01:34 AM, glux@glux.org wrote:
Ono to vychazi z toho ze se komprimuji vetsi bloky dat, myslim ze defaultni velikost bloku ktey se v ZFS komprimuje je 4KB, coz znamena z pri zmene napr. 1B uvnitr souboru se musi precist cely blok komprimovanych dat, prekomprimovat a opet cely zapsat. A nektere operace napriklad v SQL databazich presne takovehle chovani, kdy se meni jen velice malo dat (napr. DELETE kde se pouze “oznacuje” jako smazane - protoze mazani fyzicky je az VACUUM) zpusobuji vetsi zdrzeni. Pokud by se nastavila velikost bloku pro kompresi na malou hodnotu, napr. 512B stejne jako ma fyzicky sektor tak by sel kompresni pomer drastiky dolu.
Sent from Windows Mail
*From:* Tomas Volf *Sent:* Saturday, July 13, 2013 10:32 AM *To:* vpsFree.cz Community list
pokud si pamatuju co snajpa, tak io vykon by naopak mel jit nahoru.. rozdil by mel byt akorat v hlasene a skutecne velikosti souboru.
potom co jsem u sebe zapnull kompresi, sel vykon selkove spise nahoru. u postgresql jsem si niceho nevsiml, ale asi neni pod dostatecnou zatezi aby se neco projevilo tedy
glux@glux.org wrote:
No, kdyz jsem zkousel ZFS ze zapnutou kompresi tak napriklat u PostgreSQL byl znatelnej propad vykonu, ale na druhou stranu jiny aplikace (jako treba dovecot) sly vykonove nahoru. Univerzalni odpoved tady asi neexistuje. Nicmene myslim si ze by to urcite stalo za vyzkouseni, protoze pokud by nekdo provozoval aplikace tak moc citlivy na vykon IO (zejmena v zapisu), nebude to provozovat na VPS. Takze ja si myslim ze pro vetsinu to bude budto drobnym prinosem nebo to nijak nezaznamenaj.
Sent from Windows Mail
*From:* mrkva@mrkva.eu *Sent:* Friday, July 12, 2013 6:29 PM *To:* community-list@lists.vpsfree.cz
Co CPU overhead? On 12.7.2013 18:23, Pavel Snajdr wrote:
Dik moc, mas ji tam :)
Btw, otazka na vsechny - napada vas nejaka aplikace, ktera by mohla mit problem s transparentni kompresi filesystemu?
Jedina manifestace toho je takova, ze "du" bez --apparent-size ukazuje min zabranyho prostoru souborem, nez ls -lh. Takze jestli vas nenapada aplikace, ktere by to mohlo vadit?
Ono tu kompresi je dobre tam mit - zmensi to zatez na IO (nemusi se cist tolik dat, pokud jsou dobre komprimovatelna) a navic to usetri diskspace, proto jsem ji by default zapnul.
Ale je dobre si to overit, nez to nasadime pripadne do production vsem.
- snajpa
On 07/12/2013 06:08 PM, Jiří Fejfar wrote:
Ahoj, pokud je treba, muzu se taky dodatecne pridat k testovani. VPS 1191. JuraF.
Dne 12. července 2013 17:22 Pavel Snajdr <snajpa@snajpa.net <mailto:snajpa@snajpa.net>> napsal(a):
A to cislo jsem zapomnel, je tam celkem 19 VPS. Chtelo by to vic, ale nikoho nutit nemuzu.
No zatim to bezi OK a nevypada, ze by s tim mely byt problemy (ne ze bych je cekal, a le na tyhle veci byvam az prilis optimista).
- snajpa
On 07/12/2013 05:20 PM, Pavel Snajdr wrote:
Tak jsem tam domigroval vsechny testery, vsem moc dik a muzete ty masine dat poradne pocoudit :)
To jsem te premigroval, ani sis nevsim :)
(K testum se prihlasilo i par z vas, kdo mate VPS v Brne, to tam premigrovat nemuzu, protoze byste prisli o IP adresu. Ale i tak diky.)
- snajpa
On 07/12/2013 03:38 PM, Paladin wrote:
1) kolik jsi jich cca nasel? ^_^
2) mam ocekavat nejaky down time?
On Thu, Jul 11, 2013 at 03:36:32PM +0200, Pavel Snajdr wrote: Caute,
takze jdu postupne migrovat vsechny testery na onen node6 :)
- snajpa
On 07/02/2013 04:29 PM, Pavel Snajdr wrote:
>> Ahojte, >> >> sice bylo ticho, neznamena to ale, ze jsme umreli. >> >> Uprimne ja osobne mam ted dost roztristenou >> pozornost mezi hromadu veci, tak se nekterym vecem >> venuju jenom tak, ze neco delam, ale nezbyva cas na >> "okecavani". Podobne bych rekl, ze to maji i dalsi >> :) >> >> Koupili jsme dva nove servery s 2.5" disky, jenze >> ukazalo se, ze LSI si nerozumi s >> notebook-upper-class disky (bezne jedou v pohode, >> kdyz se jim vypne parkovani hlavicek a podobne). >> Takze jsme nakoupili do jednoho nodu 10ks SAS2 7200 >> RPM Seagate Constellation ES 1TB. >> >> Druhy node to ceka za nejakou dobu. Outcome je, ze >> mame 20 disku navic - kdo chcete, jde o WD Scorpio >> Black 750 GB (WD7500BPKT), zbavujeme se jich za 1250 >> Kc (50 EUR), jsou nove, najeto maji nekolik desitek >> hodin. Zaruka by se resila pres nas vzdycky >> hromadneji, kdyz se toho sejde vic (stava se tak >> jednou za jeden-dva mesice). Kdo mate zajem, predani >> budeme resit osobne, jsou dostupne v Praze a >> Bratislave, piste na podporu. >> >> Dal, kvuli problemum s vzquota (je to pomala ****), >> lepsimu zalohovani a obnove, snapshotum, journalu na >> ext4 jako bottle necku... je na node6 (=> druhy z >> tech novych stroju) ZFS. >> >> Mam na tom uz par tydnu svoje VPSky a bezi to v >> pohode. Aither dodelava podporu do vpsAdminu, takze >> node6 bude pouzitelny pro vsechny uz brzo - konkretne >> v utery. Do konce mesice pojedeme v testovacim >> provozu, kdo mate zajem to vyzkouset, ozvete se na >> podporu prosim. Potreboval bych aspon 20 >> dobrovolniku, ze zkusenosti vim, ze se jich ozve tak >> 5, zkuste se prosim vic zapojit, pokud muzete. >> Nejkrajnejsim a nejhororovejsim, zaroven nejmene >> pravdepodobnym scenarem je mozna ztrata dat od >> posledni zalohy a nekolik jednotek hodin >> dostupnosti. Prosim tedy vas tedy - vy, kteri jsou >> ochotni to akceptovat, mohli byste nam napsat na >> podporu? Diky moc. >> >> ZFS on Linux, pokud se prokaze, ma pro nas vsechny >> spoustu vyhod - rychlejsi zotaveni pri vypadku, >> rychlejsi zaloha a obnova ze zalohy, predvidatelna >> doba zalohovani (rozptyl nekolik jednotek minut, ne >> hodin jako ted), rychlejsi hojeni pri umrti disku, >> odolnost proti nahodnemu poskozeni dat. Take se nam >> do budoucna otevrou moznosti jako off-site backup (az >> na to budem e mit hw), rychlejsi spawnovani virtualu, >> on-demand snapshoty primo na nodu bez nutnosti jit >> pres backuper (hodi se pro experimentovani s upgrade >> OS ve VPS napr.), atd. >> >> V utery po 1:00 se udeje upgrade infrastruktury na >> nejnovejsi Scientific Linux release (6.4), >> nejnovejsi OpenVZ kernel a upravi se nastaveni site. >> zaroven **konecne** povolime moznost zvetsovat NAS >> prostor. >> >> Takze jsme neumreli, jenom je min casu na delani PR >> :) >> >> Cau vsem, >> >> Pavel Snajdr >> >> ; +421 948 816 186 | +420 720 107 791 | >> 110-010-956 CTO of Relbit | Predseda vpsFree.cz, >> o.s. | RHCE http://relbit.com | http://vpsfree.cz >> | https://www.redhat.com >> _______________________________________________ >> Community-list mailing list >> Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> >> http://lists.vpsfree.cz/listinfo/community-list _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-- Sent from my Android phone with K-9 Mail. Please excuse my brevity.
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlHiWy4ACgkQMBKdi9lkZ6pamQD+OvM0mR/CJYX5lYlGps1veEry NXAKfx0mdnhxvfzvjh0BAM/ZRxAx9ucte4VaGHZ7dxJ5P7klAx5D3cxXdyJ7rj6u =XOBd -----END PGP SIGNATURE-----
Tohle platí při VYPNUTY kompresi. Jde o to ze samotný kompresní algoritmus pracuje s pevnou velikosti bloku a i malá změna je změnou celého bloku komprimovanych dat. Stanislav Petr 14. 7. 2013 v 10:02, Pavel Snajdr <snajpa@snajpa.net>:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
*WRONG* :)
velikost bloku v ZFS je dynamicka od 512B do 1MB, na disk se data flushuji jednou za 5s a snazi se je seskupovat do vetsich chunku, kterym se rika transaction groups.
Cele ZFS je navrzene tak, aby stacilo v maximalnim pocte pripadu proste udelat write, ne nutne read-modify-write.
- - snajpa
On 07/14/2013 01:34 AM, glux@glux.org wrote: Ono to vychazi z toho ze se komprimuji vetsi bloky dat, myslim ze defaultni velikost bloku ktey se v ZFS komprimuje je 4KB, coz znamena z pri zmene napr. 1B uvnitr souboru se musi precist cely blok komprimovanych dat, prekomprimovat a opet cely zapsat. A nektere operace napriklad v SQL databazich presne takovehle chovani, kdy se meni jen velice malo dat (napr. DELETE kde se pouze “oznacuje” jako smazane - protoze mazani fyzicky je az VACUUM) zpusobuji vetsi zdrzeni. Pokud by se nastavila velikost bloku pro kompresi na malou hodnotu, napr. 512B stejne jako ma fyzicky sektor tak by sel kompresni pomer drastiky dolu.
Sent from Windows Mail
*From:* Tomas Volf *Sent:* Saturday, July 13, 2013 10:32 AM *To:* vpsFree.cz Community list
pokud si pamatuju co snajpa, tak io vykon by naopak mel jit nahoru.. rozdil by mel byt akorat v hlasene a skutecne velikosti souboru.
potom co jsem u sebe zapnull kompresi, sel vykon selkove spise nahoru. u postgresql jsem si niceho nevsiml, ale asi neni pod dostatecnou zatezi aby se neco projevilo tedy
glux@glux.org wrote:
No, kdyz jsem zkousel ZFS ze zapnutou kompresi tak napriklat u PostgreSQL byl znatelnej propad vykonu, ale na druhou stranu jiny aplikace (jako treba dovecot) sly vykonove nahoru. Univerzalni odpoved tady asi neexistuje. Nicmene myslim si ze by to urcite stalo za vyzkouseni, protoze pokud by nekdo provozoval aplikace tak moc citlivy na vykon IO (zejmena v zapisu), nebude to provozovat na VPS. Takze ja si myslim ze pro vetsinu to bude budto drobnym prinosem nebo to nijak nezaznamenaj.
Sent from Windows Mail
*From:* mrkva@mrkva.eu *Sent:* Friday, July 12, 2013 6:29 PM *To:* community-list@lists.vpsfree.cz
Co CPU overhead? On 12.7.2013 18:23, Pavel Snajdr wrote:
Dik moc, mas ji tam :)
Btw, otazka na vsechny - napada vas nejaka aplikace, ktera by mohla mit problem s transparentni kompresi filesystemu?
Jedina manifestace toho je takova, ze "du" bez --apparent-size ukazuje min zabranyho prostoru souborem, nez ls -lh. Takze jestli vas nenapada aplikace, ktere by to mohlo vadit?
Ono tu kompresi je dobre tam mit - zmensi to zatez na IO (nemusi se cist tolik dat, pokud jsou dobre komprimovatelna) a navic to usetri diskspace, proto jsem ji by default zapnul.
Ale je dobre si to overit, nez to nasadime pripadne do production vsem.
- snajpa
On 07/12/2013 06:08 PM, Jiří Fejfar wrote: Ahoj, pokud je treba, muzu se taky dodatecne pridat k testovani. VPS 1191. JuraF.
Dne 12. července 2013 17:22 Pavel Snajdr <snajpa@snajpa.net <mailto:snajpa@snajpa.net>> napsal(a):
A to cislo jsem zapomnel, je tam celkem 19 VPS. Chtelo by to vic, ale nikoho nutit nemuzu.
No zatim to bezi OK a nevypada, ze by s tim mely byt problemy (ne ze bych je cekal, a le na tyhle veci byvam az prilis optimista).
- snajpa
On 07/12/2013 05:20 PM, Pavel Snajdr wrote: Tak jsem tam domigroval vsechny testery, vsem moc dik a muzete ty masine dat poradne pocoudit :)
To jsem te premigroval, ani sis nevsim :)
(K testum se prihlasilo i par z vas, kdo mate VPS v Brne, to tam premigrovat nemuzu, protoze byste prisli o IP adresu. Ale i tak diky.)
- snajpa
On 07/12/2013 03:38 PM, Paladin wrote: 1) kolik jsi jich cca nasel? ^_^
2) mam ocekavat nejaky down time?
On Thu, Jul 11, 2013 at 03:36:32PM +0200, Pavel Snajdr wrote: Caute,
takze jdu postupne migrovat vsechny testery na onen node6 :)
- snajpa
On 07/02/2013 04:29 PM, Pavel Snajdr wrote: >>> Ahojte, >>> >>> sice bylo ticho, neznamena to ale, ze jsme umreli. >>> >>> Uprimne ja osobne mam ted dost roztristenou >>> pozornost mezi hromadu veci, tak se nekterym vecem >>> venuju jenom tak, ze neco delam, ale nezbyva cas na >>> "okecavani". Podobne bych rekl, ze to maji i dalsi >>> :) >>> >>> Koupili jsme dva nove servery s 2.5" disky, jenze >>> ukazalo se, ze LSI si nerozumi s >>> notebook-upper-class disky (bezne jedou v pohode, >>> kdyz se jim vypne parkovani hlavicek a podobne). >>> Takze jsme nakoupili do jednoho nodu 10ks SAS2 7200 >>> RPM Seagate Constellation ES 1TB. >>> >>> Druhy node to ceka za nejakou dobu. Outcome je, ze >>> mame 20 disku navic - kdo chcete, jde o WD Scorpio >>> Black 750 GB (WD7500BPKT), zbavujeme se jich za 1250 >>> Kc (50 EUR), jsou nove, najeto maji nekolik desitek >>> hodin. Zaruka by se resila pres nas vzdycky >>> hromadneji, kdyz se toho sejde vic (stava se tak >>> jednou za jeden-dva mesice). Kdo mate zajem, predani >>> budeme resit osobne, jsou dostupne v Praze a >>> Bratislave, piste na podporu. >>> >>> Dal, kvuli problemum s vzquota (je to pomala ****), >>> lepsimu zalohovani a obnove, snapshotum, journalu na >>> ext4 jako bottle necku... je na node6 (=> druhy z >>> tech novych stroju) ZFS. >>> >>> Mam na tom uz par tydnu svoje VPSky a bezi to v >>> pohode. Aither dodelava podporu do vpsAdminu, takze >>> node6 bude pouzitelny pro vsechny uz brzo - konkretne >>> v utery. Do konce mesice pojedeme v testovacim >>> provozu, kdo mate zajem to vyzkouset, ozvete se na >>> podporu prosim. Potreboval bych aspon 20 >>> dobrovolniku, ze zkusenosti vim, ze se jich ozve tak >>> 5, zkuste se prosim vic zapojit, pokud muzete. >>> Nejkrajnejsim a nejhororovejsim, zaroven nejmene >>> pravdepodobnym scenarem je mozna ztrata dat od >>> posledni zalohy a nekolik jednotek hodin >>> dostupnosti. Prosim tedy vas tedy - vy, kteri jsou >>> ochotni to akceptovat, mohli byste nam napsat na >>> podporu? Diky moc. >>> >>> ZFS on Linux, pokud se prokaze, ma pro nas vsechny >>> spoustu vyhod - rychlejsi zotaveni pri vypadku, >>> rychlejsi zaloha a obnova ze zalohy, predvidatelna >>> doba zalohovani (rozptyl nekolik jednotek minut, ne >>> hodin jako ted), rychlejsi hojeni pri umrti disku, >>> odolnost proti nahodnemu poskozeni dat. Take se nam >>> do budoucna otevrou moznosti jako off-site backup (az >>> na to budem e mit hw), rychlejsi spawnovani virtualu, >>> on-demand snapshoty primo na nodu bez nutnosti jit >>> pres backuper (hodi se pro experimentovani s upgrade >>> OS ve VPS napr.), atd. >>> >>> V utery po 1:00 se udeje upgrade infrastruktury na >>> nejnovejsi Scientific Linux release (6.4), >>> nejnovejsi OpenVZ kernel a upravi se nastaveni site. >>> zaroven **konecne** povolime moznost zvetsovat NAS >>> prostor. >>> >>> Takze jsme neumreli, jenom je min casu na delani PR >>> :) >>> >>> Cau vsem, >>> >>> Pavel Snajdr >>> >>> ; +421 948 816 186 | +420 720 107 791 | >>> 110-010-956 CTO of Relbit | Predseda vpsFree.cz, >>> o.s. | RHCE http://relbit.com | http://vpsfree.cz >>> | https://www.redhat.com >>> _______________________________________________ >>> Community-list mailing list >>> Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> >>> http://lists.vpsfree.cz/listinfo/community-list > _______________________________________________ > Community-list mailing list > Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> > http://lists.vpsfree.cz/listinfo/community-list > > > _______________________________________________ > Community-list mailing list > Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> > http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-- Sent from my Android phone with K-9 Mail. Please excuse my brevity.
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlHiWy4ACgkQMBKdi9lkZ6pamQD+OvM0mR/CJYX5lYlGps1veEry NXAKfx0mdnhxvfzvjh0BAM/ZRxAx9ucte4VaGHZ7dxJ5P7klAx5D3cxXdyJ7rj6u =XOBd -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
nope, fakt je ta velikost bloku dynamicka. To by byla dost zasadni limitace, kdyby to bylo, jak rikas. Prave jsem koukal do kodu a jedine, co ta komprese - logicky - dela je, ze doplni zkomprimovana data paddingem kvuli zarovnani na nejblizsi cely nasobek block size underlying vdevu, u nas teda 4kB. ZFS ma ale pojem tzv. gang blocku, umi v jedny txg (transaction group) / vic consecutive txg v ramci jednoho sync okna sloucit malinky bloky jako subblocky do gang blocku (= uzitecny pro pidisoubory). Doporucuju zfs nainstalovat a pomoci zdb se fakt kouknout, co to na tech diskach dela :) -- Sent from your iPad.On 14.07.2013 13:32 Stanislav Petr wrote: Tohle platí při VYPNUTY kompresi. Jde o to ze samotný kompresní algoritmus pracuje s pevnou velikosti bloku a i malá změna je změnou celého bloku komprimovanych dat. Stanislav Petr 14. 7. 2013 v 10:02, Pavel Snajdr <snajpa@snajpa.net>:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
*WRONG* :)
velikost bloku v ZFS je dynamicka od 512B do 1MB, na disk se data flushuji jednou za 5s a snazi se je seskupovat do vetsich chunku, kterym se rika transaction groups.
Cele ZFS je navrzene tak, aby stacilo v maximalnim pocte pripadu proste udelat write, ne nutne read-modify-write.
- - snajpa
On 07/14/2013 01:34 AM, glux@glux.org wrote: Ono to vychazi z toho ze se komprimuji vetsi bloky dat, myslim ze defaultni velikost bloku ktey se v ZFS komprimuje je 4KB, coz znamena z pri zmene napr. 1B uvnitr souboru se musi precist cely blok komprimovanych dat, prekomprimovat a opet cely zapsat. A nektere operace napriklad v SQL databazich presne takovehle chovani, kdy se meni jen velice malo dat (napr. DELETE kde se pouze “oznacuje” jako smazane - protoze mazani fyzicky je az VACUUM) zpusobuji vetsi zdrzeni. Pokud by se nastavila velikost bloku pro kompresi na malou hodnotu, napr. 512B stejne jako ma fyzicky sektor tak by sel kompresni pomer drastiky dolu.
Sent from Windows Mail
*From:* Tomas Volf *Sent:* Saturday, July 13, 2013 10:32 AM *To:* vpsFree.cz Community list
pokud si pamatuju co snajpa, tak io vykon by naopak mel jit nahoru.. rozdil by mel byt akorat v hlasene a skutecne velikosti souboru.
potom co jsem u sebe zapnull kompresi, sel vykon selkove spise nahoru. u postgresql jsem si niceho nevsiml, ale asi neni pod dostatecnou zatezi aby se neco projevilo tedy
glux@glux.org wrote:
No, kdyz jsem zkousel ZFS ze zapnutou kompresi tak napriklat u PostgreSQL byl znatelnej propad vykonu, ale na druhou stranu jiny aplikace (jako treba dovecot) sly vykonove nahoru. Univerzalni odpoved tady asi neexistuje. Nicmene myslim si ze by to urcite stalo za vyzkouseni, protoze pokud by nekdo provozoval aplikace tak moc citlivy na vykon IO (zejmena v zapisu), nebude to provozovat na VPS. Takze ja si myslim ze pro vetsinu to bude budto drobnym prinosem nebo to nijak nezaznamenaj.
Sent from Windows Mail
*From:* mrkva@mrkva.eu *Sent:* Friday, July 12, 2013 6:29 PM *To:* community-list@lists.vpsfree.cz
Co CPU overhead? On 12.7.2013 18:23, Pavel Snajdr wrote:
Dik moc, mas ji tam :)
Btw, otazka na vsechny - napada vas nejaka aplikace, ktera by mohla mit problem s transparentni kompresi filesystemu?
Jedina manifestace toho je takova, ze "du" bez --apparent-size ukazuje min zabranyho prostoru souborem, nez ls -lh. Takze jestli vas nenapada aplikace, ktere by to mohlo vadit?
Ono tu kompresi je dobre tam mit - zmensi to zatez na IO (nemusi se cist tolik dat, pokud jsou dobre komprimovatelna) a navic to usetri diskspace, proto jsem ji by default zapnul.
Ale je dobre si to overit, nez to nasadime pripadne do production vsem.
- snajpa
On 07/12/2013 06:08 PM, Jiří Fejfar wrote: Ahoj, pokud je treba, muzu se taky dodatecne pridat k testovani. VPS 1191. JuraF.
Dne 12. července 2013 17:22 Pavel Snajdr <snajpa@snajpa.net <mailto:snajpa@snajpa.net>> napsal(a):
A to cislo jsem zapomnel, je tam celkem 19 VPS. Chtelo by to vic, ale nikoho nutit nemuzu.
No zatim to bezi OK a nevypada, ze by s tim mely byt problemy (ne ze bych je cekal, a le na tyhle veci byvam az prilis optimista).
- snajpa
On 07/12/2013 05:20 PM, Pavel Snajdr wrote: Tak jsem tam domigroval vsechny testery, vsem moc dik a muzete ty masine dat poradne pocoudit :)
To jsem te premigroval, ani sis nevsim :)
(K testum se prihlasilo i par z vas, kdo mate VPS v Brne, to tam premigrovat nemuzu, protoze byste prisli o IP adresu. Ale i tak diky.)
- snajpa
On 07/12/2013 03:38 PM, Paladin wrote: 1) kolik jsi jich cca nasel? ^_^
2) mam ocekavat nejaky down time?
On Thu, Jul 11, 2013 at 03:36:32PM +0200, Pavel Snajdr wrote: Caute,
takze jdu postupne migrovat vsechny testery na onen node6 :)
- snajpa
On 07/02/2013 04:29 PM, Pavel Snajdr wrote: >>> Ahojte, >>> >>> sice bylo ticho, neznamena to ale, ze jsme umreli. >>> >>> Uprimne ja osobne mam ted dost roztristenou >>> pozornost mezi hromadu veci, tak se nekterym vecem >>> venuju jenom tak, ze neco delam, ale nezbyva cas na >>> "okecavani". Podobne bych rekl, ze to maji i dalsi >>> :) >>> >>> Koupili jsme dva nove servery s 2.5" disky, jenze >>> ukazalo se, ze LSI si nerozumi s >>> notebook-upper-class disky (bezne jedou v pohode, >>> kdyz se jim vypne parkovani hlavicek a podobne). >>> Takze jsme nakoupili do jednoho nodu 10ks SAS2 7200 >>> RPM Seagate Constellation ES 1TB. >>> >>> Druhy node to ceka za nejakou dobu. Outcome je, ze >>> mame 20 disku navic - kdo chcete, jde o WD Scorpio >>> Black 750 GB (WD7500BPKT), zbavujeme se jich za 1250 >>> Kc (50 EUR), jsou nove, najeto maji nekolik desitek >>> hodin. Zaruka by se resila pres nas vzdycky >>> hromadneji, kdyz se toho sejde vic (stava se tak >>> jednou za jeden-dva mesice). Kdo mate zajem, predani >>> budeme resit osobne, jsou dostupne v Praze a >>> Bratislave, piste na podporu. >>> >>> Dal, kvuli problemum s vzquota (je to pomala ****), >>> lepsimu zalohovani a obnove, snapshotum, journalu na >>> ext4 jako bottle necku... je na node6 (=> druhy z >>> tech novych stroju) ZFS. >>> >>> Mam na tom uz par tydnu svoje VPSky a bezi to v >>> pohode. Aither dodelava podporu do vpsAdminu, takze >>> node6 bude pouzitelny pro vsechny uz brzo - konkretne >>> v utery. Do konce mesice pojedeme v testovacim >>> provozu, kdo mate zajem to vyzkouset, ozvete se na >>> podporu prosim. Potreboval bych aspon 20 >>> dobrovolniku, ze zkusenosti vim, ze se jich ozve tak >>> 5, zkuste se prosim vic zapojit, pokud muzete. >>> Nejkrajnejsim a nejhororovejsim, zaroven nejmene >>> pravdepodobnym scenarem je mozna ztrata dat od >>> posledni zalohy a nekolik jednotek hodin >>> dostupnosti. Prosim tedy vas tedy - vy, kteri jsou >>> ochotni to akceptovat, mohli byste nam napsat na >>> podporu? Diky moc. >>> >>> ZFS on Linux, pokud se prokaze, ma pro nas vsechny >>> spoustu vyhod - rychlejsi zotaveni pri vypadku, >>> rychlejsi zaloha a obnova ze zalohy, predvidatelna >>> doba zalohovani (rozptyl nekolik jednotek minut, ne >>> hodin jako ted), rychlejsi hojeni pri umrti disku, >>> odolnost proti nahodnemu poskozeni dat. Take se nam >>> do budoucna otevrou moznosti jako off-site backup (az >>> na to budem e mit hw), rychlejsi spawnovani virtualu, >>> on-demand snapshoty primo na nodu bez nutnosti jit >>> pres backuper (hodi se pro experimentovani s upgrade >>> OS ve VPS napr.), atd. >>> >>> V utery po 1:00 se udeje upgrade infrastruktury na >>> nejnovejsi Scientific Linux release (6.4), >>> nejnovejsi OpenVZ kernel a upravi se nastaveni site. >>> zaroven **konecne** povolime moznost zvetsovat NAS >>> prostor. >>> >>> Takze jsme neumreli, jenom je min casu na delani PR >>> :) >>> >>> Cau vsem, >>> >>> Pavel Snajdr >>> >>> ; +421 948 816 186 | +420 720 107 791 | >>> 110-010-956 CTO of Relbit | Predseda vpsFree.cz, >>> o.s. | RHCE http://relbit.com | http://vpsfree.cz >>> | https://www.redhat.com >>> _______________________________________________ >>> Community-list mailing list >>> Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> >>> http://lists.vpsfree.cz/listinfo/community-list > _______________________________________________ > Community-list mailing list > Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> > http://lists.vpsfree.cz/listinfo/community-list > > > _______________________________________________ > Community-list mailing list > Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> > http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-- Sent from my Android phone with K-9 Mail. Please excuse my brevity.
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlHiWy4ACgkQMBKdi9lkZ6pamQD+OvM0mR/CJYX5lYlGps1veEry NXAKfx0mdnhxvfzvjh0BAM/ZRxAx9ucte4VaGHZ7dxJ5P7klAx5D3cxXdyJ7rj6u =XOBd -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
To teda znamena, ze pro nektery situace se read-write-modify nevyhnes, v tom mas pravdu, ale reagoval jsem teda primarne na tvoje tvrzeni o fixni velikosti compressed bloku. Jinak jeste pro zajimavost, ZFS zkusi ten blok zkomprimovat a kdyz nedostane aspon 12% usporu, zapise blok nekomprimovane. -- Sent from your iPad.On 14.07.2013 14:12 snajpa@snajpa.net wrote: nope, fakt je ta velikost bloku dynamicka. To by byla dost zasadni limitace, kdyby to bylo, jak rikas. Prave jsem koukal do kodu a jedine, co ta komprese - logicky - dela je, ze doplni zkomprimovana data paddingem kvuli zarovnani na nejblizsi cely nasobek block size underlying vdevu, u nas teda 4kB. ZFS ma ale pojem tzv. gang blocku, umi v jedny txg (transaction group) / vic consecutive txg v ramci jednoho sync okna sloucit malinky bloky jako subblocky do gang blocku (= uzitecny pro pidisoubory). Doporucuju zfs nainstalovat a pomoci zdb se fakt kouknout, co to na tech diskach dela :) -- Sent from your iPad.On 14.07.2013 13:32 Stanislav Petr wrote: Tohle platí při VYPNUTY kompresi. Jde o to ze samotný kompresní algoritmus pracuje s pevnou velikosti bloku a i malá změna je změnou celého bloku komprimovanych dat. Stanislav Petr 14. 7. 2013 v 10:02, Pavel Snajdr <snajpa@snajpa.net>:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
*WRONG* :)
velikost bloku v ZFS je dynamicka od 512B do 1MB, na disk se data flushuji jednou za 5s a snazi se je seskupovat do vetsich chunku, kterym se rika transaction groups.
Cele ZFS je navrzene tak, aby stacilo v maximalnim pocte pripadu proste udelat write, ne nutne read-modify-write.
- - snajpa
On 07/14/2013 01:34 AM, glux@glux.org wrote: Ono to vychazi z toho ze se komprimuji vetsi bloky dat, myslim ze defaultni velikost bloku ktey se v ZFS komprimuje je 4KB, coz znamena z pri zmene napr. 1B uvnitr souboru se musi precist cely blok komprimovanych dat, prekomprimovat a opet cely zapsat. A nektere operace napriklad v SQL databazich presne takovehle chovani, kdy se meni jen velice malo dat (napr. DELETE kde se pouze “oznacuje” jako smazane - protoze mazani fyzicky je az VACUUM) zpusobuji vetsi zdrzeni. Pokud by se nastavila velikost bloku pro kompresi na malou hodnotu, napr. 512B stejne jako ma fyzicky sektor tak by sel kompresni pomer drastiky dolu.
Sent from Windows Mail
*From:* Tomas Volf *Sent:* Saturday, July 13, 2013 10:32 AM *To:* vpsFree.cz Community list
pokud si pamatuju co snajpa, tak io vykon by naopak mel jit nahoru.. rozdil by mel byt akorat v hlasene a skutecne velikosti souboru.
potom co jsem u sebe zapnull kompresi, sel vykon selkove spise nahoru. u postgresql jsem si niceho nevsiml, ale asi neni pod dostatecnou zatezi aby se neco projevilo tedy
glux@glux.org wrote:
No, kdyz jsem zkousel ZFS ze zapnutou kompresi tak napriklat u PostgreSQL byl znatelnej propad vykonu, ale na druhou stranu jiny aplikace (jako treba dovecot) sly vykonove nahoru. Univerzalni odpoved tady asi neexistuje. Nicmene myslim si ze by to urcite stalo za vyzkouseni, protoze pokud by nekdo provozoval aplikace tak moc citlivy na vykon IO (zejmena v zapisu), nebude to provozovat na VPS. Takze ja si myslim ze pro vetsinu to bude budto drobnym prinosem nebo to nijak nezaznamenaj.
Sent from Windows Mail
*From:* mrkva@mrkva.eu *Sent:* Friday, July 12, 2013 6:29 PM *To:* community-list@lists.vpsfree.cz
Co CPU overhead? On 12.7.2013 18:23, Pavel Snajdr wrote:
Dik moc, mas ji tam :)
Btw, otazka na vsechny - napada vas nejaka aplikace, ktera by mohla mit problem s transparentni kompresi filesystemu?
Jedina manifestace toho je takova, ze "du" bez --apparent-size ukazuje min zabranyho prostoru souborem, nez ls -lh. Takze jestli vas nenapada aplikace, ktere by to mohlo vadit?
Ono tu kompresi je dobre tam mit - zmensi to zatez na IO (nemusi se cist tolik dat, pokud jsou dobre komprimovatelna) a navic to usetri diskspace, proto jsem ji by default zapnul.
Ale je dobre si to overit, nez to nasadime pripadne do production vsem.
- snajpa
On 07/12/2013 06:08 PM, Jiří Fejfar wrote: Ahoj, pokud je treba, muzu se taky dodatecne pridat k testovani. VPS 1191. JuraF.
Dne 12. července 2013 17:22 Pavel Snajdr <snajpa@snajpa.net <mailto:snajpa@snajpa.net>> napsal(a):
A to cislo jsem zapomnel, je tam celkem 19 VPS. Chtelo by to vic, ale nikoho nutit nemuzu.
No zatim to bezi OK a nevypada, ze by s tim mely byt problemy (ne ze bych je cekal, a le na tyhle veci byvam az prilis optimista).
- snajpa
On 07/12/2013 05:20 PM, Pavel Snajdr wrote: Tak jsem tam domigroval vsechny testery, vsem moc dik a muzete ty masine dat poradne pocoudit :)
To jsem te premigroval, ani sis nevsim :)
(K testum se prihlasilo i par z vas, kdo mate VPS v Brne, to tam premigrovat nemuzu, protoze byste prisli o IP adresu. Ale i tak diky.)
- snajpa
On 07/12/2013 03:38 PM, Paladin wrote: 1) kolik jsi jich cca nasel? ^_^
2) mam ocekavat nejaky down time?
On Thu, Jul 11, 2013 at 03:36:32PM +0200, Pavel Snajdr wrote: Caute,
takze jdu postupne migrovat vsechny testery na onen node6 :)
- snajpa
On 07/02/2013 04:29 PM, Pavel Snajdr wrote: >>> Ahojte, >>> >>> sice bylo ticho, neznamena to ale, ze jsme umreli. >>> >>> Uprimne ja osobne mam ted dost roztristenou >>> pozornost mezi hromadu veci, tak se nekterym vecem >>> venuju jenom tak, ze neco delam, ale nezbyva cas na >>> "okecavani". Podobne bych rekl, ze to maji i dalsi >>> :) >>> >>> Koupili jsme dva nove servery s 2.5" disky, jenze >>> ukazalo se, ze LSI si nerozumi s >>> notebook-upper-class disky (bezne jedou v pohode, >>> kdyz se jim vypne parkovani hlavicek a podobne). >>> Takze jsme nakoupili do jednoho nodu 10ks SAS2 7200 >>> RPM Seagate Constellation ES 1TB. >>> >>> Druhy node to ceka za nejakou dobu. Outcome je, ze >>> mame 20 disku navic - kdo chcete, jde o WD Scorpio >>> Black 750 GB (WD7500BPKT), zbavujeme se jich za 1250 >>> Kc (50 EUR), jsou nove, najeto maji nekolik desitek >>> hodin. Zaruka by se resila pres nas vzdycky >>> hromadneji, kdyz se toho sejde vic (stava se tak >>> jednou za jeden-dva mesice). Kdo mate zajem, predani >>> budeme resit osobne, jsou dostupne v Praze a >>> Bratislave, piste na podporu. >>> >>> Dal, kvuli problemum s vzquota (je to pomala ****), >>> lepsimu zalohovani a obnove, snapshotum, journalu na >>> ext4 jako bottle necku... je na node6 (=> druhy z >>> tech novych stroju) ZFS. >>> >>> Mam na tom uz par tydnu svoje VPSky a bezi to v >>> pohode. Aither dodelava podporu do vpsAdminu, takze >>> node6 bude pouzitelny pro vsechny uz brzo - konkretne >>> v utery. Do konce mesice pojedeme v testovacim >>> provozu, kdo mate zajem to vyzkouset, ozvete se na >>> podporu prosim. Potreboval bych aspon 20 >>> dobrovolniku, ze zkusenosti vim, ze se jich ozve tak >>> 5, zkuste se prosim vic zapojit, pokud muzete. >>> Nejkrajnejsim a nejhororovejsim, zaroven nejmene >>> pravdepodobnym scenarem je mozna ztrata dat od >>> posledni zalohy a nekolik jednotek hodin >>> dostupnosti. Prosim tedy vas tedy - vy, kteri jsou >>> ochotni to akceptovat, mohli byste nam napsat na >>> podporu? Diky moc. >>> >>> ZFS on Linux, pokud se prokaze, ma pro nas vsechny >>> spoustu vyhod - rychlejsi zotaveni pri vypadku, >>> rychlejsi zaloha a obnova ze zalohy, predvidatelna >>> doba zalohovani (rozptyl nekolik jednotek minut, ne >>> hodin jako ted), rychlejsi hojeni pri umrti disku, >>> odolnost proti nahodnemu poskozeni dat. Take se nam >>> do budoucna otevrou moznosti jako off-site backup (az >>> na to budem e mit hw), rychlejsi spawnovani virtualu, >>> on-demand snapshoty primo na nodu bez nutnosti jit >>> pres backuper (hodi se pro experimentovani s upgrade >>> OS ve VPS napr.), atd. >>> >>> V utery po 1:00 se udeje upgrade infrastruktury na >>> nejnovejsi Scientific Linux release (6.4), >>> nejnovejsi OpenVZ kernel a upravi se nastaveni site. >>> zaroven **konecne** povolime moznost zvetsovat NAS >>> prostor. >>> >>> Takze jsme neumreli, jenom je min casu na delani PR >>> :) >>> >>> Cau vsem, >>> >>> Pavel Snajdr >>> >>> ; +421 948 816 186 | +420 720 107 791 | >>> 110-010-956 CTO of Relbit | Predseda vpsFree.cz, >>> o.s. | RHCE http://relbit.com | http://vpsfree.cz >>> | https://www.redhat.com >>> _______________________________________________ >>> Community-list mailing list >>> Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> >>> http://lists.vpsfree.cz/listinfo/community-list > _______________________________________________ > Community-list mailing list > Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> > http://lists.vpsfree.cz/listinfo/community-list > > > _______________________________________________ > Community-list mailing list > Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> > http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-- Sent from my Android phone with K-9 Mail. Please excuse my brevity.
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAlHiWy4ACgkQMBKdi9lkZ6pamQD+OvM0mR/CJYX5lYlGps1veEry NXAKfx0mdnhxvfzvjh0BAM/ZRxAx9ucte4VaGHZ7dxJ5P7klAx5D3cxXdyJ7rj6u =XOBd -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
participants (3)
-
Pavel Snajdr -
snajpa＠snajpa.net
-
Stanislav Petr