[vpsFree.cz: community-list] Update soucasneho stavu - ZFS + 10x 7200RPM SAS2 + 2x SSD + OpenVZ

Sun Jul 14 14:12:36 CEST 2013

nope, fakt je ta velikost bloku dynamicka. To by byla dost zasadni limitace, kdyby to bylo, jak rikas.
Prave jsem koukal do kodu a jedine, co ta komprese - logicky - dela je, ze doplni zkomprimovana data paddingem kvuli zarovnani na nejblizsi cely nasobek block size underlying vdevu, u nas teda 4kB.
ZFS ma ale pojem tzv. gang blocku, umi v jedny txg (transaction group) / vic consecutive txg v ramci jednoho sync okna sloucit malinky bloky jako subblocky do gang blocku (= uzitecny pro pidisoubory).
Doporucuju zfs nainstalovat a pomoci zdb se fakt kouknout, co to na tech diskach dela :)

--
Sent from your iPad.On 14.07.2013 13:32 Stanislav Petr wrote:
Tohle platí při VYPNUTY kompresi. Jde o to ze samotný kompresní algoritmus pracuje s pevnou velikosti bloku a i malá změna je změnou celého bloku komprimovanych dat. 

Stanislav Petr

14. 7. 2013 v 10:02, Pavel Snajdr <snajpa at snajpa.net>:

> -----BEGIN PGP SIGNED MESSAGE-----
> Hash: SHA256
> 
> *WRONG* :)
> 
> velikost bloku v ZFS je dynamicka od 512B do 1MB, na disk se data
> flushuji jednou za 5s a snazi se je seskupovat do vetsich chunku,
> kterym se rika transaction groups.
> 
> Cele ZFS je navrzene tak, aby stacilo v maximalnim pocte pripadu
> proste udelat write, ne nutne read-modify-write.
> 
> - - snajpa
> 
> 
>> On 07/14/2013 01:34 AM, glux at glux.org wrote:
>> Ono to vychazi z toho ze se komprimuji vetsi bloky dat, myslim ze 
>> defaultni velikost bloku ktey se v ZFS komprimuje je 4KB, coz
>> znamena z pri zmene napr. 1B uvnitr souboru se musi precist cely
>> blok komprimovanych dat, prekomprimovat a opet cely zapsat. A
>> nektere operace napriklad v SQL databazich presne takovehle
>> chovani, kdy se meni jen velice malo dat (napr.  DELETE kde se
>> pouze “oznacuje” jako smazane - protoze mazani fyzicky je az
>> VACUUM) zpusobuji vetsi zdrzeni. Pokud by se nastavila velikost
>> bloku pro kompresi na malou hodnotu, napr. 512B stejne jako ma
>> fyzicky sektor tak by sel kompresni pomer drastiky dolu.
>> 
>> Sent from Windows Mail
>> 
>> *From:* Tomas Volf *Sent:* ‎Saturday‎, ‎July‎ ‎13‎, ‎2013 ‎10‎:‎32‎
>> ‎AM *To:* vpsFree.cz Community list
>> 
>> pokud si pamatuju co snajpa, tak io vykon by naopak mel jit
>> nahoru.. rozdil by mel byt akorat v hlasene a skutecne velikosti
>> souboru.
>> 
>> potom co jsem u sebe zapnull kompresi, sel vykon selkove spise
>> nahoru. u postgresql jsem si niceho nevsiml, ale asi neni pod
>> dostatecnou zatezi aby se neco projevilo tedy
>> 
>> glux at glux.org wrote:
>> 
>> No, kdyz jsem zkousel ZFS ze zapnutou kompresi tak napriklat u 
>> PostgreSQL byl znatelnej propad vykonu, ale na druhou stranu jiny 
>> aplikace (jako treba dovecot) sly vykonove nahoru. Univerzalni 
>> odpoved tady asi neexistuje. Nicmene myslim si ze by to urcite
>> stalo za vyzkouseni, protoze pokud by nekdo provozoval aplikace tak
>> moc citlivy na vykon IO (zejmena v zapisu), nebude to provozovat na
>> VPS. Takze ja si myslim ze pro vetsinu to bude budto drobnym
>> prinosem nebo to nijak nezaznamenaj.
>> 
>> Sent from Windows Mail
>> 
>> *From:* mrkva at mrkva.eu *Sent:* ‎Friday‎, ‎July‎ ‎12‎, ‎2013
>> ‎6‎:‎29‎ ‎PM *To:* community-list at lists.vpsfree.cz
>> 
>> Co CPU overhead? On 12.7.2013 18:23, Pavel Snajdr wrote:
>>> Dik moc, mas ji tam :)
>>> 
>>> Btw, otazka na vsechny - napada vas nejaka aplikace, ktera by
>>> mohla mit problem s transparentni kompresi filesystemu?
>>> 
>>> Jedina manifestace toho je takova, ze "du" bez --apparent-size
>>> ukazuje min zabranyho prostoru souborem, nez ls -lh. Takze jestli
>>> vas nenapada aplikace, ktere by to mohlo vadit?
>>> 
>>> Ono tu kompresi je dobre tam mit - zmensi to zatez na IO (nemusi
>>> se cist tolik dat, pokud jsou dobre komprimovatelna) a navic to
>>> usetri diskspace, proto jsem ji by default zapnul.
>>> 
>>> Ale je dobre si to overit, nez to nasadime pripadne do
>>> production
>> vsem.
>>> 
>>> - snajpa
>>> 
>>>> On 07/12/2013 06:08 PM, Jiří Fejfar wrote:
>>>> Ahoj, pokud je treba, muzu se taky dodatecne pridat k
>>>> testovani. VPS 1191. JuraF.
>>> 
>>> 
>>>> Dne 12. července 2013 17:22 Pavel Snajdr <snajpa at snajpa.net 
>>>> <mailto:snajpa at snajpa.net>> napsal(a):
>>> 
>>>> A to cislo jsem zapomnel, je tam celkem 19 VPS. Chtelo by to
>>>> vic, ale nikoho nutit nemuzu.
>>> 
>>>> No zatim to bezi OK a nevypada, ze by s tim mely byt problemy
>>>> (ne ze bych je cekal, a le na tyhle veci byvam az prilis
>>>> optimista).
>>> 
>>>> - snajpa
>>> 
>>>>> On 07/12/2013 05:20 PM, Pavel Snajdr wrote:
>>>>> Tak jsem tam domigroval vsechny testery, vsem moc dik a
>>>>> muzete ty masine dat poradne pocoudit :)
>>> 
>>>>> To jsem te premigroval, ani sis nevsim :)
>>> 
>>>>> (K testum se prihlasilo i par z vas, kdo mate VPS v Brne, to
>>>>> tam premigrovat nemuzu, protoze byste prisli o IP adresu. Ale
>>>>> i tak diky.)
>>> 
>>>>> - snajpa
>>> 
>>>>>> On 07/12/2013 03:38 PM, Paladin wrote:
>>>>>> 1) kolik jsi jich cca nasel? ^_^
>>> 
>>>>>> 2) mam ocekavat nejaky down time?
>>> 
>>>>>> On Thu, Jul 11, 2013 at 03:36:32PM +0200, Pavel Snajdr
>>>>>> wrote: Caute,
>>> 
>>>>>> takze jdu postupne migrovat vsechny testery na onen node6
>>>>>> :)
>>> 
>>>>>> - snajpa
>>> 
>>>>>> On 07/02/2013 04:29 PM, Pavel Snajdr wrote:
>>>>>>>>> Ahojte,
>>>>>>>>> 
>>>>>>>>> sice bylo ticho, neznamena to ale, ze jsme umreli.
>>>>>>>>> 
>>>>>>>>> Uprimne ja osobne mam ted dost roztristenou
>>>>>>>>> pozornost mezi hromadu veci, tak se nekterym vecem
>>>>>>>>> venuju jenom tak, ze neco delam, ale nezbyva cas na
>>>>>>>>> "okecavani". Podobne bych rekl, ze to maji i dalsi
>>>>>>>>> :)
>>>>>>>>> 
>>>>>>>>> Koupili jsme dva nove servery s 2.5" disky, jenze 
>>>>>>>>> ukazalo se, ze LSI si nerozumi s
>>>>>>>>> notebook-upper-class disky (bezne jedou v pohode,
>>>>>>>>> kdyz se jim vypne parkovani hlavicek a podobne).
>>>>>>>>> Takze jsme nakoupili do jednoho nodu 10ks SAS2 7200
>>>>>>>>> RPM Seagate Constellation ES 1TB.
>>>>>>>>> 
>>>>>>>>> Druhy node to ceka za nejakou dobu. Outcome je, ze
>>>>>>>>> mame 20 disku navic - kdo chcete, jde o WD Scorpio
>>>>>>>>> Black 750 GB (WD7500BPKT), zbavujeme se jich za 1250
>>>>>>>>> Kc (50 EUR), jsou nove, najeto maji nekolik desitek
>>>>>>>>> hodin. Zaruka by se resila pres nas vzdycky
>>>>>>>>> hromadneji, kdyz se toho sejde vic (stava se tak
>>>>>>>>> jednou za jeden-dva mesice). Kdo mate zajem, predani
>>>>>>>>> budeme resit osobne, jsou dostupne v Praze a
>>>>>>>>> Bratislave, piste na podporu.
>>>>>>>>> 
>>>>>>>>> Dal, kvuli problemum s vzquota (je to pomala ****), 
>>>>>>>>> lepsimu zalohovani a obnove, snapshotum, journalu na
>>>>>>>>> ext4 jako bottle necku... je na node6 (=> druhy z
>>>>>>>>> tech novych stroju) ZFS.
>>>>>>>>> 
>>>>>>>>> Mam na tom uz par tydnu svoje VPSky a bezi to v
>>>>>>>>> pohode. Aither dodelava podporu do vpsAdminu, takze
>>>>>>>>> node6 bude pouzitelny pro vsechny uz brzo - konkretne
>>>>>>>>> v utery. Do konce mesice pojedeme v testovacim
>>>>>>>>> provozu, kdo mate zajem to vyzkouset, ozvete se na
>>>>>>>>> podporu prosim. Potreboval bych aspon 20
>>>>>>>>> dobrovolniku, ze zkusenosti vim, ze se jich ozve tak
>>>>>>>>> 5, zkuste se prosim vic zapojit, pokud muzete.
>>>>>>>>> Nejkrajnejsim a nejhororovejsim, zaroven nejmene
>>>>>>>>> pravdepodobnym scenarem je mozna ztrata dat od 
>>>>>>>>> posledni zalohy a nekolik jednotek hodin
>>>>>>>>> dostupnosti. Prosim tedy vas tedy - vy, kteri jsou
>>>>>>>>> ochotni to akceptovat, mohli byste nam napsat na
>>>>>>>>> podporu? Diky moc.
>>>>>>>>> 
>>>>>>>>> ZFS on Linux, pokud se prokaze, ma pro nas vsechny 
>>>>>>>>> spoustu vyhod - rychlejsi zotaveni pri vypadku,
>>>>>>>>> rychlejsi zaloha a obnova ze zalohy, predvidatelna
>>>>>>>>> doba zalohovani (rozptyl nekolik jednotek minut, ne
>>>>>>>>> hodin jako ted), rychlejsi hojeni pri umrti disku,
>>>>>>>>> odolnost proti nahodnemu poskozeni dat. Take se nam
>>>>>>>>> do budoucna otevrou moznosti jako off-site backup (az
>>>>>>>>> na to budem e mit hw), rychlejsi spawnovani virtualu,
>>>>>>>>> on-demand snapshoty primo na nodu bez nutnosti jit
>>>>>>>>> pres backuper (hodi se pro experimentovani s upgrade
>>>>>>>>> OS ve VPS napr.), atd.
>>>>>>>>> 
>>>>>>>>> V utery po 1:00 se udeje upgrade infrastruktury na 
>>>>>>>>> nejnovejsi Scientific Linux release (6.4),
>>>>>>>>> nejnovejsi OpenVZ kernel a upravi se nastaveni site.
>>>>>>>>> zaroven **konecne** povolime moznost zvetsovat NAS
>>>>>>>>> prostor.
>>>>>>>>> 
>>>>>>>>> Takze jsme neumreli, jenom je min casu na delani PR
>>>>>>>>> :)
>>>>>>>>> 
>>>>>>>>> Cau vsem,
>>>>>>>>> 
>>>>>>>>> Pavel Snajdr
>>>>>>>>> 
>>>>>>>>> ; +421 948 816 186  | +420 720 107 791          | 
>>>>>>>>> 110-010-956 CTO of Relbit     | Predseda vpsFree.cz,
>>>>>>>>> o.s. | RHCE http://relbit.com | http://vpsfree.cz
>>>>>>>>> | https://www.redhat.com 
>>>>>>>>> _______________________________________________ 
>>>>>>>>> Community-list mailing list 
>>>>>>>>> Community-list at lists.vpsfree.cz
>>>> <mailto:Community-list at lists.vpsfree.cz>
>>>>>>>>> http://lists.vpsfree.cz/listinfo/community-list
>>>>>>> _______________________________________________ 
>>>>>>> Community-list mailing list
>>>>>>> Community-list at lists.vpsfree.cz
>>>> <mailto:Community-list at lists.vpsfree.cz>
>>>>>>> http://lists.vpsfree.cz/listinfo/community-list
>>>>>>> 
>>>>>>> 
>>>>>>> _______________________________________________ 
>>>>>>> Community-list mailing list
>>>>>>> Community-list at lists.vpsfree.cz
>>>> <mailto:Community-list at lists.vpsfree.cz>
>>>>>>> http://lists.vpsfree.cz/listinfo/community-list
>>>>> _______________________________________________
>>>>> Community-list mailing list Community-list at lists.vpsfree.cz
>>>> <mailto:Community-list at lists.vpsfree.cz>
>>>>> http://lists.vpsfree.cz/listinfo/community-list
>>>> _______________________________________________ Community-list 
>>>> mailing list Community-list at lists.vpsfree.cz 
>>>> <mailto:Community-list at lists.vpsfree.cz> 
>>>> http://lists.vpsfree.cz/listinfo/community-list
>>> 
>>> 
>>> 
>>> 
>>>> _______________________________________________ Community-list 
>>>> mailing list Community-list at lists.vpsfree.cz 
>>>> http://lists.vpsfree.cz/listinfo/community-list
>>> _______________________________________________ Community-list
>>> mailing list Community-list at lists.vpsfree.cz 
>>> http://lists.vpsfree.cz/listinfo/community-list
>> 
>> 
>> 
>> 
>> Community-list mailing list Community-list at lists.vpsfree.cz 
>> http://lists.vpsfree.cz/listinfo/community-list
>> 
>> 
>> -- Sent from my Android phone with K-9 Mail. Please excuse my
>> brevity.
>> 
>> 
>> _______________________________________________ Community-list
>> mailing list Community-list at lists.vpsfree.cz 
>> http://lists.vpsfree.cz/listinfo/community-list
> -----BEGIN PGP SIGNATURE-----
> Version: GnuPG v1.4.12 (GNU/Linux)
> Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
> 
> iF4EAREIAAYFAlHiWy4ACgkQMBKdi9lkZ6pamQD+OvM0mR/CJYX5lYlGps1veEry
> NXAKfx0mdnhxvfzvjh0BAM/ZRxAx9ucte4VaGHZ7dxJ5P7klAx5D3cxXdyJ7rj6u
> =XOBd
> -----END PGP SIGNATURE-----
> _______________________________________________
> Community-list mailing list
> Community-list at lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________
Community-list mailing list
Community-list at lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list