[vpsFree.cz: community-list] Zmeny inode numbers u souboru na FS

Sat Mar 15 23:47:14 CET 2014

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256

On 03/15/2014 11:21 PM, Michal Krajcirovic wrote:
> Je nejaka cesta, jak tu vzquotu nepouzivat, resp. vypnout, aby to
> pri startu nepocitalo? Linux, ext4 :) Zfs neverim :)

Mas v podstate asi tak 4 moznosti:

- - rozdelit kontejnery na samostatny FS treba pres LVM

- - pouzit ploop, pak mas image per kontejner, vyhoda oproti rucnimu
spravovani LVM je, ze je to plne integrovany s vzctl, podporuje
snapshoty a i je to integrovany s vzmigrate, takze je migrace o hodne
rychlejsi, pac se nejdriv syncuje jeden velkej image - samotnej FS
kontejneru - a pak mensi rozdilovej image (ten prvni sync se totiz
dela vzdycky za behu kontejneru, proto druhej sync)

- - nastavit VZFASTBOOT=yes @ vz.conf, to sice prepocitavani nezrusi,
ale kontejnery nastartujou i treba s inkonzistentni vzquotou a
dopocita se postupne per kontejner na pozadi. Jenze jak to dopocita,
danej kontejner to restartuje, coz se nemusi vzdycky libit a navic
start s inkonzistentni vzquotou muze znamenat, ze kernel bude procesum
v kontejneru rikat, ze neni volny misto, protoze vzquota zustala v
divnym mezistavu

- - vypnout vzquotu uplne (DISK_QUOTA=no v /etc/vz/vz.conf)

Btw. ZFS neni duvod neverit, jenom na nej musis mit dost RAM, ale nema
cenu ho davat nekam, kde mas uz ted malo RAM na to, co na tom bezi.
Tzn. kdyz ti zbejva po odecteni caches aspon nekolik jednotek GB, tak
se toho nemas proc bat :)

/snajpa

> 
> Dne 15. 3. 2014 23:08, Pavel Snajdr napsal(a): No dobre, tak jeste
> teda nejdu spat, tak se trochu rozepisu a vysvetlim, o co jde:
> 
> - kazdej kontejner je slozka na FS - coz znamena, ze abych mohl
> limitovat diskspace kontejneru, musel bych mit FS per kontejner,
> coz trochu drti nektery vyhody kontejneru (napr. agregace mista pri
> shared FS se proste neda udelat elegantneji)
> 
> V OpenVZ to vyresili tak, ze mezi ext*fs/xfs a "simfs" (simulovany
> fs kontejneru) vlozili vzquotu, coz je neco jako tabulka mapovani
> muj inode -> node na FS + accounting infromace o velikosti.
> 
> Diky tomu pak i funguje second-level quota (tzn. normalni linuxova 
> user/group quota) - coz je neco, co budeme muset do ZFS
> doimplementovat.
> 
> Nevyhoda vzquoty se pozna pri resetu systemu, kdyz nema cas si 
> syncnout ten mapujici soubor na disk. Pak musi vzquota pri startu 
> kazdyho kontejneru projit jeho soubory a znova je namapovat. To je 
> prave to, co ti muze rozhazet cisla inodu.
> 
> Bootovani serveru s vzquotou po resetu je pak tragedie a masina s
> 90 VPS muze naskakovat klidne 3-4 hodiny.
> 
> Krom toho je vzquota nachylna na random rozbijeni se i pres tu 
> kontrolu integrity, da se rozbit ze ukazuje min/vic zabranyho 
> mista/inodes, akorat nevim, jak k tomu dochazi (co je trigger toho 
> rozbiti), deje se to jenom zridkakdy.
> 
> Also, ukazalo se ze mit vic kontejneru na EXT4 je totalni blbost,
> v ext4 je nejfatalnejsi problem journal. Stane se bottleneckem
> celyho toho FS a proste neda se nic. Obzvlast, kdyz nad tim FS bezi
> par databazi. Iowait leti nahoru, disky seekujou jak pomateny a 
> propustnost filesystemu jde do kytek.
> 
> Oproti tomu node se ZFS ma tech 90 VPS nastartovanych do tak 10ti 
> minut jako absolutni maximum. A tech MySQL muze na serveru bezet,
> co zvlada CPU, protoze na synchronnni zapisy a fuckup unixovyho
> sveta jmenem sync() ma ZFS mechanismus jmenem Intent Log a moznost
> ho vysoupnout na dedikovany device. Oproti tomu ext4 ani s
> dedikovanym journalem na SSD nedela temer zadny rozdil. Pak uz
> disky tolik neseekujou, ale vykon porad nikde. Btw tahle
> "vlastnost" ext4ky donutila OpenVZ lidi implementovat ploop, takze
> pak delaji ext4 in a file per container. So much win! :)
> 
> Urcite budem dal pracovat na ZFS podpore, linuxovy filesystemy
> jsou jedna velka tragedie. Navic se diky tomu muzem zbavit ty
> tragedie vzquoty.
> 
> /snajpa
> 
> On 03/15/2014 10:55 PM, Pavel Snajdr wrote:
>>>> A na doplneni: na nodech se ZFS uz vzquota neni, tam se to
>>>> dit nebude :)
>>>> 
>>>> S pozdravem
>>>> 
>>>> Pavel Snajdr
>>>> 
>>>> +421 948 816 186  | +420 720 107 791          | 110-010-956
>>>> CTO of Relbit     | Predseda vpsFree.cz, o.s. | RHCE
>>>> http://relbit.com | http://vpsfree.cz         |
>>>> https://www.redhat.com
>>>> 
>>>> On 03/15/2014 10:52 PM, Ondrej Mikle wrote:
>>>>> Ahoj, ma OpenVZ vlastnost, ze napriklad pri premigrovani
>>>>> kontejneru nebo nejake jine zmene se taky zmeni inode
>>>>> numbers souboru na filesystemu? Ptam se proto, ze rkhunter
>>>>> to "spatne nese" a reportuje to. Pri porovnani SHA256
>>>>> checksumu s cistym systemem i s rpm --verify checksumy
>>>>> sedi. Souboru se zmenenym inode je velka spousta, tim padem
>>>>> z predchoziho vyplyva, ze jde o spis false alarm. Setkal se
>>>>> s tim i nekdo jiny? Dik, Ondro
>>>> 
>>>> 
>>>>> _______________________________________________
>>>>> Community-list mailing list
>>>>> Community-list at lists.vpsfree.cz 
>>>>> http://lists.vpsfree.cz/listinfo/community-list
>>>> _______________________________________________
>>>> Community-list mailing list Community-list at lists.vpsfree.cz 
>>>> http://lists.vpsfree.cz/listinfo/community-list
>>>> 
>> _______________________________________________ Community-list
>> mailing list Community-list at lists.vpsfree.cz 
>> http://lists.vpsfree.cz/listinfo/community-list
> 
> _______________________________________________ Community-list
> mailing list Community-list at lists.vpsfree.cz 
> http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1
Comment: Using GnuPG with Thunderbird - http://www.enigmail.net/

iF4EAREIAAYFAlMk2HAACgkQMBKdi9lkZ6pQqgEAnHztZz4Qd8Hkc5bdIoUz4UK0
HVYOS7lYt+KoOf68MuoA/R1BTbI/lTczn7XTwdniTaqNZFZk3AwaCDcJTCCDN8ww
=2M45
-----END PGP SIGNATURE-----