[vpsFree.cz: community-list] Zmeny inode numbers u souboru na FS

[Pavel Snajdr]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256

On 03/15/2014 11:08 PM, Pavel Snajdr wrote:
> No dobre, tak jeste teda nejdu spat, tak se trochu rozepisu a 
> vysvetlim, o co jde:
> 
> - kazdej kontejner je slozka na FS - coz znamena, ze abych mohl
> limitovat diskspace kontejneru, musel bych mit FS per kontejner,
> coz trochu drti nektery vyhody kontejneru (napr. agregace mista pri
> shared FS se proste neda udelat elegantneji)
> 
> V OpenVZ to vyresili tak, ze mezi ext*fs/xfs a "simfs" (simulovany
> fs kontejneru) vlozili vzquotu, coz je neco jako tabulka mapovani
> muj inode -> node na FS + accounting infromace o velikosti.
> 
> Diky tomu pak i funguje second-level quota (tzn. normalni linuxova 
> user/group quota) - coz je neco, co budeme muset do ZFS
> doimplementovat.
> 
> Nevyhoda vzquoty se pozna pri resetu systemu, kdyz nema cas si 
> syncnout ten mapujici soubor na disk. Pak musi vzquota pri startu 
> kazdyho kontejneru projit jeho soubory a znova je namapovat. To je 
> prave to, co ti muze rozhazet cisla inodu.
> 
> Bootovani serveru s vzquotou po resetu je pak tragedie a masina s
> 90 VPS muze naskakovat klidne 3-4 hodiny.
> 
> Krom toho je vzquota nachylna na random rozbijeni se i pres tu 
> kontrolu integrity, da se rozbit ze ukazuje min/vic zabranyho 
> mista/inodes, akorat nevim, jak k tomu dochazi (co je trigger toho 
> rozbiti), deje se to jenom zridkakdy.
> 
> Also, ukazalo se ze mit vic kontejneru na EXT4 je totalni blbost,
> v ext4 je nejfatalnejsi problem journal. Stane se bottleneckem
> celyho toho FS a proste neda se nic. Obzvlast, kdyz nad tim FS bezi
> par databazi. Iowait leti nahoru, disky seekujou jak pomateny a 
> propustnost filesystemu jde do kytek.
> 
> Oproti tomu node se ZFS ma tech 90 VPS nastartovanych do tak 10ti 
> minut jako absolutni maximum. A tech MySQL muze na serveru bezet,
> co zvlada CPU, protoze na synchronnni zapisy a fuckup unixovyho
> sveta jmenem sync() ma ZFS mechanismus jmenem Intent Log a moznost
> ho vysoupnout na dedikovany device. Oproti tomu ext4 ani s
> dedikovanym journalem na SSD nedela temer zadny rozdil. Pak uz
> disky tolik neseekujou, ale vykon porad nikde. Btw tahle
> "vlastnost" ext4ky donutila OpenVZ lidi implementovat ploop, takze
> pak delaji ext4 in a file per container. So much win! :)

Tady jeste doplnim, ze ty nody s ext4 maji SSDcka a Facebook
flashcache modul, tzn. nad RAID10 je flashcache, ktera dela writeback
na SSD.
Tzn. efektivne vsechny zapisy ext4 do journalu atd., to vsechno slo na
SSD odjakziva u nas, ale presto je to na ext4 tragicky pomaly.
Nejvic na to nadavam vzdycky, kdyz mam ted migrovat VPS ext4 server ->
ZFS server, jak lidem casem ty VPSky nakynuly, tak dostat je ze
zdrojovyho nodu je job na desitky hodin per VPS. Doslova mi to pak
pripada, jakoze ty VPSky s tim nodem srostly :)
Nastesti uz bude klid. ZFS.

/snajpa

> 
> Urcite budem dal pracovat na ZFS podpore, linuxovy filesystemy
> jsou jedna velka tragedie. Navic se diky tomu muzem zbavit ty
> tragedie vzquoty.
> 
> /snajpa
> 
> On 03/15/2014 10:55 PM, Pavel Snajdr wrote:
>> A na doplneni: na nodech se ZFS uz vzquota neni, tam se to dit 
>> nebude :)
> 
>> S pozdravem
> 
>> Pavel Snajdr
> 
>> +421 948 816 186  | +420 720 107 791          | 110-010-956 CTO
>> of Relbit     | Predseda vpsFree.cz, o.s. | RHCE
>> http://relbit.com | http://vpsfree.cz         |
>> https://www.redhat.com
> 
>> On 03/15/2014 10:52 PM, Ondrej Mikle wrote:
>>> Ahoj,
> 
>>> ma OpenVZ vlastnost, ze napriklad pri premigrovani kontejneru 
>>> nebo nejake jine zmene se taky zmeni inode numbers souboru na 
>>> filesystemu?
> 
>>> Ptam se proto, ze rkhunter to "spatne nese" a reportuje to. Pri
>>>  porovnani SHA256 checksumu s cistym systemem i s rpm --verify
>>>  checksumy sedi. Souboru se zmenenym inode je velka spousta,
>>> tim padem z predchoziho vyplyva, ze jde o spis false alarm.
> 
>>> Setkal se s tim i nekdo jiny?
> 
>>> Dik, Ondro
> 
> 
> 
>>> _______________________________________________ Community-list
>>>  mailing list Community-list at lists.vpsfree.cz 
>>> http://lists.vpsfree.cz/listinfo/community-list
> 
>> _______________________________________________ Community-list 
>> mailing list Community-list at lists.vpsfree.cz 
>> http://lists.vpsfree.cz/listinfo/community-list
> 
> _______________________________________________ Community-list
> mailing list Community-list at lists.vpsfree.cz 
> http://lists.vpsfree.cz/listinfo/community-list
> 
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1
Comment: Using GnuPG with Thunderbird - http://www.enigmail.net/

iF4EAREIAAYFAlMk0JMACgkQMBKdi9lkZ6qNPQD/fxDxVjrsR3lFonApxuZEOXhx
Co0tXW/gidlA9v1oQcwA/2B8IDSJeW0T+2IMD+hVMa9o4cIMVmNZVT0PBa8N0GfE
=SmMB
-----END PGP SIGNATURE-----