-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
On 03/15/2014 11:08 PM, Pavel Snajdr wrote:
No dobre, tak jeste teda nejdu spat, tak se trochu rozepisu a vysvetlim, o co jde:
- kazdej kontejner je slozka na FS - coz znamena, ze abych mohl
limitovat diskspace kontejneru, musel bych mit FS per kontejner, coz trochu drti nektery vyhody kontejneru (napr. agregace mista pri shared FS se proste neda udelat elegantneji)
V OpenVZ to vyresili tak, ze mezi ext*fs/xfs a "simfs" (simulovany fs kontejneru) vlozili vzquotu, coz je neco jako tabulka mapovani muj inode -> node na FS + accounting infromace o velikosti.
Diky tomu pak i funguje second-level quota (tzn. normalni linuxova user/group quota) - coz je neco, co budeme muset do ZFS doimplementovat.
Nevyhoda vzquoty se pozna pri resetu systemu, kdyz nema cas si syncnout ten mapujici soubor na disk. Pak musi vzquota pri startu kazdyho kontejneru projit jeho soubory a znova je namapovat. To je prave to, co ti muze rozhazet cisla inodu.
Bootovani serveru s vzquotou po resetu je pak tragedie a masina s 90 VPS muze naskakovat klidne 3-4 hodiny.
Krom toho je vzquota nachylna na random rozbijeni se i pres tu kontrolu integrity, da se rozbit ze ukazuje min/vic zabranyho mista/inodes, akorat nevim, jak k tomu dochazi (co je trigger toho rozbiti), deje se to jenom zridkakdy.
Also, ukazalo se ze mit vic kontejneru na EXT4 je totalni blbost, v ext4 je nejfatalnejsi problem journal. Stane se bottleneckem celyho toho FS a proste neda se nic. Obzvlast, kdyz nad tim FS bezi par databazi. Iowait leti nahoru, disky seekujou jak pomateny a propustnost filesystemu jde do kytek.
Oproti tomu node se ZFS ma tech 90 VPS nastartovanych do tak 10ti minut jako absolutni maximum. A tech MySQL muze na serveru bezet, co zvlada CPU, protoze na synchronnni zapisy a fuckup unixovyho sveta jmenem sync() ma ZFS mechanismus jmenem Intent Log a moznost ho vysoupnout na dedikovany device. Oproti tomu ext4 ani s dedikovanym journalem na SSD nedela temer zadny rozdil. Pak uz disky tolik neseekujou, ale vykon porad nikde. Btw tahle "vlastnost" ext4ky donutila OpenVZ lidi implementovat ploop, takze pak delaji ext4 in a file per container. So much win! :)
Tady jeste doplnim, ze ty nody s ext4 maji SSDcka a Facebook flashcache modul, tzn. nad RAID10 je flashcache, ktera dela writeback na SSD. Tzn. efektivne vsechny zapisy ext4 do journalu atd., to vsechno slo na SSD odjakziva u nas, ale presto je to na ext4 tragicky pomaly. Nejvic na to nadavam vzdycky, kdyz mam ted migrovat VPS ext4 server -> ZFS server, jak lidem casem ty VPSky nakynuly, tak dostat je ze zdrojovyho nodu je job na desitky hodin per VPS. Doslova mi to pak pripada, jakoze ty VPSky s tim nodem srostly :) Nastesti uz bude klid. ZFS.
/snajpa
Urcite budem dal pracovat na ZFS podpore, linuxovy filesystemy jsou jedna velka tragedie. Navic se diky tomu muzem zbavit ty tragedie vzquoty.
/snajpa
On 03/15/2014 10:55 PM, Pavel Snajdr wrote:
A na doplneni: na nodech se ZFS uz vzquota neni, tam se to dit nebude :)
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 03/15/2014 10:52 PM, Ondrej Mikle wrote:
Ahoj,
ma OpenVZ vlastnost, ze napriklad pri premigrovani kontejneru nebo nejake jine zmene se taky zmeni inode numbers souboru na filesystemu?
Ptam se proto, ze rkhunter to "spatne nese" a reportuje to. Pri porovnani SHA256 checksumu s cistym systemem i s rpm --verify checksumy sedi. Souboru se zmenenym inode je velka spousta, tim padem z predchoziho vyplyva, ze jde o spis false alarm.
Setkal se s tim i nekdo jiny?
Dik, Ondro
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list