-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Caute,
posledni dobou mame docela problem s OpenVZ jadry.
Mam pocit, ze chlapci z Parallels zacali kaslat na QA a malo ty jadra testuji.
Proto mam pro ted nekolik opatreni:
a] zasekneme se na poslednim znamem funkcnim jadre, dokud nenajdeme novejsi, coz znamena za na node6, node3 a hromade dalsich musim downgradovat jadro - toto je ten problem, proc jim jebe, zadny ZFS. To svisti stabilne nadherne (akorat mne nedokumentovany zmeny v chovani nekterych casti zfs kodu umely zmast ze jsem si neumel predstavit WTF jak je mozny ze se najednou s txg dela uplne jinak, ze to proste nemuze nastat ta situace a tak...)
b] budu sledovat RHSA a security fixy si budeme backportovat sami
c] musime napsat sadu testu na kernel, ktere otestuji vsechno, co od jadra potrebujeme - neni mozny, aby se cekalo XY hodin uptime stroje, nez nekdo hitne funkcionalitu, kterou to shodi...
= o tech vsech vypadcich vim a uz mam konecne konkretni duvody, proc to tak je a proc to tak neni a toto je reseni.
To znamena, ze v nejblizsi dobe musim podowngradovat jadra na nekterych strojich - asi dneska v noci? At je klid.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
Čaj,
dáš kdyžtak vědět, jaké jsou verze OpenVZ, o kterých víš, že se na ně můžeš spolehnout?
Vojtěch Knyttl | GoOut
knyttl@goout.cz +420 607 008 510 http://goout.cz
On Saturday, March 29, 2014 at 11:46 AM, Pavel Snajdr wrote:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Caute,
posledni dobou mame docela problem s OpenVZ jadry.
Mam pocit, ze chlapci z Parallels zacali kaslat na QA a malo ty jadra testuji.
Proto mam pro ted nekolik opatreni:
a] zasekneme se na poslednim znamem funkcnim jadre, dokud nenajdeme novejsi, coz znamena za na node6, node3 a hromade dalsich musim downgradovat jadro - toto je ten problem, proc jim jebe, zadny ZFS. To svisti stabilne nadherne (akorat mne nedokumentovany zmeny v chovani nekterych casti zfs kodu umely zmast ze jsem si neumel predstavit WTF jak je mozny ze se najednou s txg dela uplne jinak, ze to proste nemuze nastat ta situace a tak...)
b] budu sledovat RHSA a security fixy si budeme backportovat sami
c] musime napsat sadu testu na kernel, ktere otestuji vsechno, co od jadra potrebujeme - neni mozny, aby se cekalo XY hodin uptime stroje, nez nekdo hitne funkcionalitu, kterou to shodi...
= o tech vsech vypadcich vim a uz mam konecne konkretni duvody, proc to tak je a proc to tak neni a toto je reseni.
To znamena, ze v nejblizsi dobe musim podowngradovat jadra na nekterych strojich - asi dneska v noci? At je klid.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz (http://vpsFree.cz), o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com -----BEGIN PGP SIGNATURE----- Version: GnuPG v1 Comment: Using GnuPG with Thunderbird - http://www.enigmail.net/
iF4EAREIAAYFAlM2pIwACgkQMBKdi9lkZ6r3lQEAyM33g2V8Y7PCdB9S2BK6LVwJ TQZ+jgQDH0R3XFCivi0A/17wYgI4Yx0XNIRA/Upuqm7/xYPVDLNKuxlK6qWFFdcr =y1ty -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz (mailto:Community-list@lists.vpsfree.cz) http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Asi to prasknem na github, takze bude stacit naklonovat, az bude meritelnej progress, tak dam vedet.
Jenom jsem chtel dat najevo ze a] o tech problemech vim b] pohar trpelivosti pretekl a jdu s tim neco delat :)
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 03/29/2014 11:51 AM, Vojtěch Knyttl wrote:
Čaj,
dáš kdyžtak vědět, jaké jsou verze OpenVZ, o kterých víš, že se na ně můžeš spolehnout?
Vojtěch Knyttl | GoOut
knyttl@goout.cz +420 607 008 510 http://goout.cz
On Saturday, March 29, 2014 at 11:46 AM, Pavel Snajdr wrote:
Caute,
posledni dobou mame docela problem s OpenVZ jadry.
Mam pocit, ze chlapci z Parallels zacali kaslat na QA a malo ty jadra testuji.
Proto mam pro ted nekolik opatreni:
a] zasekneme se na poslednim znamem funkcnim jadre, dokud nenajdeme novejsi, coz znamena za na node6, node3 a hromade dalsich musim downgradovat jadro - toto je ten problem, proc jim jebe, zadny ZFS. To svisti stabilne nadherne (akorat mne nedokumentovany zmeny v chovani nekterych casti zfs kodu umely zmast ze jsem si neumel predstavit WTF jak je mozny ze se najednou s txg dela uplne jinak, ze to proste nemuze nastat ta situace a tak...)
b] budu sledovat RHSA a security fixy si budeme backportovat sami
c] musime napsat sadu testu na kernel, ktere otestuji vsechno, co od jadra potrebujeme - neni mozny, aby se cekalo XY hodin uptime stroje, nez nekdo hitne funkcionalitu, kterou to shodi...
= o tech vsech vypadcich vim a uz mam konecne konkretni duvody, proc to tak je a proc to tak neni a toto je reseni.
To znamena, ze v nejblizsi dobe musim podowngradovat jadra na nekterych strojich - asi dneska v noci? At je klid.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz http://vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz mailto:Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Budeme sjednocovat na:
2.6.32-042stab084.26
Ted mame vsechno mozny od 042stab078.28 po 042stab085.25.
Kdyz se objevi problemy s 042stab084.26, budeme downgradovat dal na 042stab078.28. To je ale uz hodne stary a chybi mu par featur, na ktery uz jsme se si zvykli (IO accounting a limiting done right atd.).
Aktualni prehled jsem hodil sem:
https://gist.github.com/snajpa/9855183
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 03/29/2014 11:51 AM, Vojtěch Knyttl wrote:
Čaj,
dáš kdyžtak vědět, jaké jsou verze OpenVZ, o kterých víš, že se na ně můžeš spolehnout?
Vojtěch Knyttl | GoOut
knyttl@goout.cz +420 607 008 510 http://goout.cz
On Saturday, March 29, 2014 at 11:46 AM, Pavel Snajdr wrote:
Caute,
posledni dobou mame docela problem s OpenVZ jadry.
Mam pocit, ze chlapci z Parallels zacali kaslat na QA a malo ty jadra testuji.
Proto mam pro ted nekolik opatreni:
a] zasekneme se na poslednim znamem funkcnim jadre, dokud nenajdeme novejsi, coz znamena za na node6, node3 a hromade dalsich musim downgradovat jadro - toto je ten problem, proc jim jebe, zadny ZFS. To svisti stabilne nadherne (akorat mne nedokumentovany zmeny v chovani nekterych casti zfs kodu umely zmast ze jsem si neumel predstavit WTF jak je mozny ze se najednou s txg dela uplne jinak, ze to proste nemuze nastat ta situace a tak...)
b] budu sledovat RHSA a security fixy si budeme backportovat sami
c] musime napsat sadu testu na kernel, ktere otestuji vsechno, co od jadra potrebujeme - neni mozny, aby se cekalo XY hodin uptime stroje, nez nekdo hitne funkcionalitu, kterou to shodi...
= o tech vsech vypadcich vim a uz mam konecne konkretni duvody, proc to tak je a proc to tak neni a toto je reseni.
To znamena, ze v nejblizsi dobe musim podowngradovat jadra na nekterych strojich - asi dneska v noci? At je klid.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz http://vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz mailto:Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Já si říkal že to po tom upgradu kernelu začalo nějak zlobit :) U c) bych viděl trochu problém s tím *napsat* ty testy.
Mimochodem, máš někde tabulku verzí kernelu které jsou na jednotlivých serverech?
On 29.3.2014 11:46, Pavel Snajdr wrote:
Caute,
posledni dobou mame docela problem s OpenVZ jadry.
Mam pocit, ze chlapci z Parallels zacali kaslat na QA a malo ty jadra testuji.
Proto mam pro ted nekolik opatreni:
a] zasekneme se na poslednim znamem funkcnim jadre, dokud nenajdeme novejsi, coz znamena za na node6, node3 a hromade dalsich musim downgradovat jadro - toto je ten problem, proc jim jebe, zadny ZFS. To svisti stabilne nadherne (akorat mne nedokumentovany zmeny v chovani nekterych casti zfs kodu umely zmast ze jsem si neumel predstavit WTF jak je mozny ze se najednou s txg dela uplne jinak, ze to proste nemuze nastat ta situace a tak...)
b] budu sledovat RHSA a security fixy si budeme backportovat sami
c] musime napsat sadu testu na kernel, ktere otestuji vsechno, co od jadra potrebujeme - neni mozny, aby se cekalo XY hodin uptime stroje, nez nekdo hitne funkcionalitu, kterou to shodi...
= o tech vsech vypadcich vim a uz mam konecne konkretni duvody, proc to tak je a proc to tak neni a toto je reseni.
To znamena, ze v nejblizsi dobe musim podowngradovat jadra na nekterych strojich - asi dneska v noci? At je klid.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Udelal jsem repo, ktery obsahuje stabilni vzkernel, ktery aktualne pouzivame + kmod-zfs, kmod-spl, zfs a spl baliky kompilovane proti sobe. Kompatibilni s x86_64 CentOS/SL/RHEL 6.5.
Kdybyste to nekdo chtel pouzit pro svoje ucely:
curl http://repo.vpsfree.cz/install.sh | bash
S pozdravem / Best regards,
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 03/29/2014 11:46 AM, Pavel Snajdr wrote:
Caute,
posledni dobou mame docela problem s OpenVZ jadry.
Mam pocit, ze chlapci z Parallels zacali kaslat na QA a malo ty jadra testuji.
Proto mam pro ted nekolik opatreni:
a] zasekneme se na poslednim znamem funkcnim jadre, dokud nenajdeme novejsi, coz znamena za na node6, node3 a hromade dalsich musim downgradovat jadro - toto je ten problem, proc jim jebe, zadny ZFS. To svisti stabilne nadherne (akorat mne nedokumentovany zmeny v chovani nekterych casti zfs kodu umely zmast ze jsem si neumel predstavit WTF jak je mozny ze se najednou s txg dela uplne jinak, ze to proste nemuze nastat ta situace a tak...)
b] budu sledovat RHSA a security fixy si budeme backportovat sami
c] musime napsat sadu testu na kernel, ktere otestuji vsechno, co od jadra potrebujeme - neni mozny, aby se cekalo XY hodin uptime stroje, nez nekdo hitne funkcionalitu, kterou to shodi...
= o tech vsech vypadcich vim a uz mam konecne konkretni duvody, proc to tak je a proc to tak neni a toto je reseni.
To znamena, ze v nejblizsi dobe musim podowngradovat jadra na nekterych strojich - asi dneska v noci? At je klid.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Upgrade je hotovy.
Ale ani tenhle kernel neni bez chyb. Zadny ze vsech moznych co jsem zkousel neni imunni - chyba je nekde v modulu xt_hashlimit (iptables), takze jsem ho musel zakazat. Padal kvuli tomu donekonecna node7 (byvaly node8).
Na tohle pomuze jedine sbirat dumpy RAM z nodu, ktere crashnou.
Pri 128GB+ je to ale na gigabitu trochu problem (na lokalni storage to neni kam dat, kdump nepodporuje zfs). Tedy to bude muset pockat na upgrade na 10GE, nebo budu muset dumpovat jenom tak akorat stack trace, coz je pro spoustu pripadu k nicemu.
Holt mame asi unikatni use case, nebo co - asi nikdo nedela tak velke systemy s kontejnery, na kterych bezi jenom jedno jadro? Nechce se mi to verit...
S pozdravem / Best regards,
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 03/30/2014 12:05 AM, Pavel Snajdr wrote:
Udelal jsem repo, ktery obsahuje stabilni vzkernel, ktery aktualne pouzivame + kmod-zfs, kmod-spl, zfs a spl baliky kompilovane proti sobe. Kompatibilni s x86_64 CentOS/SL/RHEL 6.5.
Kdybyste to nekdo chtel pouzit pro svoje ucely:
curl http://repo.vpsfree.cz/install.sh | bash
S pozdravem / Best regards,
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 03/29/2014 11:46 AM, Pavel Snajdr wrote:
Caute,
posledni dobou mame docela problem s OpenVZ jadry.
Mam pocit, ze chlapci z Parallels zacali kaslat na QA a malo ty jadra testuji.
Proto mam pro ted nekolik opatreni:
a] zasekneme se na poslednim znamem funkcnim jadre, dokud nenajdeme novejsi, coz znamena za na node6, node3 a hromade dalsich musim downgradovat jadro - toto je ten problem, proc jim jebe, zadny ZFS. To svisti stabilne nadherne (akorat mne nedokumentovany zmeny v chovani nekterych casti zfs kodu umely zmast ze jsem si neumel predstavit WTF jak je mozny ze se najednou s txg dela uplne jinak, ze to proste nemuze nastat ta situace a tak...)
b] budu sledovat RHSA a security fixy si budeme backportovat sami
c] musime napsat sadu testu na kernel, ktere otestuji vsechno, co od jadra potrebujeme - neni mozny, aby se cekalo XY hodin uptime stroje, nez nekdo hitne funkcionalitu, kterou to shodi...
= o tech vsech vypadcich vim a uz mam konecne konkretni duvody, proc to tak je a proc to tak neni a toto je reseni.
To znamena, ze v nejblizsi dobe musim podowngradovat jadra na nekterych strojich - asi dneska v noci? At je klid.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Tak neni hotovy, OMFG. Prosim omluvte vypadky, co ten kernel vyvadi, tomu opravdu nerozumim, pada to jako hrusky na nekolika nodech.
node5, node2.brq hlavne...
On 03/30/2014 04:35 AM, Pavel Snajdr wrote:
Upgrade je hotovy.
Ale ani tenhle kernel neni bez chyb. Zadny ze vsech moznych co jsem zkousel neni imunni - chyba je nekde v modulu xt_hashlimit (iptables), takze jsem ho musel zakazat. Padal kvuli tomu donekonecna node7 (byvaly node8).
Na tohle pomuze jedine sbirat dumpy RAM z nodu, ktere crashnou.
Pri 128GB+ je to ale na gigabitu trochu problem (na lokalni storage to neni kam dat, kdump nepodporuje zfs). Tedy to bude muset pockat na upgrade na 10GE, nebo budu muset dumpovat jenom tak akorat stack trace, coz je pro spoustu pripadu k nicemu.
Holt mame asi unikatni use case, nebo co - asi nikdo nedela tak velke systemy s kontejnery, na kterych bezi jenom jedno jadro? Nechce se mi to verit...
S pozdravem / Best regards,
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 03/30/2014 12:05 AM, Pavel Snajdr wrote:
Udelal jsem repo, ktery obsahuje stabilni vzkernel, ktery aktualne pouzivame + kmod-zfs, kmod-spl, zfs a spl baliky kompilovane proti sobe. Kompatibilni s x86_64 CentOS/SL/RHEL 6.5.
Kdybyste to nekdo chtel pouzit pro svoje ucely:
curl http://repo.vpsfree.cz/install.sh | bash
S pozdravem / Best regards,
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 03/29/2014 11:46 AM, Pavel Snajdr wrote:
Caute,
posledni dobou mame docela problem s OpenVZ jadry.
Mam pocit, ze chlapci z Parallels zacali kaslat na QA a malo ty jadra testuji.
Proto mam pro ted nekolik opatreni:
a] zasekneme se na poslednim znamem funkcnim jadre, dokud nenajdeme novejsi, coz znamena za na node6, node3 a hromade dalsich musim downgradovat jadro - toto je ten problem, proc jim jebe, zadny ZFS. To svisti stabilne nadherne (akorat mne nedokumentovany zmeny v chovani nekterych casti zfs kodu umely zmast ze jsem si neumel predstavit WTF jak je mozny ze se najednou s txg dela uplne jinak, ze to proste nemuze nastat ta situace a tak...)
b] budu sledovat RHSA a security fixy si budeme backportovat sami
c] musime napsat sadu testu na kernel, ktere otestuji vsechno, co od jadra potrebujeme - neni mozny, aby se cekalo XY hodin uptime stroje, nez nekdo hitne funkcionalitu, kterou to shodi...
= o tech vsech vypadcich vim a uz mam konecne konkretni duvody, proc to tak je a proc to tak neni a toto je reseni.
To znamena, ze v nejblizsi dobe musim podowngradovat jadra na nekterych strojich - asi dneska v noci? At je klid.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Tak to jen tak od oka strelit nepujde, ze ktery jadro je OK.. chce to realne ty jadra poradne testovat. Otazka je jak.
Tyhle veci, ty bugy, na ktery narazime, to je vzdycky takova piiii*****ovina, ze kdo to ma predpovidat... a psat testy coverujici 99% kernel ABI to muzu rovnou jit a poaktualizovat illumos lx zones brand a muzeme kaslat na linux a bezet na illumosu, co se bude tvarit jako linux... a bylo by to stabilnejsi...
No ale zpatky k realite. Fakt mne nenapada nejaky snadny testovani ve smyslu "nainstalujes to a to" a mas. To si budeme muset poskladat sami.
Omlouvam se za hromadu rebootu, musel jsem s tema jadrama laborovat sem tam, neco jelo na jednom, neco na druhym...
Nakonec se jako posledni funkcni varianta ukazalo nejnovejsi jadro pro ZFS nody a o neco starsi jadro pro ext nody.
Tak a ted uz na to se*u a na jadro se sahat proste nebude, dokud nebude kritickej duvod. @ Relbit mame zamestnanyho cloveka na vyvoj jadra, takze bude spolu se mnou backportovat nejdulezitejsi fixy, co potrebujeme.
Az teprv kdyz vykoumam, jak validovat novejsi jadra a budu si jima aspon na 80% jistej, budeme updatovat. Ne driv.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 03/30/2014 07:04 AM, Pavel Snajdr wrote:
Tak neni hotovy, OMFG. Prosim omluvte vypadky, co ten kernel vyvadi, tomu opravdu nerozumim, pada to jako hrusky na nekolika nodech.
node5, node2.brq hlavne...
On 03/30/2014 04:35 AM, Pavel Snajdr wrote:
Upgrade je hotovy.
Ale ani tenhle kernel neni bez chyb. Zadny ze vsech moznych co jsem zkousel neni imunni - chyba je nekde v modulu xt_hashlimit (iptables), takze jsem ho musel zakazat. Padal kvuli tomu donekonecna node7 (byvaly node8).
Na tohle pomuze jedine sbirat dumpy RAM z nodu, ktere crashnou.
Pri 128GB+ je to ale na gigabitu trochu problem (na lokalni storage to neni kam dat, kdump nepodporuje zfs). Tedy to bude muset pockat na upgrade na 10GE, nebo budu muset dumpovat jenom tak akorat stack trace, coz je pro spoustu pripadu k nicemu.
Holt mame asi unikatni use case, nebo co - asi nikdo nedela tak velke systemy s kontejnery, na kterych bezi jenom jedno jadro? Nechce se mi to verit...
S pozdravem / Best regards,
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 03/30/2014 12:05 AM, Pavel Snajdr wrote:
Udelal jsem repo, ktery obsahuje stabilni vzkernel, ktery aktualne pouzivame + kmod-zfs, kmod-spl, zfs a spl baliky kompilovane proti sobe. Kompatibilni s x86_64 CentOS/SL/RHEL 6.5.
Kdybyste to nekdo chtel pouzit pro svoje ucely:
curl http://repo.vpsfree.cz/install.sh | bash
S pozdravem / Best regards,
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 03/29/2014 11:46 AM, Pavel Snajdr wrote:
Caute,
posledni dobou mame docela problem s OpenVZ jadry.
Mam pocit, ze chlapci z Parallels zacali kaslat na QA a malo ty jadra testuji.
Proto mam pro ted nekolik opatreni:
a] zasekneme se na poslednim znamem funkcnim jadre, dokud nenajdeme novejsi, coz znamena za na node6, node3 a hromade dalsich musim downgradovat jadro - toto je ten problem, proc jim jebe, zadny ZFS. To svisti stabilne nadherne (akorat mne nedokumentovany zmeny v chovani nekterych casti zfs kodu umely zmast ze jsem si neumel predstavit WTF jak je mozny ze se najednou s txg dela uplne jinak, ze to proste nemuze nastat ta situace a tak...)
b] budu sledovat RHSA a security fixy si budeme backportovat sami
c] musime napsat sadu testu na kernel, ktere otestuji vsechno, co od jadra potrebujeme - neni mozny, aby se cekalo XY hodin uptime stroje, nez nekdo hitne funkcionalitu, kterou to shodi...
= o tech vsech vypadcich vim a uz mam konecne konkretni duvody, proc to tak je a proc to tak neni a toto je reseni.
To znamena, ze v nejblizsi dobe musim podowngradovat jadra na nekterych strojich - asi dneska v noci? At je klid.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Dovolim si jednu drobnou poznámku - na vps na node5.prg jsem cca dva mesice porad lovil jeden memory leak nekde v modulu php (verze 5.5) pro apache - chybu jsem porad hledal v PHP a ne v OpenVZ. Ted po rebootu serveru a aktualiaci jadra je problém najednou sam o sebe pryc.
-- Stanislav Petr
-----Original Message----- From: community-list-bounces@lists.vpsfree.cz [mailto:community-list-bounces@lists.vpsfree.cz] On Behalf Of Pavel Snajdr Sent: Sunday, March 30, 2014 10:11 AM To: vpsFree.cz Community list Subject: Re: [vpsFree.cz: community-list] OpenVZ Kernel
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Tak to jen tak od oka strelit nepujde, ze ktery jadro je OK.. chce to realne ty jadra poradne testovat. Otazka je jak.
Tyhle veci, ty bugy, na ktery narazime, to je vzdycky takova piiii*****ovina, ze kdo to ma predpovidat... a psat testy coverujici 99% kernel ABI to muzu rovnou jit a poaktualizovat illumos lx zones brand a muzeme kaslat na linux a bezet na illumosu, co se bude tvarit jako linux... a bylo by to stabilnejsi...
No ale zpatky k realite. Fakt mne nenapada nejaky snadny testovani ve smyslu "nainstalujes to a to" a mas. To si budeme muset poskladat sami.
Omlouvam se za hromadu rebootu, musel jsem s tema jadrama laborovat sem tam, neco jelo na jednom, neco na druhym...
Nakonec se jako posledni funkcni varianta ukazalo nejnovejsi jadro pro ZFS nody a o neco starsi jadro pro ext nody.
Tak a ted uz na to se*u a na jadro se sahat proste nebude, dokud nebude kritickej duvod. @ Relbit mame zamestnanyho cloveka na vyvoj jadra, takze bude spolu se mnou backportovat nejdulezitejsi fixy, co potrebujeme.
Az teprv kdyz vykoumam, jak validovat novejsi jadra a budu si jima aspon na 80% jistej, budeme updatovat. Ne driv.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 03/30/2014 07:04 AM, Pavel Snajdr wrote:
Tak neni hotovy, OMFG. Prosim omluvte vypadky, co ten kernel vyvadi, tomu opravdu nerozumim, pada to jako hrusky na nekolika nodech.
node5, node2.brq hlavne...
On 03/30/2014 04:35 AM, Pavel Snajdr wrote:
Upgrade je hotovy.
Ale ani tenhle kernel neni bez chyb. Zadny ze vsech moznych co jsem zkousel neni imunni - chyba je nekde v modulu xt_hashlimit (iptables), takze jsem ho musel zakazat. Padal kvuli tomu donekonecna node7 (byvaly node8).
Na tohle pomuze jedine sbirat dumpy RAM z nodu, ktere crashnou.
Pri 128GB+ je to ale na gigabitu trochu problem (na lokalni storage to neni kam dat, kdump nepodporuje zfs). Tedy to bude muset pockat na upgrade na 10GE, nebo budu muset dumpovat jenom tak akorat stack trace, coz je pro spoustu pripadu k nicemu.
Holt mame asi unikatni use case, nebo co - asi nikdo nedela tak velke systemy s kontejnery, na kterych bezi jenom jedno jadro? Nechce se mi to verit...
S pozdravem / Best regards,
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 03/30/2014 12:05 AM, Pavel Snajdr wrote:
Udelal jsem repo, ktery obsahuje stabilni vzkernel, ktery aktualne pouzivame + kmod-zfs, kmod-spl, zfs a spl baliky kompilovane proti sobe. Kompatibilni s x86_64 CentOS/SL/RHEL 6.5.
Kdybyste to nekdo chtel pouzit pro svoje ucely:
curl http://repo.vpsfree.cz/install.sh | bash
S pozdravem / Best regards,
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 03/29/2014 11:46 AM, Pavel Snajdr wrote:
Caute,
posledni dobou mame docela problem s OpenVZ jadry.
Mam pocit, ze chlapci z Parallels zacali kaslat na QA a malo ty jadra testuji.
Proto mam pro ted nekolik opatreni:
a] zasekneme se na poslednim znamem funkcnim jadre, dokud nenajdeme novejsi, coz znamena za na node6, node3 a hromade dalsich musim downgradovat jadro - toto je ten problem, proc jim jebe, zadny ZFS. To svisti stabilne nadherne (akorat mne nedokumentovany zmeny v chovani nekterych casti zfs kodu umely zmast ze jsem si neumel predstavit WTF jak je mozny ze se najednou s txg dela uplne jinak, ze to proste nemuze nastat ta situace a tak...)
b] budu sledovat RHSA a security fixy si budeme backportovat sami
c] musime napsat sadu testu na kernel, ktere otestuji vsechno, co od jadra potrebujeme - neni mozny, aby se cekalo XY hodin uptime stroje, nez nekdo hitne funkcionalitu, kterou to shodi...
= o tech vsech vypadcich vim a uz mam konecne konkretni duvody, proc to tak je a proc to tak neni a toto je reseni.
To znamena, ze v nejblizsi dobe musim podowngradovat jadra na nekterych strojich - asi dneska v noci? At je klid.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
community-list@lists.vpsfree.cz
-
mrkva＠mrkva.eu -
Pavel Snajdr -
Stanislav Petr -
Vojtěch Knyttl