Kompilace v nixops spouští desítky procesů, na které nemá zdroje
Ahoj, mám na jedné VPS nixops a zkouším přes to deploynout nixos na jinou VPS. Opakovaně jsem narazil na problém, že se začne kompilovat nějaká derivace, a po chvíli to sestřelí OOM killer. Typicky se těsně předtím naspawnuje spoustu (desítky) procesů. Všiml jsem si toho u ripgrepu (rustc), tam to ještě prošlo. Teď mi spadne GitLab resp. webpack při kompilaci assetů: /tmp/nix-build-gitlab-assets-13.0.9.drv-1/source/node_modules/.bin/webpack --config /tmp/nix-build-gitlab-assets-13.0.9.drv-1/source/config/webpack.config.js --bail Deploy spouštím na node256 takto: nixops deploy -d simple --max-jobs 1 --cores 1 VPS má 4 GB, běží na node15.prg. V dmesg vidím, že tam při spuštění OOM killeru bylo 32 procesů node15 32 je podezřelé kulaté číslo. Myslím si, že buildovací tooly odněkud přečtou informaci, že mají pustit 32 instancí, nastartují podle toho a vzápětí je systém po setkání s realitou sestřelí. Chystám se zreprodukovat build webpacku ručně a zjistit, podle čeho to spawnuje. Nemá už to někdo projité? Zní to jako něco, na co už mohl narazit někdo jiný. zdravím Tomáš Kuča
Ahoj, predne, diky za skvely popis, mas pravdu, je to pocet CPU threadu na te masine. Pod NixOSem, totiz, se bash asi diva nekam jinam a na `nproc' vraci jine cislo, nez na ostatnich distrech... Podivam se na to behem nasledujicich par dni, mohl bych Te poprosit, jesli bys to jeste pastnul jako issue na github? https://github.com/vpsfreecz/vpsadminos/issues Diky moc :) /snajpa On 2020-08-10 23:06, Tomáš Kuča wrote:
Ahoj,
mám na jedné VPS nixops a zkouším přes to deploynout nixos na jinou VPS. Opakovaně jsem narazil na problém, že se začne kompilovat nějaká derivace, a po chvíli to sestřelí OOM killer. Typicky se těsně předtím naspawnuje spoustu (desítky) procesů. Všiml jsem si toho u ripgrepu (rustc), tam to ještě prošlo. Teď mi spadne GitLab resp. webpack při kompilaci assetů:
/tmp/nix-build-gitlab-assets-13.0.9.drv-1/source/node_modules/.bin/webpack --config /tmp/nix-build-gitlab-assets-13.0.9.drv-1/source/config/webpack.config.js --bail
Deploy spouštím na node256 takto:
nixops deploy -d simple --max-jobs 1 --cores 1
VPS má 4 GB, běží na node15.prg. V dmesg vidím, že tam při spuštění OOM killeru bylo 32 procesů node15
32 je podezřelé kulaté číslo. Myslím si, že buildovací tooly odněkud přečtou informaci, že mají pustit 32 instancí, nastartují podle toho a vzápětí je systém po setkání s realitou sestřelí.
Chystám se zreprodukovat build webpacku ručně a zjistit, podle čeho to spawnuje. Nemá už to někdo projité? Zní to jako něco, na co už mohl narazit někdo jiný.
zdravím
Tomáš Kuča _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Dík za odpověď, issue jsem vytvoříl: https://github.com/vpsfreecz/vpsadminos/issues/41 Nespěchá to, jde jen o aktualizaci serveru, který mám víceméně pro sebe. Tomáš Kuča Dne 10. 08. 20 v 23.32 Pavel Snajdr <snajpa@snajpa.net> napsal/a:
Ahoj,
predne, diky za skvely popis, mas pravdu, je to pocet CPU threadu na te masine.
Pod NixOSem, totiz, se bash asi diva nekam jinam a na `nproc' vraci jine cislo, nez na ostatnich distrech...
Podivam se na to behem nasledujicich par dni, mohl bych Te poprosit, jesli bys to jeste pastnul jako issue na github?
https://github.com/vpsfreecz/vpsadminos/issues
Diky moc :)
/snajpa
On 2020-08-10 23:06, Tomáš Kuča wrote:
Ahoj,
mám na jedné VPS nixops a zkouším přes to deploynout nixos na jinou VPS. Opakovaně jsem narazil na problém, že se začne kompilovat nějaká derivace, a po chvíli to sestřelí OOM killer. Typicky se těsně předtím naspawnuje spoustu (desítky) procesů. Všiml jsem si toho u ripgrepu (rustc), tam to ještě prošlo. Teď mi spadne GitLab resp. webpack při kompilaci assetů:
/tmp/nix-build-gitlab-assets-13.0.9.drv-1/source/node_modules/.bin/webpack --config /tmp/nix-build-gitlab-assets-13.0.9.drv-1/source/config/webpack.config.js --bail
Deploy spouštím na node256 takto:
nixops deploy -d simple --max-jobs 1 --cores 1
VPS má 4 GB, běží na node15.prg. V dmesg vidím, že tam při spuštění OOM killeru bylo 32 procesů node15
32 je podezřelé kulaté číslo. Myslím si, že buildovací tooly odněkud přečtou informaci, že mají pustit 32 instancí, nastartují podle toho a vzápětí je systém po setkání s realitou sestřelí.
Chystám se zreprodukovat build webpacku ručně a zjistit, podle čeho to spawnuje. Nemá už to někdo projité? Zní to jako něco, na co už mohl narazit někdo jiný.
zdravím
Tomáš Kuča _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Ahojte, všiml jsem si že Firejail se chová podobně. Tzn pokud se v Firejailu spustí nějaké úloha, dopadne to také obvykle blbě. Nejdříve jsem si myslel, že za to mohl ten program, ale pak jsem zjistil, že i TOP/HTOP a další ve firejailu zobrazují info o celé mašině. Zdenek po 10. 8. 2020 v 23:32 odesílatel Pavel Snajdr <snajpa@snajpa.net> napsal:
Ahoj,
predne, diky za skvely popis, mas pravdu, je to pocet CPU threadu na te masine.
Pod NixOSem, totiz, se bash asi diva nekam jinam a na `nproc' vraci jine cislo, nez na ostatnich distrech...
Podivam se na to behem nasledujicich par dni, mohl bych Te poprosit, jesli bys to jeste pastnul jako issue na github?
https://github.com/vpsfreecz/vpsadminos/issues
Diky moc :)
/snajpa
On 2020-08-10 23:06, Tomáš Kuča wrote:
Ahoj,
mám na jedné VPS nixops a zkouším přes to deploynout nixos na jinou VPS. Opakovaně jsem narazil na problém, že se začne kompilovat nějaká derivace, a po chvíli to sestřelí OOM killer. Typicky se těsně předtím naspawnuje spoustu (desítky) procesů. Všiml jsem si toho u ripgrepu (rustc), tam to ještě prošlo. Teď mi spadne GitLab resp. webpack při kompilaci assetů:
/tmp/nix-build-gitlab-assets-13.0.9.drv-1/source/node_modules/.bin/webpack
--config /tmp/nix-build-gitlab-assets-13.0.9.drv-1/source/config/webpack.config.js --bail
Deploy spouštím na node256 takto:
nixops deploy -d simple --max-jobs 1 --cores 1
VPS má 4 GB, běží na node15.prg. V dmesg vidím, že tam při spuštění OOM killeru bylo 32 procesů node15
32 je podezřelé kulaté číslo. Myslím si, že buildovací tooly odněkud přečtou informaci, že mají pustit 32 instancí, nastartují podle toho a vzápětí je systém po setkání s realitou sestřelí.
Chystám se zreprodukovat build webpacku ručně a zjistit, podle čeho to spawnuje. Nemá už to někdo projité? Zní to jako něco, na co už mohl narazit někdo jiný.
zdravím
Tomáš Kuča _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
participants (3)
-
Pavel Snajdr -
Tomáš Kuča -
zd nex