Ahoj,
píšu takhle večer a jsem unavený, tak se nezlobte zda jsem přehlédl nějkou blbost, ale při upgradu systému (Arch Linux) na svojí VPS jsem narazil na problém, že mi přestal chodit docker. Oprava je na konci emailu, tak třeba to někomu ušetří trochu práce a stresu.
Update prošel podle následujícího logu:
[2021-04-15T22:20:10+0200] [ALPM] transaction started [2021-04-15T22:20:10+0200] [ALPM] upgraded borg (1.1.16-1 -> 1.1.16-2) [2021-04-15T22:20:10+0200] [ALPM] upgraded run-parts (4.8.6.1-2 -> 4.11.2-1) [2021-04-15T22:20:10+0200] [ALPM] upgraded libxcrypt (4.4.18-1 -> 4.4.19-1) [2021-04-15T22:20:10+0200] [ALPM] upgraded cronie (1.5.6-1 -> 1.5.7-2) [2021-04-15T22:20:10+0200] [ALPM] upgraded systemd-libs (247.4-2 -> 248-4) [2021-04-15T22:20:10+0200] [ALPM] upgraded cryptsetup (2.3.5-1 -> 2.3.5-4) [2021-04-15T22:20:11+0200] [ALPM] upgraded curl (7.75.0-1 -> 7.76.1-1) [2021-04-15T22:20:11+0200] [ALPM] upgraded sqlite (3.35.3-1 -> 3.35.4-1) [2021-04-15T22:20:13+0200] [ALPM] upgraded expat (2.2.10-2 -> 2.3.0-1) [2021-04-15T22:20:15+0200] [ALPM] upgraded docker (1:20.10.5-1 -> 1:20.10.6-1) [2021-04-15T22:20:15+0200] [ALPM] upgraded libnsl (1.3.0-1 -> 1.3.0-2) [2021-04-15T22:20:17+0200] [ALPM] upgraded python (3.9.2-1 -> 3.9.3-1) [2021-04-15T22:20:17+0200] [ALPM] upgraded python-docker (4.4.4-1 -> 5.0.0-1) [2021-04-15T22:20:17+0200] [ALPM] upgraded python-dotenv (0.16.0-1 -> 0.17.0-1) [2021-04-15T22:20:17+0200] [ALPM] upgraded docker-compose (1.28.6-1 -> 1.29.1-1) [2021-04-15T22:20:17+0200] [ALPM] upgraded file (5.39-1 -> 5.40-2) [2021-04-15T22:20:18+0200] [ALPM] upgraded glib2 (2.68.0-5 -> 2.68.1-1) [2021-04-15T22:20:18+0200] [ALPM] warning: /etc/pacman.d/mirrorlist installed as /etc/pacman.d/mirrorlist.pacnew [2021-04-15T22:20:18+0200] [ALPM] upgraded pacman-mirrorlist (20210302-1 -> 20210405-1) [2021-04-15T22:20:19+0200] [ALPM] warning: /etc/systemd/system.conf installed as /etc/systemd/system.conf.pacnew [2021-04-15T22:20:19+0200] [ALPM] upgraded systemd (247.4-2 -> 248-4) [2021-04-15T22:20:19+0200] [ALPM-SCRIPTLET] Creating group sgx with gid 973. [2021-04-15T22:20:19+0200] [ALPM-SCRIPTLET] Creating group systemd-oom with gid 972. [2021-04-15T22:20:19+0200] [ALPM-SCRIPTLET] Creating user systemd-oom (systemd Userspace OOM Killer) with uid 972 and gid 972. [2021-04-15T22:20:20+0200] [ALPM] upgraded systemd-sysvcompat (247.4-2 -> 248-4) [2021-04-15T22:20:20+0200] [ALPM] transaction completed
Potom začal ale docker při spouštění triviálních věcí (docker run hello-world) nechávat tyto věci na terminálu i v journálu:
Apr 15 22:55:26 mouflon dockerd[2006]: time="2021-04-15T22:55:26.728977443+02:00" level=error msg="Handler for POST /v1.41/containers/fc72a2108933f3f8fd557151a9b46c79aec1fa3acb71f0e30af4ca9e40b7b29f/start returned error: OCI runtime create failed: container_linux.go:367: starting container process caused: process_linux.go:495: container init caused: process_linux.go:458: setting cgroup config for procHooks process caused: can't load program: operation not permitted: unknown"
... Říkal jsem si, že to otestuju na staging a ověřím, co je přesně problém, ale na stagingu (čerstvě vytvořená vps 19335) mi nefunguje šablona Arch Linuxu:
# pacman -Syy docker
[...] error: libxcrypt: signature from "Christian Hesse eworm@archlinux.org" is unknown trust :: File /var/cache/pacman/pkg/libxcrypt-4.4.19-1-x86_64.pkg.tar.zst is corrupted (invalid or corrupted package (PGP signature)).
... Nakonec jsem downgradoval docker na 1:20.10.5-1, to ale nestačilo. Downgradoval jsem tedy také systemd* na 247.4-2 (systemd, systemd-libs, systemd-sysvcompat), to taky nepomohlo, ale po restartu vps už to celé zabralo.
V tuhle hodinu už to debugovat nechci, zítra se podívám jestli to nějak umím doklepnout v té staging vpsce.
Kdyby náhodou někdo věděl co se děje, rád si ušetřím práci.
Zdar a dobrou noc, s pozdravem Ladislav Láska
Ahoj, tady mas reseni tohjo problemu s archlinuxem
https://wiki.manjaro.org/index.php?title=Pacman_troubleshooting#Errors_about...
rm -r /etc/pacman.d/gnupg pacman -Sy gnupg archlinux-keyring pacman-key --init pacman-key --populate archlinux
m.
On 15. 04. 21 23:28, Ladislav Laska wrote:
Ahoj,
píšu takhle večer a jsem unavený, tak se nezlobte zda jsem přehlédl nějkou blbost, ale při upgradu systému (Arch Linux) na svojí VPS jsem narazil na problém, že mi přestal chodit docker. Oprava je na konci emailu, tak třeba to někomu ušetří trochu práce a stresu.
Update prošel podle následujícího logu:
[2021-04-15T22:20:10+0200] [ALPM] transaction started [2021-04-15T22:20:10+0200] [ALPM] upgraded borg (1.1.16-1 -> 1.1.16-2) [2021-04-15T22:20:10+0200] [ALPM] upgraded run-parts (4.8.6.1-2 -> 4.11.2-1) [2021-04-15T22:20:10+0200] [ALPM] upgraded libxcrypt (4.4.18-1 -> 4.4.19-1) [2021-04-15T22:20:10+0200] [ALPM] upgraded cronie (1.5.6-1 -> 1.5.7-2) [2021-04-15T22:20:10+0200] [ALPM] upgraded systemd-libs (247.4-2 -> 248-4) [2021-04-15T22:20:10+0200] [ALPM] upgraded cryptsetup (2.3.5-1 -> 2.3.5-4) [2021-04-15T22:20:11+0200] [ALPM] upgraded curl (7.75.0-1 -> 7.76.1-1) [2021-04-15T22:20:11+0200] [ALPM] upgraded sqlite (3.35.3-1 -> 3.35.4-1) [2021-04-15T22:20:13+0200] [ALPM] upgraded expat (2.2.10-2 -> 2.3.0-1) [2021-04-15T22:20:15+0200] [ALPM] upgraded docker (1:20.10.5-1 -> 1:20.10.6-1) [2021-04-15T22:20:15+0200] [ALPM] upgraded libnsl (1.3.0-1 -> 1.3.0-2) [2021-04-15T22:20:17+0200] [ALPM] upgraded python (3.9.2-1 -> 3.9.3-1) [2021-04-15T22:20:17+0200] [ALPM] upgraded python-docker (4.4.4-1 -> 5.0.0-1) [2021-04-15T22:20:17+0200] [ALPM] upgraded python-dotenv (0.16.0-1 -> 0.17.0-1) [2021-04-15T22:20:17+0200] [ALPM] upgraded docker-compose (1.28.6-1 -> 1.29.1-1) [2021-04-15T22:20:17+0200] [ALPM] upgraded file (5.39-1 -> 5.40-2) [2021-04-15T22:20:18+0200] [ALPM] upgraded glib2 (2.68.0-5 -> 2.68.1-1) [2021-04-15T22:20:18+0200] [ALPM] warning: /etc/pacman.d/mirrorlist installed as /etc/pacman.d/mirrorlist.pacnew [2021-04-15T22:20:18+0200] [ALPM] upgraded pacman-mirrorlist (20210302-1 -> 20210405-1) [2021-04-15T22:20:19+0200] [ALPM] warning: /etc/systemd/system.conf installed as /etc/systemd/system.conf.pacnew [2021-04-15T22:20:19+0200] [ALPM] upgraded systemd (247.4-2 -> 248-4) [2021-04-15T22:20:19+0200] [ALPM-SCRIPTLET] Creating group sgx with gid 973. [2021-04-15T22:20:19+0200] [ALPM-SCRIPTLET] Creating group systemd-oom with gid 972. [2021-04-15T22:20:19+0200] [ALPM-SCRIPTLET] Creating user systemd-oom (systemd Userspace OOM Killer) with uid 972 and gid 972. [2021-04-15T22:20:20+0200] [ALPM] upgraded systemd-sysvcompat (247.4-2 -> 248-4) [2021-04-15T22:20:20+0200] [ALPM] transaction completed
Potom začal ale docker při spouštění triviálních věcí (docker run hello-world) nechávat tyto věci na terminálu i v journálu:
Apr 15 22:55:26 mouflon dockerd[2006]: time="2021-04-15T22:55:26.728977443+02:00" level=error msg="Handler for POST /v1.41/containers/fc72a2108933f3f8fd557151a9b46c79aec1fa3acb71f0e30af4ca9e40b7b29f/start returned error: OCI runtime create failed: container_linux.go:367: starting container process caused: process_linux.go:495: container init caused: process_linux.go:458: setting cgroup config for procHooks process caused: can't load program: operation not permitted: unknown"
... Říkal jsem si, že to otestuju na staging a ověřím, co je přesně problém, ale na stagingu (čerstvě vytvořená vps 19335) mi nefunguje šablona Arch Linuxu:
# pacman -Syy docker
[...] error: libxcrypt: signature from "Christian Hesse eworm@archlinux.org" is unknown trust :: File /var/cache/pacman/pkg/libxcrypt-4.4.19-1-x86_64.pkg.tar.zst is corrupted (invalid or corrupted package (PGP signature)).
... Nakonec jsem downgradoval docker na 1:20.10.5-1, to ale nestačilo. Downgradoval jsem tedy také systemd* na 247.4-2 (systemd, systemd-libs, systemd-sysvcompat), to taky nepomohlo, ale po restartu vps už to celé zabralo.
V tuhle hodinu už to debugovat nechci, zítra se podívám jestli to nějak umím doklepnout v té staging vpsce.
Kdyby náhodou někdo věděl co se děje, rád si ušetřím práci.
Zdar a dobrou noc, s pozdravem Ladislav Láska _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Ahoj,
díky. V modifikaci to chodí:
rm -r /etc/pacman.d/gnupg pacman-key --init pacman-key --populate archlinux pacman -Sy gnupg archlinux-keyring
... ale možná by to stálo za to opravit v šabloně? Nebo je to známý problém?
Každopádně k reprodukovatelnosti problému:
[root@scapegoat ~]# pacman -S docker [root@scapegoat ~]# systemctl start docker [root@scapegoat ~]# docker run hello-world Unable to find image 'hello-world:latest' locally latest: Pulling from library/hello-world b8dfde127a29: Pull complete Digest: sha256:f2266cbfc127c960fd30e76b7c792dc23b588c0db76233517e1891a4e357d519 Status: Downloaded newer image for hello-world:latest docker: Error response from daemon: OCI runtime create failed: container_linux.go:367: starting container process caused: process_linux.go:495: container init caused: process_linux.go:458: setting cgroup config for procHooks process caused: can't load program: operation not permitted: unknown. ERRO[0004] error waiting for container: context canceled
Na tom staging stroji s:
[root@scapegoat ~]# pacman -Qi systemd docker Name : systemd Version : 248-1 [...]
Name : docker Version : 1:20.10.6-1 [...]
... a také po pacman -Syuu:
[root@scapegoat ~]# pacman -Qi systemd Name : systemd Version : 248-4
Takže pokud se někdo na to chce mrknout, je to jednoduché reprodukovat (nebo si můžete půjčit mojí staging vps, mám ji vytvořenou jenom kvůli tomuhle).
Osobně očekávám že bude nějaká srandovní nekompatibilita ohledně featur které se docker (možná spíš systemd když pouští daemon?) snaží nastavit a naší virtualizací.... Já každopádně nevím kde pokračovat.
L.
On Fri, Apr 16, 2021 at 01:29:58AM +0200, marcel novotny wrote:
Ahoj, tady mas reseni tohjo problemu s archlinuxem
https://wiki.manjaro.org/index.php?title=Pacman_troubleshooting#Errors_about...
rm -r /etc/pacman.d/gnupg pacman -Sy gnupg archlinux-keyring pacman-key --init pacman-key --populate archlinux
m.
On 15. 04. 21 23:28, Ladislav Laska wrote:
Ahoj,
píšu takhle večer a jsem unavený, tak se nezlobte zda jsem přehlédl nějkou blbost, ale při upgradu systému (Arch Linux) na svojí VPS jsem narazil na problém, že mi přestal chodit docker. Oprava je na konci emailu, tak třeba to někomu ušetří trochu práce a stresu.
Update prošel podle následujícího logu:
[2021-04-15T22:20:10+0200] [ALPM] transaction started [2021-04-15T22:20:10+0200] [ALPM] upgraded borg (1.1.16-1 -> 1.1.16-2) [2021-04-15T22:20:10+0200] [ALPM] upgraded run-parts (4.8.6.1-2 -> 4.11.2-1) [2021-04-15T22:20:10+0200] [ALPM] upgraded libxcrypt (4.4.18-1 -> 4.4.19-1) [2021-04-15T22:20:10+0200] [ALPM] upgraded cronie (1.5.6-1 -> 1.5.7-2) [2021-04-15T22:20:10+0200] [ALPM] upgraded systemd-libs (247.4-2 -> 248-4) [2021-04-15T22:20:10+0200] [ALPM] upgraded cryptsetup (2.3.5-1 -> 2.3.5-4) [2021-04-15T22:20:11+0200] [ALPM] upgraded curl (7.75.0-1 -> 7.76.1-1) [2021-04-15T22:20:11+0200] [ALPM] upgraded sqlite (3.35.3-1 -> 3.35.4-1) [2021-04-15T22:20:13+0200] [ALPM] upgraded expat (2.2.10-2 -> 2.3.0-1) [2021-04-15T22:20:15+0200] [ALPM] upgraded docker (1:20.10.5-1 -> 1:20.10.6-1) [2021-04-15T22:20:15+0200] [ALPM] upgraded libnsl (1.3.0-1 -> 1.3.0-2) [2021-04-15T22:20:17+0200] [ALPM] upgraded python (3.9.2-1 -> 3.9.3-1) [2021-04-15T22:20:17+0200] [ALPM] upgraded python-docker (4.4.4-1 -> 5.0.0-1) [2021-04-15T22:20:17+0200] [ALPM] upgraded python-dotenv (0.16.0-1 -> 0.17.0-1) [2021-04-15T22:20:17+0200] [ALPM] upgraded docker-compose (1.28.6-1 -> 1.29.1-1) [2021-04-15T22:20:17+0200] [ALPM] upgraded file (5.39-1 -> 5.40-2) [2021-04-15T22:20:18+0200] [ALPM] upgraded glib2 (2.68.0-5 -> 2.68.1-1) [2021-04-15T22:20:18+0200] [ALPM] warning: /etc/pacman.d/mirrorlist installed as /etc/pacman.d/mirrorlist.pacnew [2021-04-15T22:20:18+0200] [ALPM] upgraded pacman-mirrorlist (20210302-1 -> 20210405-1) [2021-04-15T22:20:19+0200] [ALPM] warning: /etc/systemd/system.conf installed as /etc/systemd/system.conf.pacnew [2021-04-15T22:20:19+0200] [ALPM] upgraded systemd (247.4-2 -> 248-4) [2021-04-15T22:20:19+0200] [ALPM-SCRIPTLET] Creating group sgx with gid 973. [2021-04-15T22:20:19+0200] [ALPM-SCRIPTLET] Creating group systemd-oom with gid 972. [2021-04-15T22:20:19+0200] [ALPM-SCRIPTLET] Creating user systemd-oom (systemd Userspace OOM Killer) with uid 972 and gid 972. [2021-04-15T22:20:20+0200] [ALPM] upgraded systemd-sysvcompat (247.4-2 -> 248-4) [2021-04-15T22:20:20+0200] [ALPM] transaction completed
Potom začal ale docker při spouštění triviálních věcí (docker run hello-world) nechávat tyto věci na terminálu i v journálu:
Apr 15 22:55:26 mouflon dockerd[2006]: time="2021-04-15T22:55:26.728977443+02:00" level=error msg="Handler for POST /v1.41/containers/fc72a2108933f3f8fd557151a9b46c79aec1fa3acb71f0e30af4ca9e40b7b29f/start returned error: OCI runtime create failed: container_linux.go:367: starting container process caused: process_linux.go:495: container init caused: process_linux.go:458: setting cgroup config for procHooks process caused: can't load program: operation not permitted: unknown"
... Říkal jsem si, že to otestuju na staging a ověřím, co je přesně problém, ale na stagingu (čerstvě vytvořená vps 19335) mi nefunguje šablona Arch Linuxu:
# pacman -Syy docker
[...] error: libxcrypt: signature from "Christian Hesse eworm@archlinux.org" is unknown trust :: File /var/cache/pacman/pkg/libxcrypt-4.4.19-1-x86_64.pkg.tar.zst is corrupted (invalid or corrupted package (PGP signature)).
... Nakonec jsem downgradoval docker na 1:20.10.5-1, to ale nestačilo. Downgradoval jsem tedy také systemd* na 247.4-2 (systemd, systemd-libs, systemd-sysvcompat), to taky nepomohlo, ale po restartu vps už to celé zabralo.
V tuhle hodinu už to debugovat nechci, zítra se podívám jestli to nějak umím doklepnout v té staging vpsce.
Kdyby náhodou někdo věděl co se děje, rád si ušetřím práci.
Zdar a dobrou noc, s pozdravem Ladislav Láska _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Ahoj,
On 4/16/21 9:06 AM, Ladislav Laska wrote:
díky. V modifikaci to chodí:
rm -r /etc/pacman.d/gnupg pacman-key --init pacman-key --populate archlinux pacman -Sy gnupg archlinux-keyring
... ale možná by to stálo za to opravit v šabloně? Nebo je to známý problém?
Jop, opraveno.
Takže pokud se někdo na to chce mrknout, je to jednoduché reprodukovat (nebo si můžete půjčit mojí staging vps, mám ji vytvořenou jenom kvůli tomuhle).
Osobně očekávám že bude nějaká srandovní nekompatibilita ohledně featur které se docker (možná spíš systemd když pouští daemon?) snaží nastavit a naší virtualizací.... Já každopádně nevím kde pokračovat.
Je to způsobeno tím, že systemd začal ve výchozím stavu používat cgroupv2. Na nodech ale používáme cgroupv1, takže v cgroupv2 nejsou k dispozici žádné subsystémy (controllers). Přechod na v2 bude potěšení... zase nám to rozdělí cluster na nody s v1 a v2... přijde na to řada asi až dokončíme migraci z OpenVZ.
Do té doby se dá argumentem systemd vynutit použití v1 cgroup... nastavil jsem to tak v šabloně a přenastavil existující VPS s archem. Po upgradu a restartu VPS by teda měl docker fungovat.
Opravy viz
https://github.com/vpsfreecz/vpsadminos-image-build-scripts/compare/5fa19926...
Jakub
Ahoj,
díky za opravu, docker opět chodí jako víno. Věřím, že template taky.
community-list@lists.vpsfree.cz