Přechod z OpenVZ na vpsAdminOS a spuštění testovacího prostředí / Migration from OpenVZ to vpsAdminOS
Ahoj,
(English version below)
aktuálně na všech nodech k provozu VPS používáme kontejnerovou virtualizaci OpenVZ Legacy. Protože už dosluhuje, vývoj skončil a nové distribuce jej přestávají podporovat, řešíme přechod na novější řešení v podobě vpsAdminOS [1,2]. Jedná se o distribuci založenou na NixOS [3] a not-os [4], která bude na nodech sloužit jako hypervizor pro provoz VPS.
Pro správu VPS (kontejnerů) jsme vytvořili vlastní utilitu `osctl`, která se funkcemi vyrovná `vzctl` z OpenVZ, popř. LXD [5]. Řeší hlavně nastavení user namespaces [6] pro správnou izolaci VPS a cgroups pro limity paměti, CPU, atd. Ke spouštění kontejnerů se používá LXC [5]. vpsAdminOS není omezen jen na infrastrukturu vpsFree.cz. Pokud někde provozujete OpenVZ Legacy a nevíte co dál, můžete zvážit vpsAdminOS, který je na migraci kontejnerů z OpenVZ připraven [7].
Na vpsAdminOS pracujeme zhruba od podzimu 2017 a nyní si všichni členové mohou vyzkoušet, jak VPS nad novým systémem fungují. Naším cílem je, aby migrace VPS z OpenVZ na vpsAdminOS proběhly bezpovšimnutí, nicméně záleží na tom, co ve VPS provozujete. Doporučujeme všem, aby si novou VPS vyzkoušeli a hlásili nám případné problémy a nedostatky. Než přistoupíme k migraci produkčních VPS, je potřeba ten OS a integraci s vpsAdminem vyladit.
V podstatě máte k dispozici další playground VPS, podmínky jsou podobné. Jen to může být trochu divočejší -- nehlášené výpadky, restarty když budeme potřebovat něco aktualizovat, atd. Ve vpsAdminu ve formuláři na vytvoření VPS vyberte lokaci *Staging*. K dispozici jsou zatím tyto distribuce: Alpine, Arch, CentOS, Debian, Fedora, Gentoo, NixOS, Ubuntu. Časem budou přibývat další.
Na testování a hlášení chyb máte cca několik týdnů až měsíců, podle toho jak nám to půjde. Více informací o změnách v OS, vpsAdminu a plánu přechodu viz KB:
https://kb.vpsfree.cz/navody/vps/vpsadminos
ENGLISH:
We're currently using container virtualization OpenVZ Legacy to run VPS. Since it's slowly dying, isn't developed anymore and modern distributions stopped supporting it, we're going to upgrade to a newer solution we've called vpsAdminOS [1,2]. It's a Linux distribution based on NixOS [3] and not-os [4], which will serve as a hypervisor for VPS on our nodes.
VPS are managed using our own utility called `osctl`, which is comparable to `vzctl` from OpenVZ or LXD [5]. It's main purpose is to set up user namespaces [8] to isolate VPS and to configure cgroups for resource management, such as CPU or memory. Under the hood, it's using LXC [5] to start containers. vpsAdminOS is not limited to vpsFree.cz, it's designed to be independent of the specifics of our infrastructure. If you're using OpenVZ Legacy on some servers and you're looking for a replacement, you can consider vpsAdminOS. We've also made a tool [7] which can convert containers from OpenVZ into vpsAdminOS.
We've been working on vpsAdminOS since the fall of 2017 and now all members can finally give it a try and test VPS on the new system. Our goal is to make the transition from OpenVZ to vpsAdminOS as seamless as possible, but it depends on what programs and configuration you're using. That's why we're giving everyone the opportunity to try out a VPS on the new system and report issues. Before we can start migrating production VPS, we need to implement missing functions and iron it out.
Essentialy, what you get is another playground VPS, the terms of use are very similar. It can be a bit rougher though, there may be unexpected reboots and outages when we need to fix issues and deploy new system versions. To create a VPS on vpsAdminOS, select location *Staging* in the form for VPS creation. The following distributions are supported: Alpine, Arch, CentOS, Debian, Fedora, Gentoo, NixOS, Ubuntu. More will be added in the future.
The staging environment will remain open for several weeks or months, depending on how many issues we'll discover. You can read more information about changes in the OS and vpsAdmin in KB:
https://kb.vpsfree.org/manuals/vps/vpsadminos
[2] https://github.com/vpsfreecz/vpsadminos
[4] https://github.com/cleverca22/not-os
[5] https://linuxcontainers.org
[6] https://kb.vpsfree.cz/navody/vps/vpsadminos#user_namespaces
[7] https://vpsadminos.org/migration-paths/openvz-legacy/
[8] https://kb.vpsfree.org/manuals/vps/vpsadminos#user_namespaces
Jakub
Ahoj,
bude podporovan out-of-the box docker? Pripadne v jake verzi? Pokud ne, je nejaky tutorial na jeho zprovozneni?
Diky
Ondra
2018-05-21 9:41 GMT+02:00 Jakub Skokan jakub.skokan@vpsfree.cz:
Ahoj,
(English version below)
aktuálně na všech nodech k provozu VPS používáme kontejnerovou virtualizaci OpenVZ Legacy. Protože už dosluhuje, vývoj skončil a nové distribuce jej přestávají podporovat, řešíme přechod na novější řešení v podobě vpsAdminOS [1,2]. Jedná se o distribuci založenou na NixOS [3] a not-os [4], která bude na nodech sloužit jako hypervizor pro provoz VPS.
Pro správu VPS (kontejnerů) jsme vytvořili vlastní utilitu `osctl`, která se funkcemi vyrovná `vzctl` z OpenVZ, popř. LXD [5]. Řeší hlavně nastavení user namespaces [6] pro správnou izolaci VPS a cgroups pro limity paměti, CPU, atd. Ke spouštění kontejnerů se používá LXC [5]. vpsAdminOS není omezen jen na infrastrukturu vpsFree.cz. Pokud někde provozujete OpenVZ Legacy a nevíte co dál, můžete zvážit vpsAdminOS, který je na migraci kontejnerů z OpenVZ připraven [7].
Na vpsAdminOS pracujeme zhruba od podzimu 2017 a nyní si všichni členové mohou vyzkoušet, jak VPS nad novým systémem fungují. Naším cílem je, aby migrace VPS z OpenVZ na vpsAdminOS proběhly bezpovšimnutí, nicméně záleží na tom, co ve VPS provozujete. Doporučujeme všem, aby si novou VPS vyzkoušeli a hlásili nám případné problémy a nedostatky. Než přistoupíme k migraci produkčních VPS, je potřeba ten OS a integraci s vpsAdminem vyladit.
V podstatě máte k dispozici další playground VPS, podmínky jsou podobné. Jen to může být trochu divočejší -- nehlášené výpadky, restarty když budeme potřebovat něco aktualizovat, atd. Ve vpsAdminu ve formuláři na vytvoření VPS vyberte lokaci *Staging*. K dispozici jsou zatím tyto distribuce: Alpine, Arch, CentOS, Debian, Fedora, Gentoo, NixOS, Ubuntu. Časem budou přibývat další.
Na testování a hlášení chyb máte cca několik týdnů až měsíců, podle toho jak nám to půjde. Více informací o změnách v OS, vpsAdminu a plánu přechodu viz KB:
https://kb.vpsfree.cz/navody/vps/vpsadminos
ENGLISH:
We're currently using container virtualization OpenVZ Legacy to run VPS. Since it's slowly dying, isn't developed anymore and modern distributions stopped supporting it, we're going to upgrade to a newer solution we've called vpsAdminOS [1,2]. It's a Linux distribution based on NixOS [3] and not-os [4], which will serve as a hypervisor for VPS on our nodes.
VPS are managed using our own utility called `osctl`, which is comparable to `vzctl` from OpenVZ or LXD [5]. It's main purpose is to set up user namespaces [8] to isolate VPS and to configure cgroups for resource management, such as CPU or memory. Under the hood, it's using LXC [5] to start containers. vpsAdminOS is not limited to vpsFree.cz, it's designed to be independent of the specifics of our infrastructure. If you're using OpenVZ Legacy on some servers and you're looking for a replacement, you can consider vpsAdminOS. We've also made a tool [7] which can convert containers from OpenVZ into vpsAdminOS.
We've been working on vpsAdminOS since the fall of 2017 and now all members can finally give it a try and test VPS on the new system. Our goal is to make the transition from OpenVZ to vpsAdminOS as seamless as possible, but it depends on what programs and configuration you're using. That's why we're giving everyone the opportunity to try out a VPS on the new system and report issues. Before we can start migrating production VPS, we need to implement missing functions and iron it out.
Essentialy, what you get is another playground VPS, the terms of use are very similar. It can be a bit rougher though, there may be unexpected reboots and outages when we need to fix issues and deploy new system versions. To create a VPS on vpsAdminOS, select location *Staging* in the form for VPS creation. The following distributions are supported: Alpine, Arch, CentOS, Debian, Fedora, Gentoo, NixOS, Ubuntu. More will be added in the future.
The staging environment will remain open for several weeks or months, depending on how many issues we'll discover. You can read more information about changes in the OS and vpsAdmin in KB:
https://kb.vpsfree.org/manuals/vps/vpsadminos
[2] https://github.com/vpsfreecz/vpsadminos
[4] https://github.com/cleverca22/not-os
[5] https://linuxcontainers.org
[6] https://kb.vpsfree.cz/navody/vps/vpsadminos#user_namespaces
[7] https://vpsadminos.org/migration-paths/openvz-legacy/
[8] https://kb.vpsfree.org/manuals/vps/vpsadminos#user_namespaces
Jakub _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Ahoj,
Docker jsem zkusil bez úspěch viz https://github.com/vpsfreecz/vpsadminos/issues/15
Petr Parolek
Dne 21. května 2018 9:49 Ondrej Platek ondrej.platek@gmail.com napsal(a):
Ahoj,
bude podporovan out-of-the box docker? Pripadne v jake verzi? Pokud ne, je nejaky tutorial na jeho zprovozneni?
Diky
Ondra
2018-05-21 9:41 GMT+02:00 Jakub Skokan jakub.skokan@vpsfree.cz:
Ahoj,
(English version below)
aktuálně na všech nodech k provozu VPS používáme kontejnerovou virtualizaci OpenVZ Legacy. Protože už dosluhuje, vývoj skončil a nové distribuce jej přestávají podporovat, řešíme přechod na novější řešení v podobě vpsAdminOS [1,2]. Jedná se o distribuci založenou na NixOS [3] a not-os [4], která bude na nodech sloužit jako hypervizor pro provoz VPS.
Pro správu VPS (kontejnerů) jsme vytvořili vlastní utilitu `osctl`, která se funkcemi vyrovná `vzctl` z OpenVZ, popř. LXD [5]. Řeší hlavně nastavení user namespaces [6] pro správnou izolaci VPS a cgroups pro limity paměti, CPU, atd. Ke spouštění kontejnerů se používá LXC [5]. vpsAdminOS není omezen jen na infrastrukturu vpsFree.cz. Pokud někde provozujete OpenVZ Legacy a nevíte co dál, můžete zvážit vpsAdminOS, který je na migraci kontejnerů z OpenVZ připraven [7].
Na vpsAdminOS pracujeme zhruba od podzimu 2017 a nyní si všichni členové mohou vyzkoušet, jak VPS nad novým systémem fungují. Naším cílem je, aby migrace VPS z OpenVZ na vpsAdminOS proběhly bezpovšimnutí, nicméně záleží na tom, co ve VPS provozujete. Doporučujeme všem, aby si novou VPS vyzkoušeli a hlásili nám případné problémy a nedostatky. Než přistoupíme k migraci produkčních VPS, je potřeba ten OS a integraci s vpsAdminem vyladit.
V podstatě máte k dispozici další playground VPS, podmínky jsou podobné. Jen to může být trochu divočejší -- nehlášené výpadky, restarty když budeme potřebovat něco aktualizovat, atd. Ve vpsAdminu ve formuláři na vytvoření VPS vyberte lokaci *Staging*. K dispozici jsou zatím tyto distribuce: Alpine, Arch, CentOS, Debian, Fedora, Gentoo, NixOS, Ubuntu. Časem budou přibývat další.
Na testování a hlášení chyb máte cca několik týdnů až měsíců, podle toho jak nám to půjde. Více informací o změnách v OS, vpsAdminu a plánu přechodu viz KB:
https://kb.vpsfree.cz/navody/vps/vpsadminos
ENGLISH:
We're currently using container virtualization OpenVZ Legacy to run VPS. Since it's slowly dying, isn't developed anymore and modern distributions stopped supporting it, we're going to upgrade to a newer solution we've called vpsAdminOS [1,2]. It's a Linux distribution based on NixOS [3] and not-os [4], which will serve as a hypervisor for VPS on our nodes.
VPS are managed using our own utility called `osctl`, which is comparable to `vzctl` from OpenVZ or LXD [5]. It's main purpose is to set up user namespaces [8] to isolate VPS and to configure cgroups for resource management, such as CPU or memory. Under the hood, it's using LXC [5] to start containers. vpsAdminOS is not limited to vpsFree.cz, it's designed to be independent of the specifics of our infrastructure. If you're using OpenVZ Legacy on some servers and you're looking for a replacement, you can consider vpsAdminOS. We've also made a tool [7] which can convert containers from OpenVZ into vpsAdminOS.
We've been working on vpsAdminOS since the fall of 2017 and now all members can finally give it a try and test VPS on the new system. Our goal is to make the transition from OpenVZ to vpsAdminOS as seamless as possible, but it depends on what programs and configuration you're using. That's why we're giving everyone the opportunity to try out a VPS on the new system and report issues. Before we can start migrating production VPS, we need to implement missing functions and iron it out.
Essentialy, what you get is another playground VPS, the terms of use are very similar. It can be a bit rougher though, there may be unexpected reboots and outages when we need to fix issues and deploy new system versions. To create a VPS on vpsAdminOS, select location *Staging* in the form for VPS creation. The following distributions are supported: Alpine, Arch, CentOS, Debian, Fedora, Gentoo, NixOS, Ubuntu. More will be added in the future.
The staging environment will remain open for several weeks or months, depending on how many issues we'll discover. You can read more information about changes in the OS and vpsAdmin in KB:
https://kb.vpsfree.org/manuals/vps/vpsadminos
[2] https://github.com/vpsfreecz/vpsadminos
[4] https://github.com/cleverca22/not-os
[5] https://linuxcontainers.org
[6] https://kb.vpsfree.cz/navody/vps/vpsadminos#user_namespaces
[7] https://vpsadminos.org/migration-paths/openvz-legacy/
[8] https://kb.vpsfree.org/manuals/vps/vpsadminos#user_namespaces
Jakub _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-- Ondřej Plátek, +420 737 758 650, skype:ondrejplatek, ondrej.platek@gmail.com
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Ahoj,
pokud chcete ve VPS na vpsAdminOS provozovat LXC/LXD, ve vpsAdminu zapněte feature "LXC nesting".
Dále se pokouším řešit takový nepříjemný nedostatek LXC/LXCFS, které neizoluje údaje o využití CPU v `/proc/stat`. Jde tak vidět všechny CPU nodu a údaje o vytížení byly sdílené taky, takže jste viděli aktivitu CPU, kterou způsoboval jiný VPS nebo hypervizor.
Dneska jsme nasadili opatchované LXCFS [1], které řeší tu izolaci vytížení CPU, ale není to úplně ideální. Ve VPS teď můžete v `/proc/stat` u CPU vidět jen hodnoty pro `user`, `system` a `idle`. Ostatní jsou nuly. Krom toho u nás nefunguje správně accounting pro `system` a všechno je započítáno v `user`. Toho bugu se snad časem zbavíme novějším kernelem, ale jestli nebudou něčemu chybět ty ostatní hodnoty nevím.
Ve čtvrtek v LXCFS přistálo řešení `/proc/loadavg` [2], který byl také sdílený mezi VPS, takže jsme to hned nasadili.
A opravena byla i spousta dalších chybiček, díky všem za hlášení.
[1] https://github.com/aither64/lxcfs/commits/independent_cpu_usage
[2] https://github.com/lxc/lxcfs/pull/237
Jakub
Ahoj,
podařilo se nám zprovoznit Docker s VFS storage driverem. Funguje nám hello-world i nějaké sestavy přes docker compose, ale samozřejmě některé images mohou mít potíže s naším AppArmor profilem. Je na vás, abyste to vyzkoušeli a reportovali případné problémy.
Ve vpsAdminu je potřeba u VPS aktivovat feature 'Docker (experimental)'. Navzájem se to vylučuje s feature 'LXC nesting', používat obojí najednou nejde. Pokud by se to někomu hodilo, tak se ozvěte.
Návod k instalaci jsem sepsal do KB:
https://kb.vpsfree.cz/navody/vps/vpsadminos/docker
Co zbývá vyřešit je lepší storage driver. Nabízí se delegace zfs datasetu z nodu do VPS, nebo zvoly. Delegace datasetu by byla nejlepší, nicméně ZoL to afaik zatím delegovat do kontejneru neumí, prozatím tedy funguje jen VFS driver.
Jakub
Ahoj Jakube,
díky moc za rozchození nejnovějšího dockeru.
Už to testuju na Debian 9, "docker run hello-world" mi funguje v pohodě. Zkoušel jsem např. node:alpine, který se však z nějakého důvodu startuje poměrně pomalu. Příkaz: "docker run --rm -it --network bridge-coi node:alpine wget --help" trvá cca. 4 vteřiny, přitom na jiném virtuálu (u wedosu) trvá cca. 1 vteřinu. Nginx se mi zatím rozchodit nepodařilo - příkaz "docker run --rm --name some-nginx -p 8080:80 nginx:alpine" sice kontejner spustí, ale vrací 403.
Jinak jsem si všiml, že parametr "--network bridge-coi" je třeba přidávat i k "docker build", pokud je při balení image třeba připojení do internetu.
Dne 8. června 2018 19:03 Jakub Skokan jakub.skokan@vpsfree.cz napsal(a):
Ahoj,
podařilo se nám zprovoznit Docker s VFS storage driverem. Funguje nám hello-world i nějaké sestavy přes docker compose, ale samozřejmě některé images mohou mít potíže s naším AppArmor profilem. Je na vás, abyste to vyzkoušeli a reportovali případné problémy.
Ve vpsAdminu je potřeba u VPS aktivovat feature 'Docker (experimental)'. Navzájem se to vylučuje s feature 'LXC nesting', používat obojí najednou nejde. Pokud by se to někomu hodilo, tak se ozvěte.
Návod k instalaci jsem sepsal do KB:
https://kb.vpsfree.cz/navody/vps/vpsadminos/docker
Co zbývá vyřešit je lepší storage driver. Nabízí se delegace zfs datasetu z nodu do VPS, nebo zvoly. Delegace datasetu by byla nejlepší, nicméně ZoL to afaik zatím delegovat do kontejneru neumí, prozatím tedy funguje jen VFS driver.
Jakub _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
On 06/09/2018 09:45 AM, ondra.gersl@gmail.com wrote:
Už to testuju na Debian 9, "docker run hello-world" mi funguje v pohodě. Zkoušel jsem např. node:alpine, který se však z nějakého důvodu startuje poměrně pomalu. Příkaz: "docker run --rm -it --network bridge-coi node:alpine wget --help" trvá cca. 4 vteřiny, přitom na jiném virtuálu (u wedosu) trvá cca. 1 vteřinu. Nginx se mi zatím rozchodit nepodařilo - příkaz "docker run --rm --name some-nginx -p 8080:80 nginx:alpine" sice kontejner spustí, ale vrací 403.
Pomalé je to protože VFS storage driver. Na wedosu to určitě používá overlayfs driver.
Na Debian 9 Docker nastavuje špatné oprávnění pro rootfs kontejneru, proto nefunguje jiný uživatel než root. Předpokládám, že nginx se spustí pod rootem a po nabindování portu se přepne na jiného uživatele. Od té chvíle si nic z disku nepřečte. Použij Ubuntu, nebo happy debugging. Ve strace vidím ten chmod 0600, ale kde/co/proč to volá netuším. V KB je na to upozornění.
Jinak jsem si všiml, že parametr "--network bridge-coi" je třeba přidávat i k "docker build", pokud je při balení image třeba připojení do internetu.
Včera jsem ještě řešil gitlab runner s docker executorem, který neumí správně linkovat služby na jiné síti než té výchozí. Jestli to jde nějak nastavit v Dockeru nevím, ale podařilo se mi tu výchozí síť přenastavit skriptem tak, aby fungovala, viz KB:
https://kb.vpsfree.cz/navody/server/gitlab_runner#uprava_vychozi_site
systemd zavolá ten skript na přenastavení iptables po každém spuštění dockerd. Moc se mi tohle řešení nelíbí, ale nemusíš specifikovat vlastní --network, pokud to nejde nebo nechceš.
Jakub
Ahoj,
pokud někdo chcete používat Docker s GitLab Runner a nechcete se brabrat s patchem, vytvořil jsem hotové DEB a RPM balíčky:
Fedora 28 https://gitlab.com/petrparolek/gitlab-runner/-/jobs/73839653/artifacts/downl...
Ubuntu 18.04 https://gitlab.com/petrparolek/gitlab-runner/-/jobs/73839652/artifacts/downl...
Přeji všem hezký den
Petr so 9. 6. 2018 v 16:28 odesílatel Jakub Skokan jakub.skokan@vpsfree.cz napsal:
On 06/09/2018 09:45 AM, ondra.gersl@gmail.com wrote:
Už to testuju na Debian 9, "docker run hello-world" mi funguje v pohodě. Zkoušel jsem např. node:alpine, který se však z nějakého důvodu startuje poměrně pomalu. Příkaz: "docker run --rm -it --network bridge-coi node:alpine wget --help" trvá cca. 4 vteřiny, přitom na jiném virtuálu (u wedosu) trvá cca. 1 vteřinu. Nginx se mi zatím rozchodit nepodařilo - příkaz "docker run --rm --name some-nginx -p 8080:80 nginx:alpine" sice kontejner spustí, ale vrací 403.
Pomalé je to protože VFS storage driver. Na wedosu to určitě používá overlayfs driver.
Na Debian 9 Docker nastavuje špatné oprávnění pro rootfs kontejneru, proto nefunguje jiný uživatel než root. Předpokládám, že nginx se spustí pod rootem a po nabindování portu se přepne na jiného uživatele. Od té chvíle si nic z disku nepřečte. Použij Ubuntu, nebo happy debugging. Ve strace vidím ten chmod 0600, ale kde/co/proč to volá netuším. V KB je na to upozornění.
Jinak jsem si všiml, že parametr "--network bridge-coi" je třeba přidávat i k "docker build", pokud je při balení image třeba připojení do internetu.
Včera jsem ještě řešil gitlab runner s docker executorem, který neumí správně linkovat služby na jiné síti než té výchozí. Jestli to jde nějak nastavit v Dockeru nevím, ale podařilo se mi tu výchozí síť přenastavit skriptem tak, aby fungovala, viz KB:
https://kb.vpsfree.cz/navody/server/gitlab_runner#uprava_vychozi_site
systemd zavolá ten skript na přenastavení iptables po každém spuštění dockerd. Moc se mi tohle řešení nelíbí, ale nemusíš specifikovat vlastní --network, pokud to nejde nebo nechceš.
Jakub _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Ahojte,
chtěl bych obnovit diskuzi ohledně LXC. Trochu to dál testujeme a zdá se to asi ok. To co je větší oříšek je nové systemd a aktuální změny v jádře atd. Ale nějak to je ok. Chtěl jsem se zeptat, jak to bude s s NAS a s tím sdílením a případně info, jestli u LXC je plánována možnost migrace/live migrace.
Jinak co se týče těch CPU, tak to zřejmě funguje ok. Takže dobrá zpráva.
Zdenek
ne 10. 6. 2018 v 13:23 odesílatel Petr Parolek petr.parolek@gmail.com napsal:
Ahoj,
pokud někdo chcete používat Docker s GitLab Runner a nechcete se brabrat s patchem, vytvořil jsem hotové DEB a RPM balíčky:
Fedora 28
https://gitlab.com/petrparolek/gitlab-runner/-/jobs/73839653/artifacts/downl...
Ubuntu 18.04
https://gitlab.com/petrparolek/gitlab-runner/-/jobs/73839652/artifacts/downl...
Přeji všem hezký den
Petr so 9. 6. 2018 v 16:28 odesílatel Jakub Skokan jakub.skokan@vpsfree.cz napsal:
On 06/09/2018 09:45 AM, ondra.gersl@gmail.com wrote:
Už to testuju na Debian 9, "docker run hello-world" mi funguje v
pohodě.
Zkoušel jsem např. node:alpine, který se však z nějakého důvodu
startuje
poměrně pomalu. Příkaz: "docker run --rm -it --network bridge-coi node:alpine wget --help" trvá cca. 4 vteřiny, přitom na jiném virtuálu (u wedosu) trvá cca. 1 vteřinu. Nginx se mi zatím rozchodit nepodařilo
příkaz "docker run --rm --name some-nginx -p 8080:80 nginx:alpine" sice kontejner spustí, ale vrací 403.
Pomalé je to protože VFS storage driver. Na wedosu to určitě používá overlayfs driver.
Na Debian 9 Docker nastavuje špatné oprávnění pro rootfs kontejneru, proto nefunguje jiný uživatel než root. Předpokládám, že nginx se spustí pod rootem a po nabindování portu se přepne na jiného uživatele. Od té chvíle si nic z disku nepřečte. Použij Ubuntu, nebo happy debugging. Ve strace vidím ten chmod 0600, ale kde/co/proč to volá netuším. V KB je na to upozornění.
Jinak jsem si všiml, že parametr "--network bridge-coi" je třeba přidávat i k "docker build", pokud je při balení image třeba připojení do internetu.
Včera jsem ještě řešil gitlab runner s docker executorem, který neumí správně linkovat služby na jiné síti než té výchozí. Jestli to jde nějak nastavit v Dockeru nevím, ale podařilo se mi tu výchozí síť přenastavit skriptem tak, aby fungovala, viz KB:
https://kb.vpsfree.cz/navody/server/gitlab_runner#uprava_vychozi_site
systemd zavolá ten skript na přenastavení iptables po každém spuštění dockerd. Moc se mi tohle řešení nelíbí, ale nemusíš specifikovat vlastní --network, pokud to nejde nebo nechceš.
Jakub _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
On 08/30/2018 07:13 AM, zd nex wrote:
chtěl bych obnovit diskuzi ohledně LXC. Trochu to dál testujeme a zdá se to asi ok. To co je větší oříšek je nové systemd a aktuální změny v jádře atd. Ale nějak to je ok. Chtěl jsem se zeptat, jak to bude s s NAS a s tím sdílením a případně info, jestli u LXC je plánována možnost migrace/live migrace.
Popisoval jsem to v KB:
https://kb.vpsfree.cz/navody/vps/vpsadminos#user_namespaces
Každé VPS nad vpsAdminOS běží v nějakém user namespace, tj. UID/GID z VPS se mapují na jiné (neprivilegované) UID/GID na hostu. Do VPS budeš moct připojit datasety, které mají nastavené stejné mapování. To bude ve vpsAdminu nastavitelné.
Máš k dispozici rozsah 8*65536 ID a ve výchozím stavu jednu velkou mapu pro všechny UID/GID, kterou používají tvoje VPS a budou do ní spadat i NAS datasety. Ty mapy budou nastavitelné, např. půjde udělat více menších map pro jednotlivé VPS a tím je od sebe izolovat.
NAS si nepřipojíš najednou do OpenVZ a vpsAdminOS VPS. Resp. připojit by to šlo, ale nebudou ti sedět UID/GID u souborů. OpenVZ nepoužívá žádné mapování, takže nebudeš mít práva. Teoreticky by to šlo vyřešit přes shiftfs, zatím jsme to nezkoušeli.
Live migrace někdy možná přes CRIU, zatím to nefunguje vůbec. Ono to spolehlivě nikdy nefungovalo ani pod OpenVZ, nepoužíváme to ani tam. Offline migrace vpsAdminOS umí [1], jde jen o to to zase integrovat do vpsAdminu.
Jinak co se týče těch CPU, tak to zřejmě funguje ok. Takže dobrá zpráva.
Nikdo si zatím nestěžoval, takže asi jo :)
[1] https://vpsadminos.org/containers/migrations/
Jakub
Ahoj,
po pár týdnech přináším zase nějaké nové informace o vpsAdminOS, na čem pracujeme a s čím zápasíme :)
Na node1.stg stále ladíme LXCFS, protože upstream verze a kernel neumí to co bychom potřebovali. Chybí nám možnost nastavit počet dostupných CPU, aniž bychom museli přiřadit nějaké CPU na pevno přes cpuset, tak jako to umí OpenVZ. Tzn. aby každý VPS mohl využít 8 libovolných CPU, podle toho které CPU mají aktuálně volno. No a ve VPS by jich nemělo být vidět víc, i když jich má node více, např. node1.stg má 32. Ono je to matoucí hlavně pro uživatele. Když člověk vidí 32 dostupných CPU, ale může z nich využít na plno jen 8, tak si řekne, že to nefunguje.
Na vpsAdminOS k nastavení CPU limitu používáme CPU kvóty (cfs_quota/period_us), ale na omezení počtu viditelných CPU už žádné prostředky k dispozici nejsou. Takže aktuálně pracuju [1] na úpravě LXCFS, aby se v /proc/stat a /proc/cpuinfo zobrazoval správný počet CPU podle nastavené kvóty. Z těchto souborů pak čte informace top, htop a další monitorovací nástroje.
LXCFS ovšem řeší jen část problému, protože pokud se zeptáte kernelu kolik máte CPU přes nějaký syscall, stále dostanete "špatnou" informaci. Kernel nějaké úpravy hodnot v LXCFS nezajímají. Např. `nproc` na node1.stg stále vracel 32 místo 8. Podle `nproc` se mohou řídit různé build systémy, takže jsem se to snažil vyřešit. Výsledkem je kratičký patch [2] do kernelu, který upravuje návratovou hodnotu syscallu `sched_getaffinity()` tak, že obsahuje jen omezený počet CPU. S touto úpravou už `nproc` vrací správné číslo, nicméně tohle řešení není ideální a možná to bude rozbíjet nějaké aplikace, uvidíme.
Výše popsané změny jsou na node1.stg nasazeny od minulého týdne. Pokud jste si všimli něčeho podivného, nebo něco nefunguje jak má, hlaste to prosím.
Dále jsme aktualizovali kernel na 4.17. Dlouho nás brzdil bug v NixOS [3], kvůli kterému kernel nebyl kompatibilní se ZFS. Teď netrpělivě čekáme na 4.18, který bude podporovat FUSE v user namespace, tzn. mělo by začít fungovat sshfs, apod.
node1.stg bude fungovat minimálně ještě několik měsiců a místa je tam dost, přidejte se :) Té zpětné vazby zatím moc nebylo. Můžete tam provozovat cokoliv čemu nevadí časté výpadky. Vytvořené VPS nemažeme, dokud je tam místo.
[1] https://github.com/aither64/lxcfs/commits/cpu-views
[2] https://github.com/vpsfreecz/vpsadminos/blob/devel/os/packages/linux/sched_g...
[3] https://github.com/NixOS/nixpkgs/issues/39225
Jakub
Ahoj,
snazim se vytvorit VPS pod vpsAdminOS a nedari se mi to. Zaseklo se to na 0% a uz skoro hodinu se nic nedeje. Nejde ani pokus zrusit a zkusit znovu.
Co s tim?
Marek
---------- Původní e-mail ---------- Od: Jakub Skokan jakub.skokan@vpsfree.cz Komu: community-list@lists.vpsfree.cz Datum: 5. 7. 2018 10:57:00 Předmět: [vpsFree.cz: community-list] vpsAdminOS status report: na čem pracujeme "Ahoj,
po pár týdnech přináším zase nějaké nové informace o vpsAdminOS, na čem pracujeme a s čím zápasíme :)
Na node1.stg stále ladíme LXCFS, protože upstream verze a kernel neumí to co bychom potřebovali. Chybí nám možnost nastavit počet dostupných CPU, aniž bychom museli přiřadit nějaké CPU na pevno přes cpuset, tak jako to umí OpenVZ. Tzn. aby každý VPS mohl využít 8 libovolných CPU, podle toho které CPU mají aktuálně volno. No a ve VPS by jich nemělo být vidět víc, i když jich má node více, např. node1.stg má 32. Ono je to matoucí hlavně pro uživatele. Když člověk vidí 32 dostupných CPU, ale může z nich využít na plno jen 8, tak si řekne, že to nefunguje.
Na vpsAdminOS k nastavení CPU limitu používáme CPU kvóty (cfs_quota/period_us), ale na omezení počtu viditelných CPU už žádné prostředky k dispozici nejsou. Takže aktuálně pracuju [1] na úpravě LXCFS, aby se v /proc/stat a /proc/cpuinfo zobrazoval správný počet CPU podle nastavené kvóty. Z těchto souborů pak čte informace top, htop a další monitorovací nástroje.
LXCFS ovšem řeší jen část problému, protože pokud se zeptáte kernelu kolik máte CPU přes nějaký syscall, stále dostanete "špatnou" informaci. Kernel nějaké úpravy hodnot v LXCFS nezajímají. Např. `nproc` na node1.stg stále vracel 32 místo 8. Podle `nproc` se mohou řídit různé build systémy, takže jsem se to snažil vyřešit. Výsledkem je kratičký patch [2] do kernelu, který upravuje návratovou hodnotu syscallu `sched_getaffinity()` tak, že obsahuje jen omezený počet CPU. S touto úpravou už `nproc` vrací správné číslo, nicméně tohle řešení není ideální a možná to bude rozbíjet nějaké aplikace, uvidíme.
Výše popsané změny jsou na node1.stg nasazeny od minulého týdne. Pokud jste si všimli něčeho podivného, nebo něco nefunguje jak má, hlaste to prosím.
Dále jsme aktualizovali kernel na 4.17. Dlouho nás brzdil bug v NixOS [3], kvůli kterému kernel nebyl kompatibilní se ZFS. Teď netrpělivě čekáme na 4.18, který bude podporovat FUSE v user namespace, tzn. mělo by začít fungovat sshfs, apod.
node1.stg bude fungovat minimálně ještě několik měsiců a místa je tam dost, přidejte se :) Té zpětné vazby zatím moc nebylo. Můžete tam provozovat cokoliv čemu nevadí časté výpadky. Vytvořené VPS nemažeme, dokud je tam místo.
[1] https://github.com/aither64/lxcfs/commits/cpu-views
[2] https://github.com/vpsfreecz/vpsadminos/blob/devel/os/packages/linux/sched_ getaffinity_cfs_quota.patch
[3] https://github.com/NixOS/nixpkgs/issues/39225
Jakub _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list "
On 07/26/2018 01:18 PM, Marek Pytela wrote:
snazim se vytvorit VPS pod vpsAdminOS a nedari se mi to. Zaseklo se to na 0% a uz skoro hodinu se nic nedeje. Nejde ani pokus zrusit a zkusit znovu.
Dneska jsme na node1.stg testovali, kolikrát za den tam vpsAdmin dokáže spadnout:
[root@node1.stg:~]# grep "Daemon crashed" /var/log/nodectld | wc -l 2981
:))
Opravoval jsem to zrovna jak jsi psal, VPS máš vytvořený.
Takové problémy prosím příště hlas spíš na podpoře.
Jakub
community-list@lists.vpsfree.cz
-
Jakub Skokan -
Marek Pytela -
ondra.gersl＠gmail.com -
Ondrej Platek -
Petr Parolek -
zd nex