[vpsFree.cz: community-list] vpsAdminOS

Tue Dec 26 14:20:59 CET 2017

On 2017-12-26 10:16, Michal Halenka wrote:
> Ahoj,
> 
> chtěl bych se zeptat jaký je aktuální stav a nezávazný
> výhledový plán ve vpsFree.
> Je v plánu přechod z OpenVZ na něco jiného? Případně kdy cca?
> 
> Díky
> MH
> 

Cau Michale a caute vsichni,

predne, preju vsem poklidne svatecni odpoledne ;)

Co s OpenVZ je velmi dulezita otazka s velmi spravnym nacasovanim ;)

OpenVZ 7 je parodie na opensource, takze jak jsem psal uz v zari, to 
preskakujeme.

Takze nam nezbyva nez postavit neco nad upstream kodem, no a to idealne 
co nejcerstvejsim.

No a to 'neco' shodou okolnosti uz stavime nejakou chvili, jako lehky 
container host OS nad not-os [1], ktery vychazi z NixOSu [2].

Rikame tomu vpsAdminOS [3], je to live system (cil je vejit se do 1 GB v 
RAM), ktery na lokalnim ulozisti ma hlavne data kontejneru (a nejaka 
minor stavova data), ale jinak bezi z RAM.

Pres iPXE (a nebo zalozni FAT32/whatever na lokalnim ulozisti) se 
natahne kernel (4.14 aktualne) a initrd (se ZFS) a squashfs filesystemu; 
pomoci kernel parametru z bootu se zjisti, jestli se noda instaluje na 
cisto, nebo se ma spustit produkcne, nebo v debug modu; v produkcnim 
modu se importne zpool, nastavi sit a zapnou kontejnery.

O spravu kontejneru (LXC) se ve vpsAdminOS stara osctld [4], co je v 
podstate nase variace na LXD; akorat pro nas rovnou napojena na vpsAdmin 
a tak ovladani z hostOS bude mit napojeni na vpsAdmin. Uz se nebude 
stavat, ze na nodu je nastavene neco nekonzistentne s tim, co si mysli 
vpsAdmin, protoze vpsAdmin se o svoje 'ovecky' (nody) ve finale postara 
uplne sam. A hlavne, osctl ma podporu user namespace Done Right (tm), 
coz je pro pro LXD i Docker, umim si predstavit, dost pain vubec v 
takovych rozmerech uvazovat (kdyz je potreba vyrobit jednoho usera per 
user-namespace a pridelit mu mapu tak, aby se neprekryvala; LXD treba 
pouziva mappingy pod jednim userem, co potencialne dava moznost se zas 
pod tim jednim userem sejit pri utikani z kontejneru).
Pri zmene user namespace nejakeho kontejneru (tj, pri chown kontejneru 
mezi vpsadmin members), bychom s defaultnim navrhem a nejakym konvencnim 
distrem museli delat chown vsech souboru toho kontejneru o nejaky 
offset, a tak prochazet treba 15M PHP session files, kterych si nikdo 
nevsiml, protoze na ZFS proste byt muzou (dokud si clovek nevsimne, ze 
ls trva :D). Aither napsal patchset [5] do ZFSonLinux, ktery ten 
remapping dela pri mountu datasetu na ZPL vrstve, tedy neni potreba 
chownovat a prehozeni kontejneru mezi ruznymi uzivateli bude instantni.

Trochu skoda je, ze se musime vsichni v ramci clusteru podelit o 32 bitu 
UID/GID. Ale tak... 32bitu je tak akorat na dvou-rackovy cluster cca 
takove velikosti, kde jsme ted. Pak muzeme zacit stavet clustery dalsi, 
protoze jak NAS, tak Backuper uz by stejne bylo slozite skalovat v jedne 
instanci.

Dal, kontejnery izoluje AppArmor, pouzivame vsechny cgroupy, co muzeme a 
cpu.shares pravdepodobne bude osctld tunit za behu, abychom byli schopni 
dosahovat stejneho CPU limitingu, jako na OpenVZ (tj. pokud rekneme, ze 
gameri - a ponovu taky cryptomineri... - maji dostat 50% jadra, tak to 
tak ma byt i pokud ma masina dostatek CPU casu, protoze to proste u nas 
nedava smysl hostovat).

NixOS nam dava moznost cele prostredi deklarativne popsat pred tim, nez 
vznikne; pokud se nam podari vsechno pointegrovat, jak chceme, meli 
bychom ve finale mit cele prostredi popsane ve verejnych Git 
repozitarich.

Nejen to, ale taky pri kazdem commitu do tech repozitaru chceme dostavat 
vysledky z QA farmy, kterou ted mame (zatim v interni siti a velmi beta) 
nad Hydrou [6].

Cilem je dostat co nejfunkcnejsi a co nejizolovanejsi kontejnery, zatim 
jsme v early fazi, kdy nam to bootuje, kontejnery se daji vytvaret, 
startovat, maji konzoli a da se v nich uz neco bezet. Bezi nam Hydra, 
mame cca predstavu, jak to cele budeme updatovat a rekonfigurovat za 
chodu, ale potrebujeme to zacit zkouset.

Hodila by se pomoc s testovanim, ale i s vyvojem vpsAdminu - kdyby se 
nasel nekdo, kdo by tahl vpsadmin web UI a casem ho prepsal, byla by to 
idealka. Potrebujeme rozsirit tym ;)

vpsAdminOS ma hodne potencialu, je toho spousta, co by slo udelat a 
davalo smysl ;)

V lednu 2018 nas cekaji dve velka temata:

- vpsAdminOS hackaton
   -> celovikendova akce, pravdepodobne treti vikend v lednu(?, neni 
jeste jiste) v Brne (prespani poresime komunitne).

- clenska schuze
   -> jelikoz minulorocni clenska schuze mela mizernou ucast a pritom 
mela odhlasovat vcelku zasadni zmenu ve stanovach, kterou jsme ani 
poradne nebyli schopni popsat (elektronicke hlasovani)... pojdme to cele 
udelat jinak.
   - pokud chceme elektronicke hlasovani, pojdme se o tom pobavit na tady 
na mailing listu a pojdme pripravit zneni stanov spolecne; pojdme se 
taky dohodnout, jak to udelame s "legitimizaci" takove zmeny a upravou 
stanov ted, kdy nas je uz tolik, ze je nepredstavitelne, aby se nas 
seslo 600+ na jednom miste. K tomu jeste otevru tohle tema zvlast, ted 
si to muzete zatim rozmyslet, jak by to melo probehnout, jak by mela 
vypadat melo fungovat duveryhodne e-hlasovani. Vitam 100% i "ulitnute" 
napady stylu "hodme to na blockchain", pokud jste ochotni s tim 
(vydatne) pomoct. Na nas naopak blockchain vubec neni ulitnuty, my 
bychom meli byt na popredi takovych inovaci a jit prikladem ostatnim, 
jak se s nimi dela ;)

Linky:

[1] https://github.com/cleverca22/not-os
[2] https://nixos.org/
[3] https://github.com/vpsfreecz/vpsadminos
[4] https://github.com/vpsfreecz/vpsadminos/tree/master/osctld
[5] https://github.com/aither64/zfs/commits/uid_offset
[6] https://nixos.org/hydra/

V prvnim tydnu v lednu se ozvu s tematem clenske schuze/hlasovani; do te 
doby se muzeme dohodnout na terminu hackatonu - a pripadne muzeme obe 
akce udelat s nejakou navaznosti na sebe, kdyz uz se budeme schazet 
kvuli hackovani na OS ;)

Potrebujeme hlavne vyladit funkcionalitu z pohledu vnitrku kontejneru, o 
tom bude leden.

Integrace s vpsAdminem je pak zalezitosti na dalsi cca 3 mesice, pokud 
se tedy nenajde nekdo, kdo pomuze :)

Chceme to nasadit co nejdriv, co to pujde, aspon pro ty, co uz nemuzou 
jet na starem jadre ted (tj. nez se to zacne tykat vsech).

Rekneme okolo dubna/kvetna (4ty/5ty mesic) neco jako playground provoz 
je cca aktualni target.

Sem s dotazy ;) (pripadne IRC #vpsfree nebo #vpsadminos @ freenode).

/snajpa

> Dne 1. září 2016 2:29 Pavel Snajdr <snajpa at snajpa.net> napsal(a):
> 
>> Je velmi pravdepodobne, ze Virtuozzo 7 proste preskocime a pujdeme
>> na
>> upstream kernel; zaroven pravdepodobne nepouzijeme LXC ani nic
>> podobneho, jelikoz bychom to museli hodne ohybat a rovnou si to
>> dopiseme
>> do vpsAdminu.
>> 
>> S qemu-kvm je vedle kontejneru problem, je potreba to qemu poustet
>> v
>> kontejneru, v CT0 mi nejelo spolehlive (OOM, wtf...).
>> 
>> OpenVZ jako projekt nabral pro nas spatny smer, ale naprosta
>> vetsina
>> funkcionality, co od nej potrebujeme, uz je v upstream kernelu,
>> jenom
>> musi kousek vyzrat (idealne, aby nebylo 2x do mesice CVE na user
>> namespace).
>> 
>> S OpenVZ 6 prezijeme jeste nejakou chvili, ale zatim to vypada, ze
>> Virtuozzo 7 nebude pro nas (nebo mozna jenom kernel bez userspace).
>> 
>> /snajpa
>> 
>> On 08/30/2016 04:48 PM, Pavel Bařina wrote:
>> _______________________________________________
>> Community-list mailing list
>> Community-list at lists.vpsfree.cz
>> http://lists.vpsfree.cz/listinfo/community-list [1]
> 
> 
> 
> Links:
> ------
> [1] http://lists.vpsfree.cz/listinfo/community-list
> 
> _______________________________________________
> Community-list mailing list
> Community-list at lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list