Community-list August 2015

community-list@lists.vpsfree.cz

30 participants
16 discussions

Vedel by mi tu niekto pomoct s Hadoopom?
by Michal Novovesky 06 Aug '15

06 Aug '15

Ahojte, Snajpa ma odkazal na community-list, ze by som tu mohol najst niekoho co by mi vedel pomoct s problemom, ktory riesime u nas vo firme (https://infinario.com/ <https://infinario.com/>). Vytvorili sme analyticku platformu, ktora dokaze real-time spracovavat data, vdaka tomu, ze ich uklada do nami vyrobenej db do RAM serverov. Toto riesenie sice funguje super, ale na ukladanie velkeho mnozstva historickych dat je prilis drahe, a preto by sme potrebovali vyriesit variant, kedy sa data okrem RAMky ukladaju aj do normalneho storagu a uzivatel ma moznost si vyberat data, s ktorymi chce pracovat real-time, a s ktorymi nie. Nasiel by sa tu niekto, kto by bol schopny a ochotny nam pomoct pri najdeni a implementacii spravnej technologie(napr. Hadoop) na ukladanie stoviek TB historickych dat a vedel by implementovat proces pre prenos dat zo storagu (firma X si zvoli data eventov A,B za obdobie M-N) do real-time databazy v RAMke? S tym by suvisela aj priprava rozhrania pre load dat medzi roznymi systemami, vratane procesov pre citanie a zapis do pripojenych databaz a APIciek. Samozrejme takuto pomoc sme ochotni stedro zaplatit :) Napisete mi prosim na michal.novovesky(a)infinario.com <mailto:michal.novovesky@infinario.com> ak by ste mali zaujem nam pomoct? Vdaka, Miso

2 2

Otevření kb.vpsfree.cz
by Jakub Skokan 04 Aug '15

04 Aug '15

Ahoj, do naší Knowledge Base [1] je nyní možné se přihlásit pomocí údajů z vpsAdminu. Po delší době opět můžou všichni členové přispívat návody a tipy ohledně správy VPS, aplikací uvnitř, apod. Pro propojení DokuWiki s vpsAdminem používáme vlastní auth plugin [2]. [1] https://kb.vpsfree.cz/ [2] https://github.com/vpsfreecz/haveapi-dokuwiki Jakub

1 0

Zombie procesy
by Stanislav Petr 04 Aug '15

04 Aug '15

Cau, po dnesnim vypadku node5 pozoruji v systemu problem se zombie procesy. Stava se to jeste nekomu? ps ax | grep Z 2567 ? Z 0:00 [/usr/libexec/mu] <defunct> 2583 ? ZNs 0:00 [asterisk_sipcha] <defunct> 2651 ? ZNs 0:00 [asterisk_channe] <defunct> 2828 ? Z 0:00 [/usr/sbin/apach] <defunct> Zatim nevidim zadnou souvislost. Proces 2567 je perl script (perl 5.20.2, munin-update 2.0.25), 2583 a 2651 je asterisk 13.4.0 a nakonec 2828 je apache-2.4.16 Zajimave na tom je ze procesy po nejakem case se ze stavu Z zotavi. Strace mi na to nefunguje: strace: attach: ptrace(PTRACE_ATTACH, ...): Operation not permitted Pravdepodobne omezeni OpenVZ??? Ta nemoznost debugovani je docela zvlastni a uvnitr OpenVZ kontejneru nevim co s tim, pristup k /proc/sys/kernel/yama/ptrace_scope nemam, takze jediny vysvetleni ktery mne napada je chyba/omezeni OpenVZ a nebo ze uz tenproces nekdo debuguje (gdb/strace). -- Stanislav Petr

3 3

node5
by Pavel Snajdr 04 Aug '15

04 Aug '15

-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 Ahojte, delam na node5 - dneska mel cely den problemy a ted se dostal do stavu, kdy nechce importovat zpool s daty. Budu informovat, jak budu vedet vic. /snajpa -----BEGIN PGP SIGNATURE----- Version: GnuPG v2 iF4EAREIAAYFAlW/3A0ACgkQgRwOVqYrsFWwrQD/Y2YYSsrXJZcAcHntXHP9jmym ZU9+yAaLcs3aRii381wBAL8yiqH3CRxANWXESr4zo0lkAN03i1rwhv7ZzGYzuDUd =AErp -----END PGP SIGNATURE-----

1 3

Aktualizace vpsAdminu: 17-19.7. vpsadmin.vpsfree.cz, api.vpsfree.cz, nasbox.prg
by Jakub Skokan 03 Aug '15

03 Aug '15

Ahoj, konečně se blížíme k nasazení nové verze vpsAdminu. O novinkách a změnách budu podrobněji informovat později. Teď jen ve zkratce, nová verze vám členům přinese např.: - rozšířené možnosti API - vytváření, klonování, swapování a mazání produkčních i playground VPS - přerozdělování prostředků (CPU, paměť, disk) mezi VPS - možnost využít více IPv6 adres, IPv4 za doplatek - vytváření subdatasetů VPS a NAS, nastavování kvót a jiných ZFS properties - atomické snapshoty - mounty datasetů, snapshotů - robustnější a bezpečnější systém transakcí, atd. To vše skrze webové rozhraní, CLI nebo API, bez nutnosti psát na podporu. Předběžně, aktualizace vpsAdminu a související infrastruktury bude probíhat 17-19.7. Datum se může ještě posunout, pokud bychom nestíhali. Během aktualizace bude vpsAdmin nedostupný. Nutné věci budeme řešit na podpoře. Neplánujte si prosím nic, k čemu by byl vpsAdmin v tuto dobu zapotřebí. Přihlášky k členství půjdou zasílat, avšak budou schvalovány až bude nová verze zaběhnutá. Dojde k výpadku nasbox.prg. Všechny mounty NASu budou na čas odpojeny a následně znovu připojeny. /vpsadmin_backuper bude zrušen, zálohy se budou připojovat jednotlivě přes vpsAdmin. Přesnější časový rozvrh dodám později. Jakub

5 10

vpsAdmin 2: popis důležitých změn
by Jakub Skokan 03 Aug '15

03 Aug '15

Ahoj, v tomto mailu popisuji důležité změny v nové verzi vpsAdminu pro koncové uživatele. Je to trochu delší text, ale doporučuji to aspoň proletět. Návody na používání nových funkcí budou během několika dní k dispozici v KB. Doporučuji se na ně před použitím funkce podívat a v případě nejasnosti se raději zeptat. Nové funkce zatím nedoporučuji využívat na produkční nasazení. Počkejte prosím pár týdnů, než se to vyladí. Jsou to tisíce řádek nového kódu a není reálné očekávat na 100 % vyladěnou věc. Nalezené chyby prosím hlaste na podporu. Prostředí --------- Všechny nody jsou rozděleny do "prostředí" (environment). V našem případě jsou zavedeny prostředí produkce, playground a storage praha. Každý člen má v rámci prostředí přiděleny prostředky (paměť, CPU, diskový prostor a IP adresy), které na nodech spadajících do daného prostředí můžou využívat. Prostředí můžou mít různé nastavení - dovolené počty VPS, apod. Přehled přidělených prostředků v prostředích je vidět v Edit profile -> Cluster resources. Nastavení prostředí v Edit profile -> Environment configs. VPS - vytváření ---------------- Členům je dovoleno vytvářet VPS v playground i produkci a to za předpokladu, že má k dispozici dostatek prostředků a umožňuje to jeho nastavení prostředí. Vytvoření nové VPS se skládá ze tří kroků - výběr prostředí, výběr lokace a následně hostname, distribuce a parametry. Vytváření více produkčních VPS je zatím povoleno pouze uživatelům, kteří o to požádají a chtějí tuto funkci otestovat. VPS - IP adresy --------------- Člen má přidělenu 1 IPv4 adresu a 32 IPv6 adres v každém prostředí. Tyto adresy může libovolně rozdělit mezi VPS. Více IPv4 je stejně jako předtím za poplatek [1], IPv6 na dotaz. Při přidělení adresy k produkční VPS se adrese nastaví vlastník. Takovou IP adresu potom nemůže nikdo jiný vybrat, i když zrovna není používána. Člen musí nejdříve využít všechny vlastněné IP adresy a až poté lze vybrat adresy nové. VPS - heslo roota ----------------- Při nastavování hesla roota lze vybrat ze dvou typů generovaných hesel. Jednoduché heslo se snadněji opíše do webové konzole VPS, kde bohužel nefunguje copy&paste a opisovat dlouhé heslo je otrava. VPS - volba distribuce ---------------------- Formulář pro reinstalaci distribuce nyní umožnuje pouhou aktualizaci informace o distribuci, která je ve VPS. Toto můžete použít, když např. systém aktualizujete na novou verzi a distribuce zobrazená ve vpsAdminu pak neodpovídá realitě. Reinstalace systému _maže_ všechny subdatasety VPS, více o datasetech níže. VPS - parametry --------------- V detailu VPS je možné měnit parametry VPS. Minimální konfigurace VPS je 1 CPU, 1 GB RAM a 10 GB disku. Maximální konfigurace je 8 CPU, 16 GB RAM, diskový prostor není omezen. Swap se sice zobrazuje mezi parametry, ale standardně jej nepřidělujeme, protože swap v OpenVZ se chová jako rozšíření paměti [2]. Pokud chcete vytvořit novou VPS, je nutné pro ni udělat místo - snížit parametry jiné VPS. VPS - features -------------- Features lze zapínat/vypínat jednotlivě. Při jakékoliv změně dojde k restartu VPS. Doporučuji si nastavit jen features, které potřebujete. Např. zapnuté NFS nebo bridge blokuje online migraci. VPS - swap ---------- Teď nemám na mysli odkládací prostor paměti, ale swap ve smyslu prohození VPS mezi nody, v našem případě nejčastěji mezi playground a produkcí. Prohodit jde pouze VPS, které se nacházejí v odlišných lokacích (Praha, Playground, Brno). V rámci jedné lokace můžete jednoduše přehodit IP adresy a je to. Před vykonáním akce je v tabulce zobrazen stav VPS před a po provedení swapu. VPS - klonování --------------- Klonovat lze buď do nové nebo do existující VPS. V případě klonování do existující VPS je původní VPS se všemi subdatasety smazáno! Datasety -------- Dataset ve vpsAdminu reprezentuje přímo ZFS dataset na disku. Datasety se používají na data VPS i NAS. Koncept datasetu nahrazuje exporty z NASu. S datasetem VPS lze pracovat stejně jako s NASem. Proč se vůbec s datasety obtěžovat? Zejména kvůli možnosti nastavení kvóty a ZFS properties pro různé data/aplikace. Datasety VPS se nacházejí v detailu VPS a datasety NASu v menu NAS. Operace, které s nimi jdou provádět, jsou stejné. vpsAdmin umožňuje vytváření subdatasetů a nastavování ZFS properties. Pomocí properties lze optimalizovat výkon databází, apod. Ve většině případů je nemusíte vůbec řešit. Rozdíl mezi datasety VPS a NASu je v nastavování kvóty. Pro datasety VPS se používá refquota - místo zabrané snapshoty není zahrnuto. Datasety NASu naopak quota - místo zabrané snapshoty je zahrnuto. vpsAdmin automaticky nabízí správný typ kvóty. Rezervovaná jména datasetů jsou: private, vpsadmin, branch-*, tree.*. Tyto názvy nelze použít. Snapshoty --------- Zálohování probíhá pomocí zfs snapshotů, které jsou vidět v menu Backups, kde jdou také vytvářet a mazat. Zálohování VPS probíhá tak, že každý den v 01:00 se v rámci jednoho node udělá snapshot všech datasetů najednou. Poté jsou snapshoty přesunuty na backuper.prg. Pozor na to, že NAS _není_ zálohován na backuper.prg. Snapshoty jsou pouze lokální a slouží jen jako ochrana proti nechtěnému smazání dat, apod. Mounty ------ Mounty byly přesunuty z menu NAS do detailů VPS. Mountovat lze datasety i snapshoty. Do jakékoliv VPS jde mountnout jakýkoliv dataset či snapshot. Mounty jednotlivých snapshotů nahrazují trvalý mount záloh do /vpsadmin_backuper. Každý snapshot může být v jednu chvíli připojen pouze jednou, datasety toto omezení nemají. Nedoporučuji mountpointy zanořovat v nesprávném pořadí. Situace, kdy dataset 'raz/dva' je připojen nad dataset 'raz' není ošetřena. Mount lze pouze vytvořit a smazat. Nelze jej v průběhu jen tak odpojit a znovu připojit. Obnova záloh ------------ Obnovení VPS ze zálohy (snapshotu) funguje stejně, jako doposud. Obnova vždy funguje na úrovni datasetu. Když má VPS subdatasety a rootfs je obnoven ze zálohy, subdatasety obnoveny nejsou. Tzn. je možno obnovit jakýkoliv dataset, aniž by to mělo vliv na ostatní datasety. Při obnově jsou všechny snapshoty zachovány, díky větvení záloh [3] na backuperu. NAS je možné snapshotovat pouze manuálně. Jelikož ale není zálohován na backuper, obnova se chová stejně jako zfs rollback -r, tzn. obnova na starší snapshot _smaže_ všechny novější snapshoty. Je to nevratná operace. Pro obnovu dat ze zálohy na NASu bez smazání snapshotů si zvolený snapshot moutněte do VPS a data vykopírujte. Stahování záloh --------------- Stahování snapshotů je nyní součástí vpsAdminu. Vygenerované archivy jsou vidět v menu Backups -> Downloads. Odkazy jsou platné týden místo původních 3 dní. Transakce --------- Transakce nyní spadají do skupin nazvaných "transaction chain". Každá operace (vytvoření VPS, start, stop, klon, atd.) je reprezentována jedním chainem, který seskupuje více transakcí. V transaction logu v pravém panelu se zobrazuje seznam 10 posledních chainů a jejich postup v procentech. Kliknutím na ID chainu lze vidět, jaké transakce obsahuje. V ideálním případě se chain buď provede úplně a nebo vůbec. Pokud k dojde k neočekávané či neošetřené chybě, bude muset zasáhnout administrátor. Chainy se starají také o udržování konzistence databáze. Změny v databázi se provedou, jen když chain doběhne úspěšně. Může to být trochu matoucí, když se např. po změně hostname stále zobrazuje to staré. Po dokončení chainu se hostname aktualizuje a bude správně. Zatím nevím, jak to udělat víc user-friendly. Zámky objektů ------------- S každým objektem (VPS, dataset, snapshot, apod.) lze v jednu chvíli provádět jen jednu operaci. Zámky slouží k zaručení konzistence, aby si pod sebou vpsAdmin sám nepodřezal větev, což se občas stalo. Pokud na vás vyskočí chybová hláška "Resource is locked. Please try again." znamená to, že objekt, se kterým chcete něco udělat, je uzamčen a musíte počkat, až bude k dispozici. Pozastavování objektů, expirace ------------------------------- Administrátoři mají nově možnost pozastavit jednotlivé VPS, což budeme využívat v případě hacknutí VPS. Expirace členství už nebude hlídat člověk, ale vpsAdmin. Pokud členský příspěvek neuhrádíte do data uvedeného v notifikačním mailu, účet bude pozastaven. Za další tři týdny dojde k ukončení členství, viz finanční řád [4]. Networking ---------- Je možné se podívat na datové přenosy z minulých let. Autentizace ----------- vpsAdmin nyní ukládá hesla pomocí bcrypt. Heslo se při přihlášení automaticky aktualizuje. V Edit profile -> Authentication tokens je seznam autentizačních tokenů, které se používají při vybrání autentizační metody 'token' v HaveAPI [5]. Webové rozhraní vpsAdminu tokeny využívá. Zmiňuji se o tom, protože přes CLI nebo klientskou knihovnu obecně si můžete vytvořit token s trvalou platností. Na této stránce můžete tokenu nastavit popisek či ho smazat (odepřít přístup aplikaci, která jej využívá). Mód údržby ---------- Do módu údržby (maintenance mode) můžeme přepnout buď celý cluster, jednotlivé protředí, lokace, nody či VPS. V titulku ikony módu údržby je napsán důvod. API --- Většina aplikační logiky vpsAdminu byla přesunuta do API [6]. Webové rozhraní teď slouží prakticky jen jako prostředník mezi uživatelem a API. Využívá k tomu klientské knihovny v PHP [7] a JS [8]. API obsahuje vše krom správy přihlášek k členství, změn uživatelských účtů a datových přenosů. Aktuální stav funkcí -------------------- - Klonování VPS - zakázáno, musí se ověřit - Swapování VPS - zakázáno, musí se ověřit - Vytváření více produkčních VPS umožněno na dotaz [1] https://github.com/vpsfreecz/oficialni-dokumenty/blob/devel/financni_rad.md… [2] http://openvz.org/VSwap [3] https://projects.vpsfree.cz/vpsadmin-doc/storage/branching/ [4] https://github.com/vpsfreecz/oficialni-dokumenty/blob/devel/financni_rad.md [5] https://github.com/vpsfreecz/haveapi-client-php#usage [6] https://api.vpsfree.cz [7] https://github.com/vpsfreecz/haveapi-client-php [8] https://github.com/vpsfreecz/haveapi-client-js Jakub

1 0

2025

2024

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

Community-list August 2015