[vpsFree.cz: community-list] Virtuální síť na VPSFree mezi VPS a datasety mezi VPS
Pavel Snajdr
snajpa at snajpa.net
Tue Jun 6 16:06:51 CEST 2017
On 06/06/2017 03:07 PM, zd nex wrote:
> Ahoj,
>
> jak jsem říkal moc jsem to neřešil, prostě jsem to akorát zapnul a pak
> za dva dny jsem si všiml, že je to odpojené (mezi tím mi přišla pak
> chyba, že app nemůže číst data, bylo to pouze na otestování). V tu dobu
> to nebylo potřeba, tak mi to zas tak nevadilo.
>
> Rsync jsem zkoušel a nejsem si jistý zda to stačí, jelikož by vlastně
> běžel stále dokola a pokud to bude na více VPS dohromady mezi sebou tak
> se to asi bude motat - tzn kam co synchronizovat a kdy (bude potřeba asi
> inotify aby se přenesly pouze ty upravené a nemuselo stále hledat, kde
> je co změněné, pokud může fungovat).
>
> Původně jsem přemýšlel i přímo pouze o dvou VPS na filesystém a ten
> připojovat, ale po testování a hledání na netu jsem dospěl k tomu, že je
> to pomalé na lokální přístup (je tam časté listování souborů).
>
> A ano půjde o převážně o load balacing. Na jedné hlavní VPS poběží proxy
> a pod tím běží aplikace, které právě pracují s adresáři. Každá aplikace
> běží odděleně. Proxy se stará o uživatele a aplikace pracuje s daty.
> Jinak je to moc monstr aplikace ani není :). Je to pro přípravu výroby
> nábytku - tzn připravuje nářezové plány, kalkulace, výkresovou
> dokumentaci, vizualizace, návrhy nábytku, připravuje podklady pro CNC
> stroje a tak podobně.
Mno. Pokud si budes vyst seznam souboru v databazi a nebudes ten
filesystem pouzivat jako filesystem, nybrz pouze jako object store, pak
je to v pohode.
Klidne Gluster, melo by to jet bez problemu; ale nedoporucuju delat
roundtrip jeste pres NFS, pristupuj k nemu primo z aplikace pres
libgfapi (v cem je psana ta tvoje appka?). Tj. appka si sahne primo do
Glusteru pro data a nemusi se do cesty motat jeste 10km cesta pres
NFS/VFS stack.
/snajpa
>
> S pozdravem,
>
> Zdeněk Dlauhý
> Web: http://pripravto.cz
>
> Dne 6. června 2017 14:25 Pavel Snajdr <snajpa at snajpa.net
> <mailto:snajpa at snajpa.net>> napsal(a):
>
> On 06/06/2017 01:51 PM, zd nex wrote:
> > Ahoj,
> >
> > díky za info - popravdě nevím jak se ten dataset odpojil, stalo se mi to
> > 2x a moc jsem to zatím neřešil (nebylo potřeba). Jde o to, že
> > namountované místo bylo prázdné a když jsem se to snažil odpojit a
> > připojit znovu, tak to nešlo. Po restartu to bylo ok.
>
> Tak to je debug jak stehno toto, z toho moc nevykoukame :)
>
> Idealne priste napis na podporu, kdyz se ti to deje, vsadim se totiz, ze
> jsi jenom neco spatne pochopil a trochu u toho zmatkoval. Napis, kdyz se
> s tim zrovna snazis bojovat, popis, co jsi jak delal a nejlip posli i
> cisla transakci, co vyfailily.
>
>
> Z toho důvodu jsem
> > tomu chtěl úplně předejít nastavením distribuovaného FS (něco jako
> > gluster fs), který by měl lokální kopie či nasazením pak nějaké
> > synchronizace. Jde o to, že mi jde o rychlost na disku, ale nejde mi až
> > tak to, jestli se soubory objeví na jiné VPS za 1 minutu či později.
>
> => rsync do cronu & vyreseno
>
> Jde
> > o to aby, když se aplikace spustí na jiné VPS, tak pouze ty data musí
> > mít a od té doby poběží tam a pouze tam. Jiná VPS s jinou aplikací na
> > stejná data zapisovat nebude (tzn kolize verzí zřejmě není až tak
> > potřeba řešit). Synchronizace je tam od toho, aby data byla na všech
> > místech - pro přesun app. Z toho pohledu je dataset dobrý, jenže data
> > nejsou lokální a pokud se právě odpojí, tak se na to nedá moc spolehnout
> > a o to mně jde asi převážně.
>
> Nerozumim tomu "na jine VPS". Proc nejaka jina VPS?
> Kvuli HA? Nebo load balancing? Nebo jaky to ma duvod, pokud nejaky?
>
> To je nejaka monstr aplikace? Ci co vlastne resis? ;)
>
> /snajpa
>
>
> >
> > Jinak data jsou generované obrázky, svg, dxf (různé vektorové formáty),
> > bitmapy, binární soubory, datové soubory (XML/JSON) a raw data. Většina
> > z nich se často mění za běhu aplikace. Datový adresář je rozdělen do
> > složek dle aplikace. Každá aplikace pracuje s jednou složkou. Velikost
> > souborů se pohybuje od 10KB - 500KB většina (cca 80% souborů) zbytek
> > jsou větší, které jsou obvykle od 1MB do cca 40MB dat na soubor - ty se
> > obvykle nemění moc často. V tuto chvíli se jedná o cca 55000 souborů o
> > velikosti 5GB. Jinak data jsou obvykle také procházena automaticky kvůli
> > čištění např. listování dle typů a tak podobně a někdy hromadně
> > upravována. Ale to by vždy udělala pouze jedna app a ostatní by v tu
> > dobu s tím nic nedělali.
> >
> > Nejsem si jistý jestli je to vhodně popsané. Když tak se ptejte. Jinak
> > na abicku doporučovali synchthing. Těžko říci jestli je to vhodná cesta,
> > zvláště bez vyzkoušení.
> >
> > Zdenek
> >
> > Dne 6. června 2017 11:38 Pavel Snajdr <snajpa at snajpa.net <mailto:snajpa at snajpa.net>
> > <mailto:snajpa at snajpa.net <mailto:snajpa at snajpa.net>>> napsal(a):
> >
> > Ahoj,
> >
> > "se muzou odpojit" je tebou vyvolana akce, nebo je to tim, ze jde dolu
> > stroj, kde data jsou.
> >
> > Sdileni malych souboru je nevyreseny problem, jde o klasicky problem
> > distribuovanyho pocitani (https://en.wikipedia.org/wiki/CAP_theorem
> <https://en.wikipedia.org/wiki/CAP_theorem>
> > <https://en.wikipedia.org/wiki/CAP_theorem
> <https://en.wikipedia.org/wiki/CAP_theorem>>).
> >
> > Na sdileni dat doporucuju pouzivat ciste vpsAdmin, na pozadi se
> > automaticky vybere budto bind mount (pokud je dataset lokalni), nebo
> > NFSv3 - nic jineho v podstate na male soubory nedava smysl, pokud mas
> > byt schopny to cist z vic mist najednou (jinak to pak vede na GFS2/OCFS2
> > a podobny veci, okolo kterych se ale musi chodit po spickach, rozhodne
> > nejsou OK do sdilenyho prostredi, jako je nase).
> >
> > Co potrebujes resit presne? Co je tvuj use-case?
> >
> > /snajpa
> > (Pavel Snajdr)
> > (Predseda vpsFree.cz)
> > (+420 720 107 791 <tel:%28%2B420%20720%20107%20791>
> <tel:%28%2B420%20720%20107%20791>)
> >
> > On 06/06/2017 07:55 AM, zd nex wrote:
> > > Ahoj,
> > >
> > > díky za informace ohledně privátní ip a vypínání. Co se týče datasetů -
> > > tak tomu rozumím, že je můžu připojit do více VPS, jde o to, že se mohou
> > > odpojit a zde si nejsem moc jistý co s tím. Aplikace to obvykle
> > > nerozdýchá - může to mít vliv právě na více app/db/proxy a celé se to
> > > rozbije. Právě to se mi už 2x stalo a chtěl jsem tomu nějak předejít.
> > > Víte někdo jak na to nebo jak to vyřešit?
> > >
> > > Zdenek
> > >
> > >
> > > Dne 5. června 2017 20:40 Silvestr Hašek <hasek at reklalink.cz <mailto:hasek at reklalink.cz>
> <mailto:hasek at reklalink.cz <mailto:hasek at reklalink.cz>>
> > > <mailto:hasek at reklalink.cz <mailto:hasek at reklalink.cz>
> <mailto:hasek at reklalink.cz <mailto:hasek at reklalink.cz>>>> napsal(a):
> > >
> > > Ahoj,
> > >
> > > o privátní IP adresy si můžeš zažádat na podpoře.
> > >
> > > K těm datasetům, kb tvrdí, že datasety můžeš připojit
> vícekrát
> > > (https://kb.vpsfree.cz/navody/vps/datasety
> <https://kb.vpsfree.cz/navody/vps/datasety>
> > <https://kb.vpsfree.cz/navody/vps/datasety
> <https://kb.vpsfree.cz/navody/vps/datasety>>
> > > <https://kb.vpsfree.cz/navody/vps/datasety
> <https://kb.vpsfree.cz/navody/vps/datasety>
> > <https://kb.vpsfree.cz/navody/vps/datasety
> <https://kb.vpsfree.cz/navody/vps/datasety>>>).
> > >
> > > Vypínání,.. OpenVZ posílá do kontejneru normální signál
> k vypnutí,
> > > takže kontejner uděla standardní shutdown sekvenci jako
> běžnej
> > > server. Tohle je nějak časově omezený po uplynutí toho
> timeoutu
> > > (myslím že to je 120sec) to začne kontejneru násilně zabíjet
> > procesy.
> > >
> > > SH
> > >
> > >
> > > On Sunday, 4 June 2017 09:04:26 CEST, zd nex wrote:
> > >
> > > Zdravím,
> > >
> > > chtěl jsem zeptat zda je v plánu možnost přiřazení
> > privátních IP
> > > mezi VPS
> > > (VPS admin vypadá, že by to jít mohlo - či je to
> plánováno)?
> > > Přes OpenVPN
> > > to zřejmě jde, ale pro jednoduché nastavení stejné
> sítě mezi
> > > VPS, by nemělo
> > > být potřeba takové řešení (zvláštní, složité, rychle
> > rozbitelné)
> > > - zvláště
> > > pokud jsou VPS blízko sebe. Umí OpenVZ něco
> takového? Jde
> > o to,
> > > že privátní
> > > IP dobře řeší i firewall a jiné věci, tak, aby se
> mohl rychle
> > > uzavřít okruh
> > > několika VPS přímo do odděleného prostoru. Nebo je
> jediná
> > > možnost OpenVPN?
> > >
> > > Druhý dotaz mám na téma datasety - je možné
> připojit datasety
> > > nějakým
> > > způsobem trvale k VPS - tzn jako lokální disk ale
> přesto jsou
> > > připojené na
> > > i na jiné VPS? Jde o to, že když se ten dataset odpojí
> > aplikace
> > > obvykle
> > > tento stav vůbec nepřežijí. Případně řešil jste
> někdo sdílení
> > > dat mezi VPS,
> > > kde je spousta malých souborů (100KB-20MB) - okolo 50000
> > souborů
> > > - bude
> > > růst. Díval jsem se již na několik řešení - jako
> glusterfs
> > - zdá
> > > se pomalý
> > > pro takové množství souborů, které se často vytahují
> - jelikož
> > > není přímý
> > > přístup.
> > >
> > > A takový ještě doplňkový dotaz - jaký způsobem OpenVZ na
> > vpsfree
> > > vypíná
> > > běžící VPS např. pro servisní zásah na server?
> > >
> > >
> > > _______________________________________________
> > > Community-list mailing list
> > > Community-list at lists.vpsfree.cz
> <mailto:Community-list at lists.vpsfree.cz>
> > <mailto:Community-list at lists.vpsfree.cz
> <mailto:Community-list at lists.vpsfree.cz>>
> > <mailto:Community-list at lists.vpsfree.cz
> <mailto:Community-list at lists.vpsfree.cz>
> > <mailto:Community-list at lists.vpsfree.cz
> <mailto:Community-list at lists.vpsfree.cz>>>
> > > http://lists.vpsfree.cz/listinfo/community-list
> <http://lists.vpsfree.cz/listinfo/community-list>
> > <http://lists.vpsfree.cz/listinfo/community-list
> <http://lists.vpsfree.cz/listinfo/community-list>>
> > > <http://lists.vpsfree.cz/listinfo/community-list
> <http://lists.vpsfree.cz/listinfo/community-list>
> > <http://lists.vpsfree.cz/listinfo/community-list
> <http://lists.vpsfree.cz/listinfo/community-list>>>
> > >
> > >
> > >
> > >
> > >
> > > _______________________________________________
> > > Community-list mailing list
> > > Community-list at lists.vpsfree.cz <mailto:Community-list at lists.vpsfree.cz>
> > <mailto:Community-list at lists.vpsfree.cz
> <mailto:Community-list at lists.vpsfree.cz>>
> > > http://lists.vpsfree.cz/listinfo/community-list
> <http://lists.vpsfree.cz/listinfo/community-list>
> > <http://lists.vpsfree.cz/listinfo/community-list
> <http://lists.vpsfree.cz/listinfo/community-list>>
> > >
> >
> >
> > _______________________________________________
> > Community-list mailing list
> > Community-list at lists.vpsfree.cz
> <mailto:Community-list at lists.vpsfree.cz>
> <mailto:Community-list at lists.vpsfree.cz
> <mailto:Community-list at lists.vpsfree.cz>>
> > http://lists.vpsfree.cz/listinfo/community-list
> <http://lists.vpsfree.cz/listinfo/community-list>
> > <http://lists.vpsfree.cz/listinfo/community-list
> <http://lists.vpsfree.cz/listinfo/community-list>>
> >
> >
> >
> >
> > --
> >
> > --
> > S pozdravem,
> >
> > Zdeněk Dlauhý
> >
> > Email:support at pripravto.cz <mailto:Email%3Asupport at pripravto.cz>
> <mailto:support at pripravto.cz <mailto:support at pripravto.cz>>
> > Mobil: +420 702 549 370 <tel:%2B420%20702%20549%20370>
> > Web: www.pripravto.cz <http://www.pripravto.cz>
> <http://www.pripravto.cz>
> >
> >
> > _______________________________________________
> > Community-list mailing list
> > Community-list at lists.vpsfree.cz
> <mailto:Community-list at lists.vpsfree.cz>
> > http://lists.vpsfree.cz/listinfo/community-list
> <http://lists.vpsfree.cz/listinfo/community-list>
> >
>
>
> _______________________________________________
> Community-list mailing list
> Community-list at lists.vpsfree.cz <mailto:Community-list at lists.vpsfree.cz>
> http://lists.vpsfree.cz/listinfo/community-list
> <http://lists.vpsfree.cz/listinfo/community-list>
>
>
>
>
>
> _______________________________________________
> Community-list mailing list
> Community-list at lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list
>
-------------- next part --------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 213 bytes
Desc: OpenPGP digital signature
URL: <http://lists.vpsfree.cz/pipermail/community-list/attachments/20170606/9fa5ffa3/attachment.sig>
More information about the Community-list
mailing list