[vpsFree.cz: community-list] Virtuální síť na VPSFree mezi VPS a datasety mezi VPS
zd nex
zdnexnet at gmail.com
Tue Jun 6 15:07:59 CEST 2017
Ahoj,
jak jsem říkal moc jsem to neřešil, prostě jsem to akorát zapnul a pak za
dva dny jsem si všiml, že je to odpojené (mezi tím mi přišla pak chyba, že
app nemůže číst data, bylo to pouze na otestování). V tu dobu to nebylo
potřeba, tak mi to zas tak nevadilo.
Rsync jsem zkoušel a nejsem si jistý zda to stačí, jelikož by vlastně běžel
stále dokola a pokud to bude na více VPS dohromady mezi sebou tak se to asi
bude motat - tzn kam co synchronizovat a kdy (bude potřeba asi inotify aby
se přenesly pouze ty upravené a nemuselo stále hledat, kde je co změněné,
pokud může fungovat).
Původně jsem přemýšlel i přímo pouze o dvou VPS na filesystém a ten
připojovat, ale po testování a hledání na netu jsem dospěl k tomu, že je to
pomalé na lokální přístup (je tam časté listování souborů).
A ano půjde o převážně o load balacing. Na jedné hlavní VPS poběží proxy a
pod tím běží aplikace, které právě pracují s adresáři. Každá aplikace běží
odděleně. Proxy se stará o uživatele a aplikace pracuje s daty. Jinak je to
moc monstr aplikace ani není :). Je to pro přípravu výroby nábytku - tzn
připravuje nářezové plány, kalkulace, výkresovou dokumentaci, vizualizace,
návrhy nábytku, připravuje podklady pro CNC stroje a tak podobně.
S pozdravem,
Zdeněk Dlauhý
Web: http://pripravto.cz
Dne 6. června 2017 14:25 Pavel Snajdr <snajpa at snajpa.net> napsal(a):
> On 06/06/2017 01:51 PM, zd nex wrote:
> > Ahoj,
> >
> > díky za info - popravdě nevím jak se ten dataset odpojil, stalo se mi to
> > 2x a moc jsem to zatím neřešil (nebylo potřeba). Jde o to, že
> > namountované místo bylo prázdné a když jsem se to snažil odpojit a
> > připojit znovu, tak to nešlo. Po restartu to bylo ok.
>
> Tak to je debug jak stehno toto, z toho moc nevykoukame :)
>
> Idealne priste napis na podporu, kdyz se ti to deje, vsadim se totiz, ze
> jsi jenom neco spatne pochopil a trochu u toho zmatkoval. Napis, kdyz se
> s tim zrovna snazis bojovat, popis, co jsi jak delal a nejlip posli i
> cisla transakci, co vyfailily.
>
>
> Z toho důvodu jsem
> > tomu chtěl úplně předejít nastavením distribuovaného FS (něco jako
> > gluster fs), který by měl lokální kopie či nasazením pak nějaké
> > synchronizace. Jde o to, že mi jde o rychlost na disku, ale nejde mi až
> > tak to, jestli se soubory objeví na jiné VPS za 1 minutu či později.
>
> => rsync do cronu & vyreseno
>
> Jde
> > o to aby, když se aplikace spustí na jiné VPS, tak pouze ty data musí
> > mít a od té doby poběží tam a pouze tam. Jiná VPS s jinou aplikací na
> > stejná data zapisovat nebude (tzn kolize verzí zřejmě není až tak
> > potřeba řešit). Synchronizace je tam od toho, aby data byla na všech
> > místech - pro přesun app. Z toho pohledu je dataset dobrý, jenže data
> > nejsou lokální a pokud se právě odpojí, tak se na to nedá moc spolehnout
> > a o to mně jde asi převážně.
>
> Nerozumim tomu "na jine VPS". Proc nejaka jina VPS?
> Kvuli HA? Nebo load balancing? Nebo jaky to ma duvod, pokud nejaky?
>
> To je nejaka monstr aplikace? Ci co vlastne resis? ;)
>
> /snajpa
>
>
> >
> > Jinak data jsou generované obrázky, svg, dxf (různé vektorové formáty),
> > bitmapy, binární soubory, datové soubory (XML/JSON) a raw data. Většina
> > z nich se často mění za běhu aplikace. Datový adresář je rozdělen do
> > složek dle aplikace. Každá aplikace pracuje s jednou složkou. Velikost
> > souborů se pohybuje od 10KB - 500KB většina (cca 80% souborů) zbytek
> > jsou větší, které jsou obvykle od 1MB do cca 40MB dat na soubor - ty se
> > obvykle nemění moc často. V tuto chvíli se jedná o cca 55000 souborů o
> > velikosti 5GB. Jinak data jsou obvykle také procházena automaticky kvůli
> > čištění např. listování dle typů a tak podobně a někdy hromadně
> > upravována. Ale to by vždy udělala pouze jedna app a ostatní by v tu
> > dobu s tím nic nedělali.
> >
> > Nejsem si jistý jestli je to vhodně popsané. Když tak se ptejte. Jinak
> > na abicku doporučovali synchthing. Těžko říci jestli je to vhodná cesta,
> > zvláště bez vyzkoušení.
> >
> > Zdenek
> >
> > Dne 6. června 2017 11:38 Pavel Snajdr <snajpa at snajpa.net
> > <mailto:snajpa at snajpa.net>> napsal(a):
> >
> > Ahoj,
> >
> > "se muzou odpojit" je tebou vyvolana akce, nebo je to tim, ze jde
> dolu
> > stroj, kde data jsou.
> >
> > Sdileni malych souboru je nevyreseny problem, jde o klasicky problem
> > distribuovanyho pocitani (https://en.wikipedia.org/wiki/CAP_theorem
> > <https://en.wikipedia.org/wiki/CAP_theorem>).
> >
> > Na sdileni dat doporucuju pouzivat ciste vpsAdmin, na pozadi se
> > automaticky vybere budto bind mount (pokud je dataset lokalni), nebo
> > NFSv3 - nic jineho v podstate na male soubory nedava smysl, pokud mas
> > byt schopny to cist z vic mist najednou (jinak to pak vede na
> GFS2/OCFS2
> > a podobny veci, okolo kterych se ale musi chodit po spickach,
> rozhodne
> > nejsou OK do sdilenyho prostredi, jako je nase).
> >
> > Co potrebujes resit presne? Co je tvuj use-case?
> >
> > /snajpa
> > (Pavel Snajdr)
> > (Predseda vpsFree.cz)
> > (+420 720 107 791 <tel:%28%2B420%20720%20107%20791>)
> >
> > On 06/06/2017 07:55 AM, zd nex wrote:
> > > Ahoj,
> > >
> > > díky za informace ohledně privátní ip a vypínání. Co se týče
> datasetů -
> > > tak tomu rozumím, že je můžu připojit do více VPS, jde o to, že se
> mohou
> > > odpojit a zde si nejsem moc jistý co s tím. Aplikace to obvykle
> > > nerozdýchá - může to mít vliv právě na více app/db/proxy a celé se
> to
> > > rozbije. Právě to se mi už 2x stalo a chtěl jsem tomu nějak
> předejít.
> > > Víte někdo jak na to nebo jak to vyřešit?
> > >
> > > Zdenek
> > >
> > >
> > > Dne 5. června 2017 20:40 Silvestr Hašek <hasek at reklalink.cz
> <mailto:hasek at reklalink.cz>
> > > <mailto:hasek at reklalink.cz <mailto:hasek at reklalink.cz>>>
> napsal(a):
> > >
> > > Ahoj,
> > >
> > > o privátní IP adresy si můžeš zažádat na podpoře.
> > >
> > > K těm datasetům, kb tvrdí, že datasety můžeš připojit vícekrát
> > > (https://kb.vpsfree.cz/navody/vps/datasety
> > <https://kb.vpsfree.cz/navody/vps/datasety>
> > > <https://kb.vpsfree.cz/navody/vps/datasety
> > <https://kb.vpsfree.cz/navody/vps/datasety>>).
> > >
> > > Vypínání,.. OpenVZ posílá do kontejneru normální signál k
> vypnutí,
> > > takže kontejner uděla standardní shutdown sekvenci jako běžnej
> > > server. Tohle je nějak časově omezený po uplynutí toho timeoutu
> > > (myslím že to je 120sec) to začne kontejneru násilně zabíjet
> > procesy.
> > >
> > > SH
> > >
> > >
> > > On Sunday, 4 June 2017 09:04:26 CEST, zd nex wrote:
> > >
> > > Zdravím,
> > >
> > > chtěl jsem zeptat zda je v plánu možnost přiřazení
> > privátních IP
> > > mezi VPS
> > > (VPS admin vypadá, že by to jít mohlo - či je to
> plánováno)?
> > > Přes OpenVPN
> > > to zřejmě jde, ale pro jednoduché nastavení stejné sítě
> mezi
> > > VPS, by nemělo
> > > být potřeba takové řešení (zvláštní, složité, rychle
> > rozbitelné)
> > > - zvláště
> > > pokud jsou VPS blízko sebe. Umí OpenVZ něco takového? Jde
> > o to,
> > > že privátní
> > > IP dobře řeší i firewall a jiné věci, tak, aby se mohl
> rychle
> > > uzavřít okruh
> > > několika VPS přímo do odděleného prostoru. Nebo je jediná
> > > možnost OpenVPN?
> > >
> > > Druhý dotaz mám na téma datasety - je možné připojit
> datasety
> > > nějakým
> > > způsobem trvale k VPS - tzn jako lokální disk ale přesto
> jsou
> > > připojené na
> > > i na jiné VPS? Jde o to, že když se ten dataset odpojí
> > aplikace
> > > obvykle
> > > tento stav vůbec nepřežijí. Případně řešil jste někdo
> sdílení
> > > dat mezi VPS,
> > > kde je spousta malých souborů (100KB-20MB) - okolo 50000
> > souborů
> > > - bude
> > > růst. Díval jsem se již na několik řešení - jako glusterfs
> > - zdá
> > > se pomalý
> > > pro takové množství souborů, které se často vytahují -
> jelikož
> > > není přímý
> > > přístup.
> > >
> > > A takový ještě doplňkový dotaz - jaký způsobem OpenVZ na
> > vpsfree
> > > vypíná
> > > běžící VPS např. pro servisní zásah na server?
> > >
> > >
> > > _______________________________________________
> > > Community-list mailing list
> > > Community-list at lists.vpsfree.cz
> > <mailto:Community-list at lists.vpsfree.cz>
> > <mailto:Community-list at lists.vpsfree.cz
> > <mailto:Community-list at lists.vpsfree.cz>>
> > > http://lists.vpsfree.cz/listinfo/community-list
> > <http://lists.vpsfree.cz/listinfo/community-list>
> > > <http://lists.vpsfree.cz/listinfo/community-list
> > <http://lists.vpsfree.cz/listinfo/community-list>>
> > >
> > >
> > >
> > >
> > >
> > > _______________________________________________
> > > Community-list mailing list
> > > Community-list at lists.vpsfree.cz
> > <mailto:Community-list at lists.vpsfree.cz>
> > > http://lists.vpsfree.cz/listinfo/community-list
> > <http://lists.vpsfree.cz/listinfo/community-list>
> > >
> >
> >
> > _______________________________________________
> > Community-list mailing list
> > Community-list at lists.vpsfree.cz <mailto:Community-list at lists.
> vpsfree.cz>
> > http://lists.vpsfree.cz/listinfo/community-list
> > <http://lists.vpsfree.cz/listinfo/community-list>
> >
> >
> >
> >
> > --
> >
> > --
> > S pozdravem,
> >
> > Zdeněk Dlauhý
> >
> > Email:support at pripravto.cz <mailto:support at pripravto.cz>
> > Mobil: +420 702 549 370
> > Web: www.pripravto.cz <http://www.pripravto.cz>
> >
> >
> > _______________________________________________
> > Community-list mailing list
> > Community-list at lists.vpsfree.cz
> > http://lists.vpsfree.cz/listinfo/community-list
> >
>
>
> _______________________________________________
> Community-list mailing list
> Community-list at lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list
>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.vpsfree.cz/pipermail/community-list/attachments/20170606/e78ab5bd/attachment-0002.html>
More information about the Community-list
mailing list