Virtuální síť na VPSFree mezi VPS a datasety mezi VPS
Zdravím, chtěl jsem zeptat zda je v plánu možnost přiřazení privátních IP mezi VPS (VPS admin vypadá, že by to jít mohlo - či je to plánováno)? Přes OpenVPN to zřejmě jde, ale pro jednoduché nastavení stejné sítě mezi VPS, by nemělo být potřeba takové řešení (zvláštní, složité, rychle rozbitelné) - zvláště pokud jsou VPS blízko sebe. Umí OpenVZ něco takového? Jde o to, že privátní IP dobře řeší i firewall a jiné věci, tak, aby se mohl rychle uzavřít okruh několika VPS přímo do odděleného prostoru. Nebo je jediná možnost OpenVPN? Druhý dotaz mám na téma datasety - je možné připojit datasety nějakým způsobem trvale k VPS - tzn jako lokální disk ale přesto jsou připojené na i na jiné VPS? Jde o to, že když se ten dataset odpojí aplikace obvykle tento stav vůbec nepřežijí. Případně řešil jste někdo sdílení dat mezi VPS, kde je spousta malých souborů (100KB-20MB) - okolo 50000 souborů - bude růst. Díval jsem se již na několik řešení - jako glusterfs - zdá se pomalý pro takové množství souborů, které se často vytahují - jelikož není přímý přístup. A takový ještě doplňkový dotaz - jaký způsobem OpenVZ na vpsfree vypíná běžící VPS např. pro servisní zásah na server? -- S pozdravem, Zdeněk Dlauhý Web: http://pripravto.cz
Ahoj, o privátní IP adresy si můžeš zažádat na podpoře. K těm datasetům, kb tvrdí, že datasety můžeš připojit vícekrát (https://kb.vpsfree.cz/navody/vps/datasety). Vypínání,.. OpenVZ posílá do kontejneru normální signál k vypnutí, takže kontejner uděla standardní shutdown sekvenci jako běžnej server. Tohle je nějak časově omezený po uplynutí toho timeoutu (myslím že to je 120sec) to začne kontejneru násilně zabíjet procesy. SH On Sunday, 4 June 2017 09:04:26 CEST, zd nex wrote:
Zdravím,
chtěl jsem zeptat zda je v plánu možnost přiřazení privátních IP mezi VPS (VPS admin vypadá, že by to jít mohlo - či je to plánováno)? Přes OpenVPN to zřejmě jde, ale pro jednoduché nastavení stejné sítě mezi VPS, by nemělo být potřeba takové řešení (zvláštní, složité, rychle rozbitelné) - zvláště pokud jsou VPS blízko sebe. Umí OpenVZ něco takového? Jde o to, že privátní IP dobře řeší i firewall a jiné věci, tak, aby se mohl rychle uzavřít okruh několika VPS přímo do odděleného prostoru. Nebo je jediná možnost OpenVPN?
Druhý dotaz mám na téma datasety - je možné připojit datasety nějakým způsobem trvale k VPS - tzn jako lokální disk ale přesto jsou připojené na i na jiné VPS? Jde o to, že když se ten dataset odpojí aplikace obvykle tento stav vůbec nepřežijí. Případně řešil jste někdo sdílení dat mezi VPS, kde je spousta malých souborů (100KB-20MB) - okolo 50000 souborů - bude růst. Díval jsem se již na několik řešení - jako glusterfs - zdá se pomalý pro takové množství souborů, které se často vytahují - jelikož není přímý přístup.
A takový ještě doplňkový dotaz - jaký způsobem OpenVZ na vpsfree vypíná běžící VPS např. pro servisní zásah na server?
Ahoj, díky za informace ohledně privátní ip a vypínání. Co se týče datasetů - tak tomu rozumím, že je můžu připojit do více VPS, jde o to, že se mohou odpojit a zde si nejsem moc jistý co s tím. Aplikace to obvykle nerozdýchá - může to mít vliv právě na více app/db/proxy a celé se to rozbije. Právě to se mi už 2x stalo a chtěl jsem tomu nějak předejít. Víte někdo jak na to nebo jak to vyřešit? Zdenek Dne 5. června 2017 20:40 Silvestr Hašek <hasek@reklalink.cz> napsal(a):
Ahoj,
o privátní IP adresy si můžeš zažádat na podpoře.
K těm datasetům, kb tvrdí, že datasety můžeš připojit vícekrát ( https://kb.vpsfree.cz/navody/vps/datasety).
Vypínání,.. OpenVZ posílá do kontejneru normální signál k vypnutí, takže kontejner uděla standardní shutdown sekvenci jako běžnej server. Tohle je nějak časově omezený po uplynutí toho timeoutu (myslím že to je 120sec) to začne kontejneru násilně zabíjet procesy.
SH
On Sunday, 4 June 2017 09:04:26 CEST, zd nex wrote:
Zdravím,
chtěl jsem zeptat zda je v plánu možnost přiřazení privátních IP mezi VPS (VPS admin vypadá, že by to jít mohlo - či je to plánováno)? Přes OpenVPN to zřejmě jde, ale pro jednoduché nastavení stejné sítě mezi VPS, by nemělo být potřeba takové řešení (zvláštní, složité, rychle rozbitelné) - zvláště pokud jsou VPS blízko sebe. Umí OpenVZ něco takového? Jde o to, že privátní IP dobře řeší i firewall a jiné věci, tak, aby se mohl rychle uzavřít okruh několika VPS přímo do odděleného prostoru. Nebo je jediná možnost OpenVPN?
Druhý dotaz mám na téma datasety - je možné připojit datasety nějakým způsobem trvale k VPS - tzn jako lokální disk ale přesto jsou připojené na i na jiné VPS? Jde o to, že když se ten dataset odpojí aplikace obvykle tento stav vůbec nepřežijí. Případně řešil jste někdo sdílení dat mezi VPS, kde je spousta malých souborů (100KB-20MB) - okolo 50000 souborů - bude růst. Díval jsem se již na několik řešení - jako glusterfs - zdá se pomalý pro takové množství souborů, které se často vytahují - jelikož není přímý přístup.
A takový ještě doplňkový dotaz - jaký způsobem OpenVZ na vpsfree vypíná běžící VPS např. pro servisní zásah na server?
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Ahoj, "se muzou odpojit" je tebou vyvolana akce, nebo je to tim, ze jde dolu stroj, kde data jsou. Sdileni malych souboru je nevyreseny problem, jde o klasicky problem distribuovanyho pocitani (https://en.wikipedia.org/wiki/CAP_theorem). Na sdileni dat doporucuju pouzivat ciste vpsAdmin, na pozadi se automaticky vybere budto bind mount (pokud je dataset lokalni), nebo NFSv3 - nic jineho v podstate na male soubory nedava smysl, pokud mas byt schopny to cist z vic mist najednou (jinak to pak vede na GFS2/OCFS2 a podobny veci, okolo kterych se ale musi chodit po spickach, rozhodne nejsou OK do sdilenyho prostredi, jako je nase). Co potrebujes resit presne? Co je tvuj use-case? /snajpa (Pavel Snajdr) (Predseda vpsFree.cz) (+420 720 107 791) On 06/06/2017 07:55 AM, zd nex wrote:
Ahoj,
díky za informace ohledně privátní ip a vypínání. Co se týče datasetů - tak tomu rozumím, že je můžu připojit do více VPS, jde o to, že se mohou odpojit a zde si nejsem moc jistý co s tím. Aplikace to obvykle nerozdýchá - může to mít vliv právě na více app/db/proxy a celé se to rozbije. Právě to se mi už 2x stalo a chtěl jsem tomu nějak předejít. Víte někdo jak na to nebo jak to vyřešit?
Zdenek
Dne 5. června 2017 20:40 Silvestr Hašek <hasek@reklalink.cz <mailto:hasek@reklalink.cz>> napsal(a):
Ahoj,
o privátní IP adresy si můžeš zažádat na podpoře.
K těm datasetům, kb tvrdí, že datasety můžeš připojit vícekrát (https://kb.vpsfree.cz/navody/vps/datasety <https://kb.vpsfree.cz/navody/vps/datasety>).
Vypínání,.. OpenVZ posílá do kontejneru normální signál k vypnutí, takže kontejner uděla standardní shutdown sekvenci jako běžnej server. Tohle je nějak časově omezený po uplynutí toho timeoutu (myslím že to je 120sec) to začne kontejneru násilně zabíjet procesy.
SH
On Sunday, 4 June 2017 09:04:26 CEST, zd nex wrote:
Zdravím,
chtěl jsem zeptat zda je v plánu možnost přiřazení privátních IP mezi VPS (VPS admin vypadá, že by to jít mohlo - či je to plánováno)? Přes OpenVPN to zřejmě jde, ale pro jednoduché nastavení stejné sítě mezi VPS, by nemělo být potřeba takové řešení (zvláštní, složité, rychle rozbitelné) - zvláště pokud jsou VPS blízko sebe. Umí OpenVZ něco takového? Jde o to, že privátní IP dobře řeší i firewall a jiné věci, tak, aby se mohl rychle uzavřít okruh několika VPS přímo do odděleného prostoru. Nebo je jediná možnost OpenVPN?
Druhý dotaz mám na téma datasety - je možné připojit datasety nějakým způsobem trvale k VPS - tzn jako lokální disk ale přesto jsou připojené na i na jiné VPS? Jde o to, že když se ten dataset odpojí aplikace obvykle tento stav vůbec nepřežijí. Případně řešil jste někdo sdílení dat mezi VPS, kde je spousta malých souborů (100KB-20MB) - okolo 50000 souborů - bude růst. Díval jsem se již na několik řešení - jako glusterfs - zdá se pomalý pro takové množství souborů, které se často vytahují - jelikož není přímý přístup.
A takový ještě doplňkový dotaz - jaký způsobem OpenVZ na vpsfree vypíná běžící VPS např. pro servisní zásah na server?
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list>
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Ahoj, díky za info - popravdě nevím jak se ten dataset odpojil, stalo se mi to 2x a moc jsem to zatím neřešil (nebylo potřeba). Jde o to, že namountované místo bylo prázdné a když jsem se to snažil odpojit a připojit znovu, tak to nešlo. Po restartu to bylo ok. Z toho důvodu jsem tomu chtěl úplně předejít nastavením distribuovaného FS (něco jako gluster fs), který by měl lokální kopie či nasazením pak nějaké synchronizace. Jde o to, že mi jde o rychlost na disku, ale nejde mi až tak to, jestli se soubory objeví na jiné VPS za 1 minutu či později. Jde o to aby, když se aplikace spustí na jiné VPS, tak pouze ty data musí mít a od té doby poběží tam a pouze tam. Jiná VPS s jinou aplikací na stejná data zapisovat nebude (tzn kolize verzí zřejmě není až tak potřeba řešit). Synchronizace je tam od toho, aby data byla na všech místech - pro přesun app. Z toho pohledu je dataset dobrý, jenže data nejsou lokální a pokud se právě odpojí, tak se na to nedá moc spolehnout a o to mně jde asi převážně. Jinak data jsou generované obrázky, svg, dxf (různé vektorové formáty), bitmapy, binární soubory, datové soubory (XML/JSON) a raw data. Většina z nich se často mění za běhu aplikace. Datový adresář je rozdělen do složek dle aplikace. Každá aplikace pracuje s jednou složkou. Velikost souborů se pohybuje od 10KB - 500KB většina (cca 80% souborů) zbytek jsou větší, které jsou obvykle od 1MB do cca 40MB dat na soubor - ty se obvykle nemění moc často. V tuto chvíli se jedná o cca 55000 souborů o velikosti 5GB. Jinak data jsou obvykle také procházena automaticky kvůli čištění např. listování dle typů a tak podobně a někdy hromadně upravována. Ale to by vždy udělala pouze jedna app a ostatní by v tu dobu s tím nic nedělali. Nejsem si jistý jestli je to vhodně popsané. Když tak se ptejte. Jinak na abicku doporučovali synchthing. Těžko říci jestli je to vhodná cesta, zvláště bez vyzkoušení. Zdenek Dne 6. června 2017 11:38 Pavel Snajdr <snajpa@snajpa.net> napsal(a):
Ahoj,
"se muzou odpojit" je tebou vyvolana akce, nebo je to tim, ze jde dolu stroj, kde data jsou.
Sdileni malych souboru je nevyreseny problem, jde o klasicky problem distribuovanyho pocitani (https://en.wikipedia.org/wiki/CAP_theorem).
Na sdileni dat doporucuju pouzivat ciste vpsAdmin, na pozadi se automaticky vybere budto bind mount (pokud je dataset lokalni), nebo NFSv3 - nic jineho v podstate na male soubory nedava smysl, pokud mas byt schopny to cist z vic mist najednou (jinak to pak vede na GFS2/OCFS2 a podobny veci, okolo kterych se ale musi chodit po spickach, rozhodne nejsou OK do sdilenyho prostredi, jako je nase).
Co potrebujes resit presne? Co je tvuj use-case?
/snajpa (Pavel Snajdr) (Predseda vpsFree.cz) (+420 720 107 791)
On 06/06/2017 07:55 AM, zd nex wrote:
Ahoj,
díky za informace ohledně privátní ip a vypínání. Co se týče datasetů - tak tomu rozumím, že je můžu připojit do více VPS, jde o to, že se mohou odpojit a zde si nejsem moc jistý co s tím. Aplikace to obvykle nerozdýchá - může to mít vliv právě na více app/db/proxy a celé se to rozbije. Právě to se mi už 2x stalo a chtěl jsem tomu nějak předejít. Víte někdo jak na to nebo jak to vyřešit?
Zdenek
Dne 5. června 2017 20:40 Silvestr Hašek <hasek@reklalink.cz <mailto:hasek@reklalink.cz>> napsal(a):
Ahoj,
o privátní IP adresy si můžeš zažádat na podpoře.
K těm datasetům, kb tvrdí, že datasety můžeš připojit vícekrát (https://kb.vpsfree.cz/navody/vps/datasety <https://kb.vpsfree.cz/navody/vps/datasety>).
Vypínání,.. OpenVZ posílá do kontejneru normální signál k vypnutí, takže kontejner uděla standardní shutdown sekvenci jako běžnej server. Tohle je nějak časově omezený po uplynutí toho timeoutu (myslím že to je 120sec) to začne kontejneru násilně zabíjet procesy.
SH
On Sunday, 4 June 2017 09:04:26 CEST, zd nex wrote:
Zdravím,
chtěl jsem zeptat zda je v plánu možnost přiřazení privátních IP mezi VPS (VPS admin vypadá, že by to jít mohlo - či je to plánováno)? Přes OpenVPN to zřejmě jde, ale pro jednoduché nastavení stejné sítě mezi VPS, by nemělo být potřeba takové řešení (zvláštní, složité, rychle rozbitelné) - zvláště pokud jsou VPS blízko sebe. Umí OpenVZ něco takového? Jde o to, že privátní IP dobře řeší i firewall a jiné věci, tak, aby se mohl rychle uzavřít okruh několika VPS přímo do odděleného prostoru. Nebo je jediná možnost OpenVPN?
Druhý dotaz mám na téma datasety - je možné připojit datasety nějakým způsobem trvale k VPS - tzn jako lokální disk ale přesto jsou připojené na i na jiné VPS? Jde o to, že když se ten dataset odpojí aplikace obvykle tento stav vůbec nepřežijí. Případně řešil jste někdo sdílení dat mezi VPS, kde je spousta malých souborů (100KB-20MB) - okolo 50000 souborů - bude růst. Díval jsem se již na několik řešení - jako glusterfs - zdá se pomalý pro takové množství souborů, které se často vytahují - jelikož není přímý přístup.
A takový ještě doplňkový dotaz - jaký způsobem OpenVZ na vpsfree vypíná běžící VPS např. pro servisní zásah na server?
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists. vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list>
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-- -- S pozdravem, Zdeněk Dlauhý Email:support@pripravto.cz Mobil: +420 702 549 370 Web: www.pripravto.cz
On 06/06/2017 01:51 PM, zd nex wrote:
Ahoj,
díky za info - popravdě nevím jak se ten dataset odpojil, stalo se mi to 2x a moc jsem to zatím neřešil (nebylo potřeba). Jde o to, že namountované místo bylo prázdné a když jsem se to snažil odpojit a připojit znovu, tak to nešlo. Po restartu to bylo ok.
Tak to je debug jak stehno toto, z toho moc nevykoukame :) Idealne priste napis na podporu, kdyz se ti to deje, vsadim se totiz, ze jsi jenom neco spatne pochopil a trochu u toho zmatkoval. Napis, kdyz se s tim zrovna snazis bojovat, popis, co jsi jak delal a nejlip posli i cisla transakci, co vyfailily. Z toho důvodu jsem
tomu chtěl úplně předejít nastavením distribuovaného FS (něco jako gluster fs), který by měl lokální kopie či nasazením pak nějaké synchronizace. Jde o to, že mi jde o rychlost na disku, ale nejde mi až tak to, jestli se soubory objeví na jiné VPS za 1 minutu či později.
=> rsync do cronu & vyreseno Jde
o to aby, když se aplikace spustí na jiné VPS, tak pouze ty data musí mít a od té doby poběží tam a pouze tam. Jiná VPS s jinou aplikací na stejná data zapisovat nebude (tzn kolize verzí zřejmě není až tak potřeba řešit). Synchronizace je tam od toho, aby data byla na všech místech - pro přesun app. Z toho pohledu je dataset dobrý, jenže data nejsou lokální a pokud se právě odpojí, tak se na to nedá moc spolehnout a o to mně jde asi převážně.
Nerozumim tomu "na jine VPS". Proc nejaka jina VPS? Kvuli HA? Nebo load balancing? Nebo jaky to ma duvod, pokud nejaky? To je nejaka monstr aplikace? Ci co vlastne resis? ;) /snajpa
Jinak data jsou generované obrázky, svg, dxf (různé vektorové formáty), bitmapy, binární soubory, datové soubory (XML/JSON) a raw data. Většina z nich se často mění za běhu aplikace. Datový adresář je rozdělen do složek dle aplikace. Každá aplikace pracuje s jednou složkou. Velikost souborů se pohybuje od 10KB - 500KB většina (cca 80% souborů) zbytek jsou větší, které jsou obvykle od 1MB do cca 40MB dat na soubor - ty se obvykle nemění moc často. V tuto chvíli se jedná o cca 55000 souborů o velikosti 5GB. Jinak data jsou obvykle také procházena automaticky kvůli čištění např. listování dle typů a tak podobně a někdy hromadně upravována. Ale to by vždy udělala pouze jedna app a ostatní by v tu dobu s tím nic nedělali.
Nejsem si jistý jestli je to vhodně popsané. Když tak se ptejte. Jinak na abicku doporučovali synchthing. Těžko říci jestli je to vhodná cesta, zvláště bez vyzkoušení.
Zdenek
Dne 6. června 2017 11:38 Pavel Snajdr <snajpa@snajpa.net <mailto:snajpa@snajpa.net>> napsal(a):
Ahoj,
"se muzou odpojit" je tebou vyvolana akce, nebo je to tim, ze jde dolu stroj, kde data jsou.
Sdileni malych souboru je nevyreseny problem, jde o klasicky problem distribuovanyho pocitani (https://en.wikipedia.org/wiki/CAP_theorem <https://en.wikipedia.org/wiki/CAP_theorem>).
Na sdileni dat doporucuju pouzivat ciste vpsAdmin, na pozadi se automaticky vybere budto bind mount (pokud je dataset lokalni), nebo NFSv3 - nic jineho v podstate na male soubory nedava smysl, pokud mas byt schopny to cist z vic mist najednou (jinak to pak vede na GFS2/OCFS2 a podobny veci, okolo kterych se ale musi chodit po spickach, rozhodne nejsou OK do sdilenyho prostredi, jako je nase).
Co potrebujes resit presne? Co je tvuj use-case?
/snajpa (Pavel Snajdr) (Predseda vpsFree.cz) (+420 720 107 791 <tel:%28%2B420%20720%20107%20791>)
On 06/06/2017 07:55 AM, zd nex wrote: > Ahoj, > > díky za informace ohledně privátní ip a vypínání. Co se týče datasetů - > tak tomu rozumím, že je můžu připojit do více VPS, jde o to, že se mohou > odpojit a zde si nejsem moc jistý co s tím. Aplikace to obvykle > nerozdýchá - může to mít vliv právě na více app/db/proxy a celé se to > rozbije. Právě to se mi už 2x stalo a chtěl jsem tomu nějak předejít. > Víte někdo jak na to nebo jak to vyřešit? > > Zdenek > > > Dne 5. června 2017 20:40 Silvestr Hašek <hasek@reklalink.cz <mailto:hasek@reklalink.cz> > <mailto:hasek@reklalink.cz <mailto:hasek@reklalink.cz>>> napsal(a): > > Ahoj, > > o privátní IP adresy si můžeš zažádat na podpoře. > > K těm datasetům, kb tvrdí, že datasety můžeš připojit vícekrát > (https://kb.vpsfree.cz/navody/vps/datasety <https://kb.vpsfree.cz/navody/vps/datasety> > <https://kb.vpsfree.cz/navody/vps/datasety <https://kb.vpsfree.cz/navody/vps/datasety>>). > > Vypínání,.. OpenVZ posílá do kontejneru normální signál k vypnutí, > takže kontejner uděla standardní shutdown sekvenci jako běžnej > server. Tohle je nějak časově omezený po uplynutí toho timeoutu > (myslím že to je 120sec) to začne kontejneru násilně zabíjet procesy. > > SH > > > On Sunday, 4 June 2017 09:04:26 CEST, zd nex wrote: > > Zdravím, > > chtěl jsem zeptat zda je v plánu možnost přiřazení privátních IP > mezi VPS > (VPS admin vypadá, že by to jít mohlo - či je to plánováno)? > Přes OpenVPN > to zřejmě jde, ale pro jednoduché nastavení stejné sítě mezi > VPS, by nemělo > být potřeba takové řešení (zvláštní, složité, rychle rozbitelné) > - zvláště > pokud jsou VPS blízko sebe. Umí OpenVZ něco takového? Jde o to, > že privátní > IP dobře řeší i firewall a jiné věci, tak, aby se mohl rychle > uzavřít okruh > několika VPS přímo do odděleného prostoru. Nebo je jediná > možnost OpenVPN? > > Druhý dotaz mám na téma datasety - je možné připojit datasety > nějakým > způsobem trvale k VPS - tzn jako lokální disk ale přesto jsou > připojené na > i na jiné VPS? Jde o to, že když se ten dataset odpojí aplikace > obvykle > tento stav vůbec nepřežijí. Případně řešil jste někdo sdílení > dat mezi VPS, > kde je spousta malých souborů (100KB-20MB) - okolo 50000 souborů > - bude > růst. Díval jsem se již na několik řešení - jako glusterfs - zdá > se pomalý > pro takové množství souborů, které se často vytahují - jelikož > není přímý > přístup. > > A takový ještě doplňkový dotaz - jaký způsobem OpenVZ na vpsfree > vypíná > běžící VPS např. pro servisní zásah na server? > > > _______________________________________________ > Community-list mailing list > Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> <mailto:Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz>> > http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list> > <http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list>> > > > > > > _______________________________________________ > Community-list mailing list > Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> > http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list> >
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list>
--
-- S pozdravem,
Zdeněk Dlauhý
Email:support@pripravto.cz <mailto:support@pripravto.cz> Mobil: +420 702 549 370 Web: www.pripravto.cz <http://www.pripravto.cz>
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Ahoj, jak jsem říkal moc jsem to neřešil, prostě jsem to akorát zapnul a pak za dva dny jsem si všiml, že je to odpojené (mezi tím mi přišla pak chyba, že app nemůže číst data, bylo to pouze na otestování). V tu dobu to nebylo potřeba, tak mi to zas tak nevadilo. Rsync jsem zkoušel a nejsem si jistý zda to stačí, jelikož by vlastně běžel stále dokola a pokud to bude na více VPS dohromady mezi sebou tak se to asi bude motat - tzn kam co synchronizovat a kdy (bude potřeba asi inotify aby se přenesly pouze ty upravené a nemuselo stále hledat, kde je co změněné, pokud může fungovat). Původně jsem přemýšlel i přímo pouze o dvou VPS na filesystém a ten připojovat, ale po testování a hledání na netu jsem dospěl k tomu, že je to pomalé na lokální přístup (je tam časté listování souborů). A ano půjde o převážně o load balacing. Na jedné hlavní VPS poběží proxy a pod tím běží aplikace, které právě pracují s adresáři. Každá aplikace běží odděleně. Proxy se stará o uživatele a aplikace pracuje s daty. Jinak je to moc monstr aplikace ani není :). Je to pro přípravu výroby nábytku - tzn připravuje nářezové plány, kalkulace, výkresovou dokumentaci, vizualizace, návrhy nábytku, připravuje podklady pro CNC stroje a tak podobně. S pozdravem, Zdeněk Dlauhý Web: http://pripravto.cz Dne 6. června 2017 14:25 Pavel Snajdr <snajpa@snajpa.net> napsal(a):
On 06/06/2017 01:51 PM, zd nex wrote:
Ahoj,
díky za info - popravdě nevím jak se ten dataset odpojil, stalo se mi to 2x a moc jsem to zatím neřešil (nebylo potřeba). Jde o to, že namountované místo bylo prázdné a když jsem se to snažil odpojit a připojit znovu, tak to nešlo. Po restartu to bylo ok.
Tak to je debug jak stehno toto, z toho moc nevykoukame :)
Idealne priste napis na podporu, kdyz se ti to deje, vsadim se totiz, ze jsi jenom neco spatne pochopil a trochu u toho zmatkoval. Napis, kdyz se s tim zrovna snazis bojovat, popis, co jsi jak delal a nejlip posli i cisla transakci, co vyfailily.
Z toho důvodu jsem
tomu chtěl úplně předejít nastavením distribuovaného FS (něco jako gluster fs), který by měl lokální kopie či nasazením pak nějaké synchronizace. Jde o to, že mi jde o rychlost na disku, ale nejde mi až tak to, jestli se soubory objeví na jiné VPS za 1 minutu či později.
=> rsync do cronu & vyreseno
Jde
o to aby, když se aplikace spustí na jiné VPS, tak pouze ty data musí mít a od té doby poběží tam a pouze tam. Jiná VPS s jinou aplikací na stejná data zapisovat nebude (tzn kolize verzí zřejmě není až tak potřeba řešit). Synchronizace je tam od toho, aby data byla na všech místech - pro přesun app. Z toho pohledu je dataset dobrý, jenže data nejsou lokální a pokud se právě odpojí, tak se na to nedá moc spolehnout a o to mně jde asi převážně.
Nerozumim tomu "na jine VPS". Proc nejaka jina VPS? Kvuli HA? Nebo load balancing? Nebo jaky to ma duvod, pokud nejaky?
To je nejaka monstr aplikace? Ci co vlastne resis? ;)
/snajpa
Jinak data jsou generované obrázky, svg, dxf (různé vektorové formáty), bitmapy, binární soubory, datové soubory (XML/JSON) a raw data. Většina z nich se často mění za běhu aplikace. Datový adresář je rozdělen do složek dle aplikace. Každá aplikace pracuje s jednou složkou. Velikost souborů se pohybuje od 10KB - 500KB většina (cca 80% souborů) zbytek jsou větší, které jsou obvykle od 1MB do cca 40MB dat na soubor - ty se obvykle nemění moc často. V tuto chvíli se jedná o cca 55000 souborů o velikosti 5GB. Jinak data jsou obvykle také procházena automaticky kvůli čištění např. listování dle typů a tak podobně a někdy hromadně upravována. Ale to by vždy udělala pouze jedna app a ostatní by v tu dobu s tím nic nedělali.
Nejsem si jistý jestli je to vhodně popsané. Když tak se ptejte. Jinak na abicku doporučovali synchthing. Těžko říci jestli je to vhodná cesta, zvláště bez vyzkoušení.
Zdenek
Dne 6. června 2017 11:38 Pavel Snajdr <snajpa@snajpa.net <mailto:snajpa@snajpa.net>> napsal(a):
Ahoj,
"se muzou odpojit" je tebou vyvolana akce, nebo je to tim, ze jde
dolu
stroj, kde data jsou.
Sdileni malych souboru je nevyreseny problem, jde o klasicky problem distribuovanyho pocitani (https://en.wikipedia.org/wiki/CAP_theorem <https://en.wikipedia.org/wiki/CAP_theorem>).
Na sdileni dat doporucuju pouzivat ciste vpsAdmin, na pozadi se automaticky vybere budto bind mount (pokud je dataset lokalni), nebo NFSv3 - nic jineho v podstate na male soubory nedava smysl, pokud mas byt schopny to cist z vic mist najednou (jinak to pak vede na
GFS2/OCFS2
a podobny veci, okolo kterych se ale musi chodit po spickach,
rozhodne
nejsou OK do sdilenyho prostredi, jako je nase).
Co potrebujes resit presne? Co je tvuj use-case?
/snajpa (Pavel Snajdr) (Predseda vpsFree.cz) (+420 720 107 791 <tel:%28%2B420%20720%20107%20791>)
On 06/06/2017 07:55 AM, zd nex wrote: > Ahoj, > > díky za informace ohledně privátní ip a vypínání. Co se týče
datasetů -
> tak tomu rozumím, že je můžu připojit do více VPS, jde o to, že se
mohou
> odpojit a zde si nejsem moc jistý co s tím. Aplikace to obvykle > nerozdýchá - může to mít vliv právě na více app/db/proxy a celé se
to
> rozbije. Právě to se mi už 2x stalo a chtěl jsem tomu nějak
předejít.
> Víte někdo jak na to nebo jak to vyřešit? > > Zdenek > > > Dne 5. června 2017 20:40 Silvestr Hašek <hasek@reklalink.cz
<mailto:hasek@reklalink.cz>
> <mailto:hasek@reklalink.cz <mailto:hasek@reklalink.cz>>>
napsal(a):
> > Ahoj, > > o privátní IP adresy si můžeš zažádat na podpoře. > > K těm datasetům, kb tvrdí, že datasety můžeš připojit vícekrát > (https://kb.vpsfree.cz/navody/vps/datasety <https://kb.vpsfree.cz/navody/vps/datasety> > <https://kb.vpsfree.cz/navody/vps/datasety <https://kb.vpsfree.cz/navody/vps/datasety>>). > > Vypínání,.. OpenVZ posílá do kontejneru normální signál k
vypnutí,
> takže kontejner uděla standardní shutdown sekvenci jako běžnej > server. Tohle je nějak časově omezený po uplynutí toho timeoutu > (myslím že to je 120sec) to začne kontejneru násilně zabíjet procesy. > > SH > > > On Sunday, 4 June 2017 09:04:26 CEST, zd nex wrote: > > Zdravím, > > chtěl jsem zeptat zda je v plánu možnost přiřazení privátních IP > mezi VPS > (VPS admin vypadá, že by to jít mohlo - či je to
plánováno)?
> Přes OpenVPN > to zřejmě jde, ale pro jednoduché nastavení stejné sítě
mezi
> VPS, by nemělo > být potřeba takové řešení (zvláštní, složité, rychle rozbitelné) > - zvláště > pokud jsou VPS blízko sebe. Umí OpenVZ něco takového? Jde o to, > že privátní > IP dobře řeší i firewall a jiné věci, tak, aby se mohl
rychle
> uzavřít okruh > několika VPS přímo do odděleného prostoru. Nebo je jediná > možnost OpenVPN? > > Druhý dotaz mám na téma datasety - je možné připojit
datasety
> nějakým > způsobem trvale k VPS - tzn jako lokální disk ale přesto
jsou
> připojené na > i na jiné VPS? Jde o to, že když se ten dataset odpojí aplikace > obvykle > tento stav vůbec nepřežijí. Případně řešil jste někdo
sdílení
> dat mezi VPS, > kde je spousta malých souborů (100KB-20MB) - okolo 50000 souborů > - bude > růst. Díval jsem se již na několik řešení - jako glusterfs - zdá > se pomalý > pro takové množství souborů, které se často vytahují -
jelikož
> není přímý > přístup. > > A takový ještě doplňkový dotaz - jaký způsobem OpenVZ na vpsfree > vypíná > běžící VPS např. pro servisní zásah na server? > > > _______________________________________________ > Community-list mailing list > Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> <mailto:Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz>> > http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list> > <http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list>> > > > > > > _______________________________________________ > Community-list mailing list > Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> > http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list> >
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists.
vpsfree.cz>
http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list>
--
-- S pozdravem,
Zdeněk Dlauhý
Email:support@pripravto.cz <mailto:support@pripravto.cz> Mobil: +420 702 549 370 Web: www.pripravto.cz <http://www.pripravto.cz>
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
On 06/06/2017 03:07 PM, zd nex wrote:
Ahoj,
jak jsem říkal moc jsem to neřešil, prostě jsem to akorát zapnul a pak za dva dny jsem si všiml, že je to odpojené (mezi tím mi přišla pak chyba, že app nemůže číst data, bylo to pouze na otestování). V tu dobu to nebylo potřeba, tak mi to zas tak nevadilo.
Rsync jsem zkoušel a nejsem si jistý zda to stačí, jelikož by vlastně běžel stále dokola a pokud to bude na více VPS dohromady mezi sebou tak se to asi bude motat - tzn kam co synchronizovat a kdy (bude potřeba asi inotify aby se přenesly pouze ty upravené a nemuselo stále hledat, kde je co změněné, pokud může fungovat).
Původně jsem přemýšlel i přímo pouze o dvou VPS na filesystém a ten připojovat, ale po testování a hledání na netu jsem dospěl k tomu, že je to pomalé na lokální přístup (je tam časté listování souborů).
A ano půjde o převážně o load balacing. Na jedné hlavní VPS poběží proxy a pod tím běží aplikace, které právě pracují s adresáři. Každá aplikace běží odděleně. Proxy se stará o uživatele a aplikace pracuje s daty. Jinak je to moc monstr aplikace ani není :). Je to pro přípravu výroby nábytku - tzn připravuje nářezové plány, kalkulace, výkresovou dokumentaci, vizualizace, návrhy nábytku, připravuje podklady pro CNC stroje a tak podobně.
Mno. Pokud si budes vyst seznam souboru v databazi a nebudes ten filesystem pouzivat jako filesystem, nybrz pouze jako object store, pak je to v pohode. Klidne Gluster, melo by to jet bez problemu; ale nedoporucuju delat roundtrip jeste pres NFS, pristupuj k nemu primo z aplikace pres libgfapi (v cem je psana ta tvoje appka?). Tj. appka si sahne primo do Glusteru pro data a nemusi se do cesty motat jeste 10km cesta pres NFS/VFS stack. /snajpa
S pozdravem,
Zdeněk Dlauhý Web: http://pripravto.cz
Dne 6. června 2017 14:25 Pavel Snajdr <snajpa@snajpa.net <mailto:snajpa@snajpa.net>> napsal(a):
On 06/06/2017 01:51 PM, zd nex wrote: > Ahoj, > > díky za info - popravdě nevím jak se ten dataset odpojil, stalo se mi to > 2x a moc jsem to zatím neřešil (nebylo potřeba). Jde o to, že > namountované místo bylo prázdné a když jsem se to snažil odpojit a > připojit znovu, tak to nešlo. Po restartu to bylo ok.
Tak to je debug jak stehno toto, z toho moc nevykoukame :)
Idealne priste napis na podporu, kdyz se ti to deje, vsadim se totiz, ze jsi jenom neco spatne pochopil a trochu u toho zmatkoval. Napis, kdyz se s tim zrovna snazis bojovat, popis, co jsi jak delal a nejlip posli i cisla transakci, co vyfailily.
Z toho důvodu jsem > tomu chtěl úplně předejít nastavením distribuovaného FS (něco jako > gluster fs), který by měl lokální kopie či nasazením pak nějaké > synchronizace. Jde o to, že mi jde o rychlost na disku, ale nejde mi až > tak to, jestli se soubory objeví na jiné VPS za 1 minutu či později.
=> rsync do cronu & vyreseno
Jde > o to aby, když se aplikace spustí na jiné VPS, tak pouze ty data musí > mít a od té doby poběží tam a pouze tam. Jiná VPS s jinou aplikací na > stejná data zapisovat nebude (tzn kolize verzí zřejmě není až tak > potřeba řešit). Synchronizace je tam od toho, aby data byla na všech > místech - pro přesun app. Z toho pohledu je dataset dobrý, jenže data > nejsou lokální a pokud se právě odpojí, tak se na to nedá moc spolehnout > a o to mně jde asi převážně.
Nerozumim tomu "na jine VPS". Proc nejaka jina VPS? Kvuli HA? Nebo load balancing? Nebo jaky to ma duvod, pokud nejaky?
To je nejaka monstr aplikace? Ci co vlastne resis? ;)
/snajpa
> > Jinak data jsou generované obrázky, svg, dxf (různé vektorové formáty), > bitmapy, binární soubory, datové soubory (XML/JSON) a raw data. Většina > z nich se často mění za běhu aplikace. Datový adresář je rozdělen do > složek dle aplikace. Každá aplikace pracuje s jednou složkou. Velikost > souborů se pohybuje od 10KB - 500KB většina (cca 80% souborů) zbytek > jsou větší, které jsou obvykle od 1MB do cca 40MB dat na soubor - ty se > obvykle nemění moc často. V tuto chvíli se jedná o cca 55000 souborů o > velikosti 5GB. Jinak data jsou obvykle také procházena automaticky kvůli > čištění např. listování dle typů a tak podobně a někdy hromadně > upravována. Ale to by vždy udělala pouze jedna app a ostatní by v tu > dobu s tím nic nedělali. > > Nejsem si jistý jestli je to vhodně popsané. Když tak se ptejte. Jinak > na abicku doporučovali synchthing. Těžko říci jestli je to vhodná cesta, > zvláště bez vyzkoušení. > > Zdenek > > Dne 6. června 2017 11:38 Pavel Snajdr <snajpa@snajpa.net <mailto:snajpa@snajpa.net> > <mailto:snajpa@snajpa.net <mailto:snajpa@snajpa.net>>> napsal(a): > > Ahoj, > > "se muzou odpojit" je tebou vyvolana akce, nebo je to tim, ze jde dolu > stroj, kde data jsou. > > Sdileni malych souboru je nevyreseny problem, jde o klasicky problem > distribuovanyho pocitani (https://en.wikipedia.org/wiki/CAP_theorem <https://en.wikipedia.org/wiki/CAP_theorem> > <https://en.wikipedia.org/wiki/CAP_theorem <https://en.wikipedia.org/wiki/CAP_theorem>>). > > Na sdileni dat doporucuju pouzivat ciste vpsAdmin, na pozadi se > automaticky vybere budto bind mount (pokud je dataset lokalni), nebo > NFSv3 - nic jineho v podstate na male soubory nedava smysl, pokud mas > byt schopny to cist z vic mist najednou (jinak to pak vede na GFS2/OCFS2 > a podobny veci, okolo kterych se ale musi chodit po spickach, rozhodne > nejsou OK do sdilenyho prostredi, jako je nase). > > Co potrebujes resit presne? Co je tvuj use-case? > > /snajpa > (Pavel Snajdr) > (Predseda vpsFree.cz) > (+420 720 107 791 <tel:%28%2B420%20720%20107%20791> <tel:%28%2B420%20720%20107%20791>) > > On 06/06/2017 07:55 AM, zd nex wrote: > > Ahoj, > > > > díky za informace ohledně privátní ip a vypínání. Co se týče datasetů - > > tak tomu rozumím, že je můžu připojit do více VPS, jde o to, že se mohou > > odpojit a zde si nejsem moc jistý co s tím. Aplikace to obvykle > > nerozdýchá - může to mít vliv právě na více app/db/proxy a celé se to > > rozbije. Právě to se mi už 2x stalo a chtěl jsem tomu nějak předejít. > > Víte někdo jak na to nebo jak to vyřešit? > > > > Zdenek > > > > > > Dne 5. června 2017 20:40 Silvestr Hašek <hasek@reklalink.cz <mailto:hasek@reklalink.cz> <mailto:hasek@reklalink.cz <mailto:hasek@reklalink.cz>> > > <mailto:hasek@reklalink.cz <mailto:hasek@reklalink.cz> <mailto:hasek@reklalink.cz <mailto:hasek@reklalink.cz>>>> napsal(a): > > > > Ahoj, > > > > o privátní IP adresy si můžeš zažádat na podpoře. > > > > K těm datasetům, kb tvrdí, že datasety můžeš připojit vícekrát > > (https://kb.vpsfree.cz/navody/vps/datasety <https://kb.vpsfree.cz/navody/vps/datasety> > <https://kb.vpsfree.cz/navody/vps/datasety <https://kb.vpsfree.cz/navody/vps/datasety>> > > <https://kb.vpsfree.cz/navody/vps/datasety <https://kb.vpsfree.cz/navody/vps/datasety> > <https://kb.vpsfree.cz/navody/vps/datasety <https://kb.vpsfree.cz/navody/vps/datasety>>>). > > > > Vypínání,.. OpenVZ posílá do kontejneru normální signál k vypnutí, > > takže kontejner uděla standardní shutdown sekvenci jako běžnej > > server. Tohle je nějak časově omezený po uplynutí toho timeoutu > > (myslím že to je 120sec) to začne kontejneru násilně zabíjet > procesy. > > > > SH > > > > > > On Sunday, 4 June 2017 09:04:26 CEST, zd nex wrote: > > > > Zdravím, > > > > chtěl jsem zeptat zda je v plánu možnost přiřazení > privátních IP > > mezi VPS > > (VPS admin vypadá, že by to jít mohlo - či je to plánováno)? > > Přes OpenVPN > > to zřejmě jde, ale pro jednoduché nastavení stejné sítě mezi > > VPS, by nemělo > > být potřeba takové řešení (zvláštní, složité, rychle > rozbitelné) > > - zvláště > > pokud jsou VPS blízko sebe. Umí OpenVZ něco takového? Jde > o to, > > že privátní > > IP dobře řeší i firewall a jiné věci, tak, aby se mohl rychle > > uzavřít okruh > > několika VPS přímo do odděleného prostoru. Nebo je jediná > > možnost OpenVPN? > > > > Druhý dotaz mám na téma datasety - je možné připojit datasety > > nějakým > > způsobem trvale k VPS - tzn jako lokální disk ale přesto jsou > > připojené na > > i na jiné VPS? Jde o to, že když se ten dataset odpojí > aplikace > > obvykle > > tento stav vůbec nepřežijí. Případně řešil jste někdo sdílení > > dat mezi VPS, > > kde je spousta malých souborů (100KB-20MB) - okolo 50000 > souborů > > - bude > > růst. Díval jsem se již na několik řešení - jako glusterfs > - zdá > > se pomalý > > pro takové množství souborů, které se často vytahují - jelikož > > není přímý > > přístup. > > > > A takový ještě doplňkový dotaz - jaký způsobem OpenVZ na > vpsfree > > vypíná > > běžící VPS např. pro servisní zásah na server? > > > > > > _______________________________________________ > > Community-list mailing list > > Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> > <mailto:Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz>> > <mailto:Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> > <mailto:Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz>>> > > http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list> > <http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list>> > > <http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list> > <http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list>>> > > > > > > > > > > > > _______________________________________________ > > Community-list mailing list > > Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> > <mailto:Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz>> > > http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list> > <http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list>> > > > > > _______________________________________________ > Community-list mailing list > Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> <mailto:Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz>> > http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list> > <http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list>> > > > > > -- > > -- > S pozdravem, > > Zdeněk Dlauhý > > Email:support@pripravto.cz <mailto:Email%3Asupport@pripravto.cz> <mailto:support@pripravto.cz <mailto:support@pripravto.cz>> > Mobil: +420 702 549 370 <tel:%2B420%20702%20549%20370> > Web: www.pripravto.cz <http://www.pripravto.cz> <http://www.pripravto.cz> > > > _______________________________________________ > Community-list mailing list > Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> > http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list> >
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list>
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
participants (3)
-
Pavel Snajdr -
Silvestr Hašek -
zd nex