Zdravim, chtel bych se zeptat, jak to je s pripojnym storage (exports/mounts)
"Libilo by se mi ho vyuzit jako uloziste pro web aplikace (python). Z tohoto uloziste by si jednotlive servery braly data pro deploy (nactou data do RAM a bezi) a registrovaly se do clusteru, pripadne by tam lezelo par statickych dat, ktere by obsluhoval nginx, ale ktere by se potrebovaly vyjimecne."
1) Nezpusobil bych tim nejaky problem se zatezi storage? 2) Predpokladam, ze v tomto pripade je veskere zalohovani na mne 3) Jak mozne hybat s velikosti storage? A do jake miry :)
Libi se mi totiz, ze tak jak je ho muzu pripojit do vsech serveru a je to bez prace.
PS: poustet na to nejaky IO test je asi prasarna, ze? :)
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Ahoj,
je to v tuhle chvili spatny napad, NAS neni zdvojeny. Vypadne a aplikaci mas dole.
Lepsi je na aplikaci pouzit nejakou replikaci dat (od rsyncu po cokoliv slozitejsiho).
Sice to vypada lakave, ale je to spatny napad. Navic servovat data z NFS je kvuli vykonu spatny napad vzdycky, obzvlast kdyz mas na vyber jinou alternativu. NFS jenom v krajnim pripade, kdyz chces vykon, ty dve veci nejdou dohromady.
Chtelo by to nejakou formu HA storage na levelu, kde by se o to clen nemusel starat, to souhlasim. Vsechno je mozne, ale nestihame implementovat novinky tak, jak by bylo zahodno. Chce to dobrovolniky. vpsAdmin je v Ruby, naucit se to na level, aby se dalo pomoct, neni zas tak narocny - bez tak je to spis o pochopeni konceptu za tim kodem a hlavne o technologiich, ktere se tim ovladaji.
S Aitherem velmi radi zajemcum vysvetlime, co a jak, jenom to teda chce nekoho, kdo ma chut pomoct :)
Distribuovat architekturu aplikace je super napad, ale je potreba mit osetreny vsechny novy situace, kdy se co muze podelat, ktery tim vznikaji - data locality je obecne problem v clusterech skoro vzdycky :)
/snajpa
On 05/03/2015 12:08 AM, Martin Miksanik wrote:
Zdravim, chtel bych se zeptat, jak to je s pripojnym storage (exports/mounts)
"Libilo by se mi ho vyuzit jako uloziste pro web aplikace (python). Z tohoto uloziste by si jednotlive servery braly data pro deploy (nactou data do RAM a bezi) a registrovaly se do clusteru, pripadne by tam lezelo par statickych dat, ktere by obsluhoval nginx, ale ktere by se potrebovaly vyjimecne."
- Nezpusobil bych tim nejaky problem se zatezi storage? 2)
Predpokladam, ze v tomto pripade je veskere zalohovani na mne 3) Jak mozne hybat s velikosti storage? A do jake miry :)
Libi se mi totiz, ze tak jak je ho muzu pripojit do vsech serveru a je to bez prace.
PS: poustet na to nejaky IO test je asi prasarna, ze? :)
Ahoj,
2015-05-03 1:03 GMT+02:00 Pavel Snajdr snajpa@snajpa.net:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Ahoj,
je to v tuhle chvili spatny napad, NAS neni zdvojeny. Vypadne a aplikaci mas dole.
Lepsi je na aplikaci pouzit nejakou replikaci dat (od rsyncu po cokoliv slozitejsiho).
Ja totiz nikdy nevim, jak u storage poradne zajistit skalovalnost (vice serveru, kde si muzu sahnout pro stejne data). Mam nejake zkusenosti s DRBD a jeste jsem se dival, tusim, ze to je lsyncd, ale to zase hlida adresare/soubory, co mi prijde strasne zrave. Nakonec jsem vzdy skoncil u rsync nebo NFS. Na rsync mi prijde blbe v tom, ze projizdi vzdycky ten diff na zacatku, tak i kdyz pridam jednu slozku, tak na vetsim ulozisti to trva silene dlouho. NFS ficelo fajn, ale odezva nic moc.
Sice to vypada lakave, ale je to spatny napad. Navic servovat data z NFS je kvuli vykonu spatny napad vzdycky, obzvlast kdyz mas na vyber jinou alternativu. NFS jenom v krajnim pripade, kdyz chces vykon, ty dve veci nejdou dohromady.
Jak rikam, melo by to fungovat tak, ze se app nacte z clusteru a pak uz bezi v pameti uwsgi, takze by to zase takovy problem s rychlosti pristupu nebyl. Tech par statickych dat by se tahalo minimalne a ani by je nebyl problem syncovat.
Chtelo by to nejakou formu HA storage na levelu, kde by se o to clen nemusel starat, to souhlasim. Vsechno je mozne, ale nestihame implementovat novinky tak, jak by bylo zahodno. Chce to dobrovolniky. vpsAdmin je v Ruby, naucit se to na level, aby se dalo pomoct, neni zas tak narocny - bez tak je to spis o pochopeni konceptu za tim kodem a hlavne o technologiich, ktere se tim ovladaji.
Casem neco takoveho budu potrebovat, tak bych se urcite zapojil. Kdyztak jestli mas nejake linky, jak zacit (OpenVZ mi uz nekde bezi, tak mam predstavu, co to tak muze delat).
S Aitherem velmi radi zajemcum vysvetlime, co a jak, jenom to teda chce nekoho, kdo ma chut pomoct :)
Hlasim se :)
Distribuovat architekturu aplikace je super napad, ale je potreba mit osetreny vsechny novy situace, kdy se co muze podelat, ktery tim vznikaji - data locality je obecne problem v clusterech skoro vzdycky :)
Jsem ted nedavno objevil uwsgi a zjistil jsem, ze je to presne TO, co uz par let hledam :) Udela se jeden velky pool-router, ve kterem se zaregistruje kazda apka. A kdyz appka nestiha, tak se zapne par instanci na serveru vedle a ten pool si to sam poprehazuje. A kdyz vypadne server, tak automaticky dealuje druhy, aniz by se musel resit HA.
/snajpa
On 05/03/2015 12:08 AM, Martin Miksanik wrote:
Zdravim, chtel bych se zeptat, jak to je s pripojnym storage (exports/mounts)
"Libilo by se mi ho vyuzit jako uloziste pro web aplikace (python). Z tohoto uloziste by si jednotlive servery braly data pro deploy (nactou data do RAM a bezi) a registrovaly se do clusteru, pripadne by tam lezelo par statickych dat, ktere by obsluhoval nginx, ale ktere by se potrebovaly vyjimecne."
- Nezpusobil bych tim nejaky problem se zatezi storage? 2)
Predpokladam, ze v tomto pripade je veskere zalohovani na mne 3) Jak mozne hybat s velikosti storage? A do jake miry :)
Libi se mi totiz, ze tak jak je ho muzu pripojit do vsech serveru a je to bez prace.
PS: poustet na to nejaky IO test je asi prasarna, ze? :)
-----BEGIN PGP SIGNATURE----- Version: GnuPG v2
iF4EAREIAAYFAlVFV6wACgkQgRwOVqYrsFUF+wD+PIbeI/rUODKgQCnLZLhrs0V+ SnsOiJNL2vJmfV62TXMA/1YLBZzd2y8H6KCmQw8aFp/FXmMD1BlzVKZQR8bS7E4w =PqE1 -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Ahoj,
On 03.05.2015 1:03, Pavel Snajdr wrote:
Ahoj, Lepsi je na aplikaci pouzit nejakou replikaci dat (od rsyncu po cokoliv slozitejsiho).
Osobne mam v tomhle smeru velice dobry zkusenosit s GlusterFS, kde se da pro maly mnozstvi serveru u kterejch nejsou oddeleny role serveru na ukladani dat a na klienty k tem datum pouzit takova mala finta kdy GlusterFS obsahuje integrovanej NFS server. Vsechny servery maji sva data v oddlilu kterej si spravuje GlusterFS a napriklad je replikuje. No a ten adresar kterej potrebuju mit pripojenej si lokalne pripojim prez NFS. Takze to pak vypada napr takhle:
/mnt/gluster - tady jsou fyzicky ulozeny data /mnt/data-pro palikaci (nfs na localhost) - prez tohle se k tomu pristupuje.
Chtelo by to nejakou formu HA storage na levelu, kde by se o to clen nemusel starat, to souhlasim. Vsechno je mozne, ale nestihame implementovat novinky tak, jak by bylo zahodno. Chce to dobrovolniky. vpsAdmin je v Ruby, naucit se to na level, aby se dalo pomoct, neni zas tak narocny - bez tak je to spis o pochopeni konceptu za tim kodem a hlavne o technologiich, ktere se tim ovladaji.
GlusterFS, ParallelNFS.
S Aitherem velmi radi zajemcum vysvetlime, co a jak, jenom to teda chce nekoho, kdo ma chut pomoct :)
Kdyz pockas az se vratim z RIPE meetingu tak by jsme s tim mohli neco zkusit vymyslet.
Distribuovat architekturu aplikace je super napad, ale je potreba mit osetreny vsechny novy situace, kdy se co muze podelat, ktery tim vznikaji - data locality je obecne problem v clusterech skoro vzdycky :)
Dve lokality (vzdaleny) v clusterech neni problem technickej. Jen financni. :D
- -- Stanislav Petr
Super, ten glusterFS vypada dobre, asi z dalsi veci hledam delsi cas (nevim, proc jsem ho vzdycky preskakoval) :) hned si udelam par testu.
Jinak jak vidim ty configy. Jde v ramci VPS Free zaridit DMZ jinak, nez serii pravidel v IPTables, pripadne vytvorenim nejakych VPN?
2015-05-03 10:41 GMT+02:00 Stanislav Petr glux@glux.org:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Ahoj,
On 03.05.2015 1:03, Pavel Snajdr wrote:
Ahoj, Lepsi je na aplikaci pouzit nejakou replikaci dat (od rsyncu po cokoliv slozitejsiho).
Osobne mam v tomhle smeru velice dobry zkusenosit s GlusterFS, kde se da pro maly mnozstvi serveru u kterejch nejsou oddeleny role serveru na ukladani dat a na klienty k tem datum pouzit takova mala finta kdy GlusterFS obsahuje integrovanej NFS server. Vsechny servery maji sva data v oddlilu kterej si spravuje GlusterFS a napriklad je replikuje. No a ten adresar kterej potrebuju mit pripojenej si lokalne pripojim prez NFS. Takze to pak vypada napr takhle:
/mnt/gluster - tady jsou fyzicky ulozeny data /mnt/data-pro palikaci (nfs na localhost) - prez tohle se k tomu pristupuje.
Chtelo by to nejakou formu HA storage na levelu, kde by se o to clen nemusel starat, to souhlasim. Vsechno je mozne, ale nestihame implementovat novinky tak, jak by bylo zahodno. Chce to dobrovolniky. vpsAdmin je v Ruby, naucit se to na level, aby se dalo pomoct, neni zas tak narocny - bez tak je to spis o pochopeni konceptu za tim kodem a hlavne o technologiich, ktere se tim ovladaji.
GlusterFS, ParallelNFS.
S Aitherem velmi radi zajemcum vysvetlime, co a jak, jenom to teda chce nekoho, kdo ma chut pomoct :)
Kdyz pockas az se vratim z RIPE meetingu tak by jsme s tim mohli neco zkusit vymyslet.
Distribuovat architekturu aplikace je super napad, ale je potreba mit osetreny vsechny novy situace, kdy se co muze podelat, ktery tim vznikaji - data locality je obecne problem v clusterech skoro vzdycky :)
Dve lokality (vzdaleny) v clusterech neni problem technickej. Jen financni. :D
Stanislav Petr -----BEGIN PGP SIGNATURE----- Version: GnuPG v2
iF4EAREIAAYFAlVF30wACgkQCiD16ILxRHvGZQD8DMjh71kTZ6UIrybDptyVpqep WCaUaEMoibpKFz0it8IA/0eLqBvprvdHvQy/bjU/Ic/kwtWLx1hHgAUGPkkTPWir =1gcz -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Ahoj, jeste jeden dotaz. Nevis jak to je na OpenVZ s extended attributes u FS? Ten GlusterFS je vyzaduje a nedari se mi to nijak obejit.
konci to na:
root@server2:/# gluster volume create storage server3.mmik.cz:/blok1 force volume create: storage: failed: Staging failed on server3.mmik.cz. Error: Glusterfs is not supported on brick: server3.mmik.cz:/blok1. Setting extended attributes failed, reason: Operation not permitted.
Dik za pripadny tip Martin
2015-05-03 10:41 GMT+02:00 Stanislav Petr glux@glux.org:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Ahoj,
On 03.05.2015 1:03, Pavel Snajdr wrote:
Ahoj, Lepsi je na aplikaci pouzit nejakou replikaci dat (od rsyncu po cokoliv slozitejsiho).
Osobne mam v tomhle smeru velice dobry zkusenosit s GlusterFS, kde se da pro maly mnozstvi serveru u kterejch nejsou oddeleny role serveru na ukladani dat a na klienty k tem datum pouzit takova mala finta kdy GlusterFS obsahuje integrovanej NFS server. Vsechny servery maji sva data v oddlilu kterej si spravuje GlusterFS a napriklad je replikuje. No a ten adresar kterej potrebuju mit pripojenej si lokalne pripojim prez NFS. Takze to pak vypada napr takhle:
/mnt/gluster - tady jsou fyzicky ulozeny data /mnt/data-pro palikaci (nfs na localhost) - prez tohle se k tomu pristupuje.
Chtelo by to nejakou formu HA storage na levelu, kde by se o to clen nemusel starat, to souhlasim. Vsechno je mozne, ale nestihame implementovat novinky tak, jak by bylo zahodno. Chce to dobrovolniky. vpsAdmin je v Ruby, naucit se to na level, aby se dalo pomoct, neni zas tak narocny - bez tak je to spis o pochopeni konceptu za tim kodem a hlavne o technologiich, ktere se tim ovladaji.
GlusterFS, ParallelNFS.
S Aitherem velmi radi zajemcum vysvetlime, co a jak, jenom to teda chce nekoho, kdo ma chut pomoct :)
Kdyz pockas az se vratim z RIPE meetingu tak by jsme s tim mohli neco zkusit vymyslet.
Distribuovat architekturu aplikace je super napad, ale je potreba mit osetreny vsechny novy situace, kdy se co muze podelat, ktery tim vznikaji - data locality je obecne problem v clusterech skoro vzdycky :)
Dve lokality (vzdaleny) v clusterech neni problem technickej. Jen financni. :D
Stanislav Petr -----BEGIN PGP SIGNATURE----- Version: GnuPG v2
iF4EAREIAAYFAlVF30wACgkQCiD16ILxRHvGZQD8DMjh71kTZ6UIrybDptyVpqep WCaUaEMoibpKFz0it8IA/0eLqBvprvdHvQy/bjU/Ic/kwtWLx1hHgAUGPkkTPWir =1gcz -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Ahoj,
posli pls na podporu detaily, tzn. kde presne se to snazis nastavit a rozjet (VPS ID) a cca popis, jak to zreplikuju a podivam se na to, jak vystoupim nekde, kde bude stabilni pripojeni (jsem ve vlaku a cesky mobilni site a vlaky, to nejde dohromady).
Melo by to totiz fungovat.
/snajpa
Sent from your iPad
On 04 May 2015, at 11:45, Martin Miksanik miksanik@gmail.com wrote:
Ahoj, jeste jeden dotaz. Nevis jak to je na OpenVZ s extended attributes u FS? Ten GlusterFS je vyzaduje a nedari se mi to nijak obejit.
konci to na:
root@server2:/# gluster volume create storage server3.mmik.cz:/blok1 force volume create: storage: failed: Staging failed on server3.mmik.cz. Error: Glusterfs is not supported on brick: server3.mmik.cz:/blok1. Setting extended attributes failed, reason: Operation not permitted.
Dik za pripadny tip Martin
2015-05-03 10:41 GMT+02:00 Stanislav Petr glux@glux.org:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Ahoj,
On 03.05.2015 1:03, Pavel Snajdr wrote: Ahoj, Lepsi je na aplikaci pouzit nejakou replikaci dat (od rsyncu po cokoliv slozitejsiho).
Osobne mam v tomhle smeru velice dobry zkusenosit s GlusterFS, kde se da pro maly mnozstvi serveru u kterejch nejsou oddeleny role serveru na ukladani dat a na klienty k tem datum pouzit takova mala finta kdy GlusterFS obsahuje integrovanej NFS server. Vsechny servery maji sva data v oddlilu kterej si spravuje GlusterFS a napriklad je replikuje. No a ten adresar kterej potrebuju mit pripojenej si lokalne pripojim prez NFS. Takze to pak vypada napr takhle:
/mnt/gluster - tady jsou fyzicky ulozeny data /mnt/data-pro palikaci (nfs na localhost) - prez tohle se k tomu pristupuje.
Chtelo by to nejakou formu HA storage na levelu, kde by se o to clen nemusel starat, to souhlasim. Vsechno je mozne, ale nestihame implementovat novinky tak, jak by bylo zahodno. Chce to dobrovolniky. vpsAdmin je v Ruby, naucit se to na level, aby se dalo pomoct, neni zas tak narocny - bez tak je to spis o pochopeni konceptu za tim kodem a hlavne o technologiich, ktere se tim ovladaji.
GlusterFS, ParallelNFS.
S Aitherem velmi radi zajemcum vysvetlime, co a jak, jenom to teda chce nekoho, kdo ma chut pomoct :)
Kdyz pockas az se vratim z RIPE meetingu tak by jsme s tim mohli neco zkusit vymyslet.
Distribuovat architekturu aplikace je super napad, ale je potreba mit osetreny vsechny novy situace, kdy se co muze podelat, ktery tim vznikaji - data locality je obecne problem v clusterech skoro vzdycky :)
Dve lokality (vzdaleny) v clusterech neni problem technickej. Jen financni. :D
Stanislav Petr -----BEGIN PGP SIGNATURE----- Version: GnuPG v2
iF4EAREIAAYFAlVF30wACgkQCiD16ILxRHvGZQD8DMjh71kTZ6UIrybDptyVpqep WCaUaEMoibpKFz0it8IA/0eLqBvprvdHvQy/bjU/Ic/kwtWLx1hHgAUGPkkTPWir =1gcz -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-- S přáním pěkného dne, Martin Mikšaník
gsm: +420 602 623 934 icq: 311047283 _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
community-list@lists.vpsfree.cz
-
Martin Miksanik -
Pavel Snajdr -
Stanislav Petr