Cau,
chtel bych se Vas zeptat na nazory na zalohovani linuxovych serveru. O
co se presne jedna - v soucasnosti pouzivam pro zalohovani duplicity,
ktery mi relativne vyhovuje - zaloha je sifrovana, ukladaji se pouze
rozdily, podporuje pro ukladani ftp, scp, ruzny cloudy, atd... Navic na
strane kde se zaloha uklada neni potreba zadna zvlastni bezici sluzba.
Problem ale je ze s rostoucim mnozstvim souboru hodne stoupaji naroky na
RAM a to az do stavu ze uz nektere servery shazuji duplicity na OOM.
Moznosti reseni ktery me napadaj:
rdiff-backup
+ rozdilove zalohy
- nema sifrovane zalohy
- nepodporuje ACL
- neaktivni vyvoj, v bugzille spousta chyb ktery nikdo neresi
- rdiff-backup musi byt nainstalovany ve stejne verzi na obou stranach
rsync + zfs/btrfs snapshoty na ulozisti zaloh
+ rozdilove zalohy
- sifrovane zalohy jsou asi resitelny, ale dost nepohodlne (v pripade
vice uzivatelu vyuzivajici stejny diskovy pole)
? podpora ACL
bacula
- silne orientovani na pasky (na disku se musi vytvorit soubory
emulujici pasky)
- pomale
backuppc
- nemam s nim zkusenosti
- kdyz jsem ho pred nekolika lety testoval, byla to tragedie - uz je to
lepsi?
- je vyvoj jeste aktivni?
Zatim mi asi nejlip vychazi moznost rsync + snapshoty. Jakej je na to
Vas nazor?
--
Stanislav Petr
glux(a)glux.org
stanislav(a)petr.email
+420 602 620 026
Cau,
chtel bych se Vas zeptat na nazor na zalohovani linuxovych serveru a
VPS, jaky pouzivate SW a jak jste s nim spokojeny.
Moje soucasna situace:
Pro zalohovani pouzivam duplicity, ktery je mi vyhovuje v tom ze zalohy
umi ukladat prakticky na cokoliv (ftp, scp, ruzny cloudy, atd..), zalohy
se sifruji, jsou komprimovany a uklada to spolecne se zalohou veskery
metadata. Problem ale je ze pri velkem mnozstvi souboru to zere neumerne
moc RAM. Takze hledam nahradu.
Alternativy nad kterejma jsem uvazoval:
rdiff-backup
- problemy s ukladanim metadat souboru (ACL,
--
Stanislav Petr
glux(a)glux.org
stanislav(a)petr.email
+420 602 620 026
Ahojte,
rád bych znal váš názor. Na VPS provozujeme web, který má v září docela
zásadní špičku v návštěvnosti (www.burzaucebnic.net). Loni v září jsme s
tím měli celkem problémy, jelikož na serveru především MySQL způsobovala
přetížení na diskovém I/O a server chvílemi kolaboval (provoz ve špičce
byla cca 4000 pageviews/hodina, což mi na druhou stranu nepřipadá nijak
závratné číslo). Loni jsme to vyřešili jednak pomocí varnishe, jednak
pomocí úprav samotného webu, kde bylo pár setsakramentsky
problematických dotazů (dibi a zjišťování počtu záznamů...) a nakonec
jsme situaci stabilizovali. Nicméně momentálně je návštěvnost na
uvedeném webu zhruba dvojnásobná než loni touhle dobou a já mám obavy,
co se v září stane, kolabujícímu serveru bych se chtěl rozhodně vyhnout.
Chtěl bych se vás zeptat jakou máte zkušenost s maximální zátěží VPS,
jaký provoz na "normální" PHP/MySQL aplikaci v pohodě zvládne a co už je
problém? Přemýšlel jsem o tom, že bych si pořídil ještě jednu VPS a
provozoval na ní pouze MySQL, ale nevím, jestli by to bylo dobré řešení,
jelikož by to zase zatížilo síť a asi by to bylo v průměru pomalejší (i
když předpokládám že nody jsou navzájem propojeny hodně propustně). Co
si o tom myslíte?
Díky!
Stanislav Kocanda
--
Mgr. Stanislav Kocanda
jednatel společnosti Vanio Solutions s.r.o.
telefon: +420 776 643 433
e-mail: stanislav.kocanda(a)vanio.cz
skype: kocandas
Ahojte ma niekto skusenost s dochadzkovym systemom pod vps?
Riesil niekto nieco take?
Chcel by som nahodit low-cost riesenie dochadzky kde zamestnanec klikne " prisiel odisiel obed blablabla..." a ku koncu mesiaca by to spravilo report a td... Je nieco take mate s niecim skusenost?
Vdaka
Arty
p.s. ziadne CardID a podobne veci , web-klikatko uzivatel meno heslo a td. Ci nieco take existuje resp. ci mate skusenost.
Pro analyzu dotazu se hodi nastroj pt-query-digest (v Ubuntu je to pod
balickem percona-toolkit, jinak to jde samozrejme stahnout z
percona.com) - dobre si vsimne milionu rychlych dotazu ktere muzou delat
problemy stejne jako par pomalych.
0. promaz/flushni/uklid existujici slow logy
1. nastav long_query_time = 0
2. nech to chvili bezet
3. pust na to pt-query-digest
Josef
Ja sa tiež kľudne porozprávam o tom, ako mám vyriešenú automatizáciu s
každým, kto bude mať záujem. So snajpom inak úplne súhlasím a verím, že
táto dlhá správa aj mala nejaký dopad na tzv. FTP nahrávačov :)
S pozdravom,
*Peter Bačinský*
konateľ spoločnosti
*Webino, s. r. o.*
Železničná 152/75
90024 Veľký Biel
Slovensko
*Web stránky a internetové aplikácie pre Vaše podnikanie.*
+421 918 641 804, info(a)webino.sk <mailto:info@webino.sk>, www.webino.sk
<http://www.webino.sk/>
------------------------------------------------------------------------
*PROSÍM ZACHOVÁVAJTE HISTÓRIU V SPRÁVE, ĎAKUJEM*
On 03.08.2014 12:25, Pavel Snajdr wrote:
> Also, uvitam sanci pobavit se s kazdym, jak veci lip automatizovat a
> usnadnit, obzvlast kdo ma svoje osvedceny techniky - chodte na srazy :)
>
> - snajpa
>
> Sent from Windows Phone without swiping a credit card
> ------------------------------------------------------------------------
> From: Pavel Snajdr <mailto:snajpa@snajpa.net>
> Sent: 3. 8. 2014 12:13
> To: vpsFree.cz Community list <mailto:community-list@lists.vpsfree.cz>
> Subject: Re: [vpsFree.cz: community-list]Testovací verze webu
>
> Co rikas je jenom ze neovladas svoje pracovni prostredi dostatecne,
> abys mohl byt nasobne efektivnejsi :)
>
> Je to vecny tradeoff mezi vlozenou casovou investici a beznou
> naslednou efektivitou, o cviku veci automatizovat a nebat se napsat si
> jednou skript nebo dat dohromady reseni a potom ho pouzivat. Vsichni
> profesionalove nakonec dospejou k rade vlastnich - podle personality
> ruzne obskurnich - procesnich automatizaci. Kdo tohle chape a obcas
> pouzije svuj cas, aby priste mohl venovat trochu min casu rutine a vic
> kreativni cinnosti, je efektivnejsi a potrebuje min casu na stejnou
> praci, nez ostatni.
>
> Na konci jde vzdycky o vysledky, konkretni nastroje jsou jedno,
> dulezity je umet si predstavit neprijemnou rutinu, co delam porad a
> nebavi mne vcelku a vyhazet odtamtud bordel, ie. automatizovat. At uz
> sebe naucit bejt efektivnejsi, nebo si vyrobit vlastni tooling.
>
> Napr. zminena situace s gitem je vlastne o tom, ze
> a) ti vadi, ze nekdo uvidi, jak delas s gitem bordel - well, lidi uz
> prasili mnohem vic s horsima technologiema, git je super zpusob, jak
> distribuovat data mezi vice nodama (dev laptop, klidne nekolik testing
> verzi, jedna nebo vic - distributed - production nodes)... jde o to,
> ze mit data distribuovane ma svoje vyhody napr. v nezavislosti na siti
> pri praci lokalne, dulezita je sit jenom na sync.
> b) nikdo poradne neozrejmil vyvojarum, ze neni problem si i na
> windowsech rozjet virtualni masinu, ktera na sobe bude mit prostredi,
> jak vypada production, ciste kvuli vyvoji. Tam potom neni problem
> vyvijet ve svem oblibenem editoru (tm) a treba ja si mountuju takhle
> data pres NFSv3, kazdy podle gusta :)
>
> Pointa je, ze kdyz se clovek dostatecne technologicky zaridi, muze
> svoji praci delat z libovolny kavarnicky v Parizi, muze sedet (se
> spravnym operatorem) na Slovensku v Tatrach v kavarne J&T :D,
> whatever, sitova latence a latence devel prostredi nemusi byt problem
> odnikud.
>
> Vypocetni vykon kazdeho normalniho notebooku staci na dev VM(s) 99%
> projektu, co jsem u nas kdy videl hostovat, jenom se tomu clovek nesmi
> bat dat sanci a pokusit se zmenit svoji workflow.
>
> S dostatecnym zamyslenim dopredu clovek vyresi napriklad veci jako
> disaster recovery (notebook mi ukradnou nekde v bananistanu protoze
> vzivote nevideli hybajici se obrazky), ochranu proti vlastni blbosti
> (ku*a updatovat OS pri pripojeni s SLA 33.333% neni nejstastnejsi
> napad - snapshotovatelnost), spolupraci s ostatnima na projektu nebo
> jenom experimentovani - branching, atd.
>
> Zalezi, jak seriozne se tomu clovek venuje s jakou koncentraci po
> jakou dobu, ale daji se delat divy, staci chtit, po netu se vali
> strasny mnozstvi vylepsovaku pro snad vsechny platformy.
>
> Ve vpsFree je uz delsi dobu postupne snaha usnadnit vyvoj, pomalu se
> dostavame napr. k zajimavejsim nastrojum, nez jsou ted playgroundy -
> mam ideu, jak udelat syncovani VPS z vpsFree playgroundu do VM lokalne
> (VBox, KVM, ...), kde by mohl bezet lokalni vpsAdmin a na nem lokalni
> prostredi, jeste je par veci, co jsem v navrhu nevyresil a tak to
> jeste neprislo, ale je to v pipeline :) Pak by se dalo vyvijet lokalne
> a branchovat ve vpsAdminu a poslat to do vpsFree produkce kliknutim.
> Uplne jednoduchy ten proces asi nebude nikdy, porad bude potreba
> vedet, co to na pozadi dela, aby se tomu mohl clovek prizpusobit,
> jelikoz takovou fancy myslenku nejde uplne zuniverzalnit - napr. je
> potreba se zamyslet, ze IP nebude sedet, napsat navod, ktery takove
> veci obsahuje.
>
> Automatizace je moje srdcovka a dokud se ze mne Aither a ostatni
> nezblazni, budem inovovat po svym, stejne jako v dalsich vecech, jako
> moznost to cele prostredi ovladat pres API/CLI/web/..., aneb propojme
> vpsFree s toustovacem.
>
> Koukam, jsem se nechal unyst ;)
>
> -snajpa
>
> PS, dobrovolnici slehnuti dostatecne hrat si s Ruby API od Aithera
> (celkem fancy kod, co se pekne rozviji) a/nebo PHP kodem (ten pres
> vsechny moje snahy zabit to neprehlednosti uvodni implementace bohuzel
> preziva do dnes a je potreba to dovykuchat a prepsat do Ruby, do ty
> doby maintenance silenyho kodu muze taky nekoho bavit, kdybyste nemeli
> dost na co nadavat, muj mail znate).
>
> Sent from your iPad
>
> On 03 Aug 2014, at 09:36, Martin Vendl <vmarty89(a)gmail.com
> <mailto:vmarty89@gmail.com>> wrote:
>
>> Já jsem git zkoušel už několikrát a vždycky mi to testování spíš
>> zkomplikuje. Já nejsem moc na lokální testování. Takhle když mi
>> nějaký uživatel nahlásí bug, tak ho metodou pokus omyl třeba na třetí
>> pokus za pár minut společně opravíme. Lokálně bych 5-10 minut strávil
>> jen tím, že bych se pokoušel přesně nasimulovat situaci, ve které se
>> uživatel nachází. Když to budu pushovat do master větve, vyústí to
>> třeba v několik commitů, které nic neřeší a to se mi nelíbí. Jo můžu
>> to amendovat nebo to pak squashnout, ale to taky není moc čisté, když
>> už se to děje ve veřejném repositáři. Mohl bych to commitovat do jiné
>> větve a deployovat jinam, ale pak bych toho uživatele musel navést na
>> jinou adresu a nutit ho se tam znovu přihlašovat, když to má přitom
>> přímo před sebou. Tu testovací verzi o které jsem mluvil mám spíše na
>> nové featury, kdy mám pár vybraných kolegů, kteří to tam otestují
>> zepředu zezadu. Tam mi to dává smysl. Nevím jestli tohle debugování s
>> krátkou feedback smyčkou má nějaké elegantní řešení. Možná mi povíte
>> jak to děláte.
>>
>>
>> Dne 2. srpna 2014 11:22 Jaroslav Skřivan <skrivy(a)skrivy.net
>> <mailto:skrivy@skrivy.net>> napsal(a):
>>
>> Ahoj,
>> zkus zacit pouzivat git/svn a udelat si nejakej git deploy script
>> (chvilku googli, urcite nejake najdes). Pak uz jen najdi v sobe
>> sebekazen a delej vsechny deploye jen pres git push. Ver mi, ze
>> kdyz si nastavis takovyhle proces, tak ti to hodne ulehci praci v
>> budoucnu.
>> Pokud bys rad drzel i zmeny v databazi, tak doporucuju nejakej
>> nastroj - osobne pouzivam phinx, ale i ostatni nejsou spatny. V
>> ramci repozitare si tak drzim kod i databazi. Proces deploye je
>> pak stejny - udelam git push a zmeny kodu i databaze se projevi
>> na produkci.
>> Jarda
>> ------ Original Message ------
>> From: "Martin Vendl" <vmarty89(a)gmail.com <mailto:vmarty89@gmail.com>>
>> To: community-list(a)lists.vpsfree.cz
>> <mailto:community-list@lists.vpsfree.cz>
>> Sent: 8/2/2014 10:15:32 AM
>> Subject: [vpsFree.cz: community-list] Testovací verze webu
>>> Ahoj,
>>> potřeboval bych poradit s nastavením Lighttpd.
>>>
>>> Mám takovou situaci, že kromě normální verze webu mám v jiném
>>> adresáři (na jiné poddoméně) ještě jednu testovací, s oddělenou
>>> databází a tak. Tam dělám na zkoušku změny, které chci nejdříve
>>> otestovat. Co mi vadí je, že musím mít skutečně nakopírované dvě
>>> oddělené verze se vším všudy, včetně statických assetů a protože
>>> taky někdy dělám změny rovnou na té ostré, tak ta testovací
>>> pomalu zastarává. A pak třeba nevím, které soubory jsou tam v
>>> "novější" experimentální verzi a které jsou naopak zastaralé a
>>> musím to dlouze procházet.
>>>
>>> Mám Lighttpd a napadlo mě, že bych ho nastavil tak, že soubory,
>>> které nenajde v tom testovacím adresáři by transparentně posílal
>>> z toho hlavního. Tak bych nemusel mít dvě kopie všeho a v
>>> testovacím adresáři bych tak měl jen ty záměrně změněné jako
>>> override (ostatní by byli jako fallback). Jenomže nevím jak na
>>> to. Myslel jsem, že to půjde přes mod_rewrite, který má
>>> rewrite-if-not-file, ale ten povoluje jen relativní cesty a
>>> nedovolí mi opustit document root. Zkoušel jsem to hledat, ale
>>> asi nenecházím ta správná slova. Věděl by někdo jak by to šlo
>>> udělat?
>>>
>>> Předem díky za nápady.
>>>
>>> --
>>> Martin Vendl
>>> ICQ: 114420402
>>> AIM: DerekHastur
>>> MSN: vmarty(a)volny.cz <mailto:vmarty@volny.cz>
>>> Jabber: DerekHastur(a)jabber.org <mailto:DerekHastur@jabber.org>
>>> Skype: derekhastur
>>
>> _______________________________________________
>> Community-list mailing list
>> Community-list(a)lists.vpsfree.cz
>> <mailto:Community-list@lists.vpsfree.cz>
>> http://lists.vpsfree.cz/listinfo/community-list
>>
>>
>>
>>
>> --
>> Martin Vendl
>> ICQ: 114420402
>> AIM: DerekHastur
>> MSN: vmarty(a)volny.cz <mailto:vmarty@volny.cz>
>> Jabber: DerekHastur(a)jabber.org <mailto:DerekHastur@jabber.org>
>> Skype: derekhastur
>> _______________________________________________
>> Community-list mailing list
>> Community-list(a)lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz>
>> http://lists.vpsfree.cz/listinfo/community-list
>
>
> _______________________________________________
> Community-list mailing list
> Community-list(a)lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list
Ahoj,
potřeboval bych poradit s nastavením Lighttpd.
Mám takovou situaci, že kromě normální verze webu mám v jiném adresáři (na
jiné poddoméně) ještě jednu testovací, s oddělenou databází a tak. Tam
dělám na zkoušku změny, které chci nejdříve otestovat. Co mi vadí je, že
musím mít skutečně nakopírované dvě oddělené verze se vším všudy, včetně
statických assetů a protože taky někdy dělám změny rovnou na té ostré, tak
ta testovací pomalu zastarává. A pak třeba nevím, které soubory jsou tam v
"novější" experimentální verzi a které jsou naopak zastaralé a musím to
dlouze procházet.
Mám Lighttpd a napadlo mě, že bych ho nastavil tak, že soubory, které
nenajde v tom testovacím adresáři by transparentně posílal z toho hlavního.
Tak bych nemusel mít dvě kopie všeho a v testovacím adresáři bych tak měl
jen ty záměrně změněné jako override (ostatní by byli jako fallback).
Jenomže nevím jak na to. Myslel jsem, že to půjde přes mod_rewrite, který
má rewrite-if-not-file, ale ten povoluje jen relativní cesty a nedovolí mi
opustit document root. Zkoušel jsem to hledat, ale asi nenecházím ta
správná slova. Věděl by někdo jak by to šlo udělat?
Předem díky za nápady.
--
Martin Vendl
ICQ: 114420402
AIM: DerekHastur
MSN: vmarty(a)volny.cz
Jabber: DerekHastur(a)jabber.org
Skype: derekhastur
Ahoj,
řeším tu teď takovou srandu, kdy mi můj web začne střílet chyby serveru kvůli “Too many open files”. Zkusil jsem včera zvednout soft i hard limit, ale v noci se situace opakovala.
etta:~# ulimit -Hn
100000
etta:~# ulimit -Sn
50000
Nevím, jestli to je dostatečné číslo a něco otvírá příliš mnoho souborů, nebo to mám zvedat ještě víc.
etta:~# lsof 2>/dev/null | wc -l
66428
Když jsem si to zkoušel prohlížet, tak jsem tam nenašel nic podezřelého - prostě 5 virutálů a soubory držené jejich procesy.
Mám se zaměřit na něco specifického? Jaké limity bych měl ideálně mít?
Díky,
Vojtěch Knyttl | GoOut
knyttl(a)goout.cz
+420 607 008 510
http://goout.cz
