-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Ahoj vsichni,
zacnu dobrou zpravou - mame hodne virtualu, v absolutnich cislech jich je ted presne 365.
Spatnou zpravou je, ze zalohovaci system, jak ho mame ted, to absolutne nestiha.
TL;DR: Zmenime system zalohovani,
*** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres vikend predelavame cely system zalohovani, takze po tu dobu nebudou dostupne vubec zadne zalohy ***
Koho zajimaji detaily:
Aktualne zalohujeme pomoci rdiff-backup utility, ktera stavi nad rsyncem. Data se prenasi pres SSHFS.
Cely tenhle system funguje pekne, kdyz neni prilis moc dat a prilis moc malych souboru, pak rsync protokol pres SSHFS prestava stihat. Dalsim duvodem je ze rdiff musi z principu prochazet zmenene soubory a hledat v nich zmeny, aby inkrement te zalohy byl co nejmensi.
Jenze nam to prestava stihat storage, a i kdybychom nasli cestu jak ho donutit stihat tolik cteni a do toho tolik zapisu, meli bychom problem se zvysujicim se seekovani disku, protoze zalohovani jednotlivych serveru se cim dal vic prekryva.
Resenim, ktere jsme vymysleli a ktere se zda byt nejlepsi je pouzit BTRFS a jeho snapshoty (a pripadne deduplikaci, jakmile ji do RHEL6 backportuji) a PCIe SSD jako writeback cache.
Storage server ma redundantni zdroje, napajeni jeste nikdy nevypadlo a cely system je (po reklamaci pameti) uz poradne stabilni, takze neni ceho se v ohledu BTRFS bat - na produkcni masiny, kde bezi virtualy, bychom si ho nedovolili nasadit, ale na zalohy proc ne.
Na BTRFS na storage serveru budeme data valit pres NFS misto SSHFS.
S tim budou taky souviset zmeny ve vpsAdminu, ktere musim jeste dovymyslet a naprogramovat, ale pocitam, ze spousta te prace bude realizovatelna az teprv, kdyz budeme uz mit zalohovani na BTRFS v provozu.
O prubehu budu informovat na community-listu.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
On 18.6.2012 12:41, Pavel Snajdr wrote:
*** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres vikend predelavame cely system zalohovani, takze po tu dobu nebudou dostupne vubec zadne zalohy ***
V patek 29.6. vecer MAZEME VSECHNY ZALOHY a pres vikend spadne par node s poskozenym filesystemem, co? :)
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Jestli nam umis pujcit pole s kapacitou 10TB, velice rad ty zalohy nekam zkopiruju, ale sdruzeni nema ted prostredky, kam s takovym mnozstvim dat.
Stve mne to stejne jako tebe, ale at jsem vymejslel, jak jsem vymejslel, krome nakupu hromady HW, ktery bude po presunu lezet ladem, mne nic jinyho nenapadlo.
//snajpa
On 06/18/2012 12:52 PM, Radek Pilar wrote:
On 18.6.2012 12:41, Pavel Snajdr wrote:
*** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres vikend predelavame cely system zalohovani, takze po tu dobu nebudou dostupne vubec zadne zalohy ***
V patek 29.6. vecer MAZEME VSECHNY ZALOHY a pres vikend spadne par node s poskozenym filesystemem, co? :)
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Co takhle ulozit kazdymu kdo ma na vps dost mista posledni zalohu at si ji nekam docasne schova sam?
On Mon, 18 Jun 2012 12:54:10 +0200, Pavel Snajdr snajpa@snajpa.net wrote:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Jestli nam umis pujcit pole s kapacitou 10TB, velice rad ty zalohy nekam zkopiruju, ale sdruzeni nema ted prostredky, kam s takovym mnozstvim dat.
Stve mne to stejne jako tebe, ale at jsem vymejslel, jak jsem vymejslel, krome nakupu hromady HW, ktery bude po presunu lezet ladem, mne nic jinyho nenapadlo.
//snajpa
On 06/18/2012 12:52 PM, Radek Pilar wrote:
On 18.6.2012 12:41, Pavel Snajdr wrote:
*** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres vikend predelavame cely system zalohovani, takze po tu dobu nebudou dostupne vubec zadne zalohy ***
V patek 29.6. vecer MAZEME VSECHNY ZALOHY a pres vikend spadne par node s poskozenym filesystemem, co? :)
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAk/fCM8ACgkQdh+64ds5DaYHFgD/TDUT5uheJoz1sYzv1Bas8xDc QSwFRAOZEuFnfFMM/14A/3miuGpxbZK0lXKlKYOsSLxmL+qPjjqG+jbxaage+oXK =IEJ/ -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Vsak si ji kazdej v pohode muze primountovat a odzalohovat driv, nez to stihneme smazat :)
//snajpa
On 06/18/2012 12:56 PM, tomas@starhill.org wrote:
Co takhle ulozit kazdymu kdo ma na vps dost mista posledni zalohu at si ji nekam docasne schova sam?
On Mon, 18 Jun 2012 12:54:10 +0200, Pavel Snajdr snajpa@snajpa.net wrote: Jestli nam umis pujcit pole s kapacitou 10TB, velice rad ty zalohy nekam zkopiruju, ale sdruzeni nema ted prostredky, kam s takovym mnozstvim dat.
Stve mne to stejne jako tebe, ale at jsem vymejslel, jak jsem vymejslel, krome nakupu hromady HW, ktery bude po presunu lezet ladem, mne nic jinyho nenapadlo.
//snajpa
On 06/18/2012 12:52 PM, Radek Pilar wrote:
On 18.6.2012 12:41, Pavel Snajdr wrote:
*** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres vikend predelavame cely system zalohovani, takze po tu dobu nebudou dostupne vubec zadne zalohy ***
V patek 29.6. vecer MAZEME VSECHNY ZALOHY a pres vikend spadne par node s poskozenym filesystemem, co? :)
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Zdar Jo, to prave delam. (nicmene ja tam nemam temer nic). spis me napada, jestli na nodech neni v taru, abych to nemusel zase cely tarovat ... ale jen stahnout.
marcel
On 06/18/2012 01:17 PM, Pavel Snajdr wrote:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Vsak si ji kazdej v pohode muze primountovat a odzalohovat driv, nez to stihneme smazat :)
//snajpa
On 06/18/2012 12:56 PM, tomas@starhill.org wrote:
Co takhle ulozit kazdymu kdo ma na vps dost mista posledni zalohu at si ji nekam docasne schova sam?
On Mon, 18 Jun 2012 12:54:10 +0200, Pavel Snajdr snajpa@snajpa.net wrote: Jestli nam umis pujcit pole s kapacitou 10TB, velice rad ty zalohy nekam zkopiruju, ale sdruzeni nema ted prostredky, kam s takovym mnozstvim dat.
Stve mne to stejne jako tebe, ale at jsem vymejslel, jak jsem vymejslel, krome nakupu hromady HW, ktery bude po presunu lezet ladem, mne nic jinyho nenapadlo.
//snajpa
On 06/18/2012 12:52 PM, Radek Pilar wrote:
On 18.6.2012 12:41, Pavel Snajdr wrote:
*** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres vikend predelavame cely system zalohovani, takze po tu dobu nebudou dostupne vubec zadne zalohy ***
V patek 29.6. vecer MAZEME VSECHNY ZALOHY a pres vikend spadne par node s poskozenym filesystemem, co? :)
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAk/fDk4ACgkQdh+64ds5DaYXdQD6A8cq8QMMU+2r5+D7JtZ6rPiT 9RQfFex3lRz6hNplW1AA/jsLP9IfWdHXl1mMOvDc0ZxOviBKzUl93n1vqlI33JV4 =Hghe -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Neni, navic tech zaloh je tolik, ze by nam s temer absolutni jistotou doslo misto na nekterych nodech...
//snajpa
On 06/18/2012 01:20 PM, marcel novotny wrote:
Zdar Jo, to prave delam. (nicmene ja tam nemam temer nic). spis me napada, jestli na nodech neni v taru, abych to nemusel zase cely tarovat ... ale jen stahnout.
marcel
On 06/18/2012 01:17 PM, Pavel Snajdr wrote: Vsak si ji kazdej v pohode muze primountovat a odzalohovat driv, nez to stihneme smazat :)
//snajpa
On 06/18/2012 12:56 PM, tomas@starhill.org wrote:
Co takhle ulozit kazdymu kdo ma na vps dost mista posledni zalohu at si ji nekam docasne schova sam?
On Mon, 18 Jun 2012 12:54:10 +0200, Pavel Snajdr snajpa@snajpa.net wrote: Jestli nam umis pujcit pole s kapacitou 10TB, velice rad ty zalohy nekam zkopiruju, ale sdruzeni nema ted prostredky, kam s takovym mnozstvim dat.
Stve mne to stejne jako tebe, ale at jsem vymejslel, jak jsem vymejslel, krome nakupu hromady HW, ktery bude po presunu lezet ladem, mne nic jinyho nenapadlo.
//snajpa
On 06/18/2012 12:52 PM, Radek Pilar wrote:
> On 18.6.2012 12:41, Pavel Snajdr wrote: >> *** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a >> pres vikend predelavame cely system zalohovani, takze >> po tu dobu nebudou dostupne vubec zadne zalohy *** > V patek 29.6. vecer MAZEME VSECHNY ZALOHY a pres > vikend spadne par node s poskozenym filesystemem, co? > :) > > > > _______________________________________________ > Community-list mailing list > Community-list@lists.vpsfree.cz > http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Jak totální Linux lamě vysvětlit/pomoci efektivně odzálohovat komplet celou VPS?
-----Original Message----- From: community-list-bounces@lists.vpsfree.cz [mailto:community-list-bounces@lists.vpsfree.cz] On Behalf Of Pavel Snajdr Sent: Monday, June 18, 2012 1:22 PM To: vpsFree.cz Community list Subject: Re: [vpsFree.cz: community-list] DULEZITE: Zmeny v zalohovani
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Neni, navic tech zaloh je tolik, ze by nam s temer absolutni jistotou doslo misto na nekterych nodech...
//snajpa
On 06/18/2012 01:20 PM, marcel novotny wrote:
Zdar Jo, to prave delam. (nicmene ja tam nemam temer nic). spis me napada, jestli na nodech neni v taru, abych to nemusel zase cely tarovat ... ale jen stahnout.
marcel
On 06/18/2012 01:17 PM, Pavel Snajdr wrote: Vsak si ji kazdej v pohode muze primountovat a odzalohovat driv, nez to stihneme smazat :)
//snajpa
On 06/18/2012 12:56 PM, tomas@starhill.org wrote:
Co takhle ulozit kazdymu kdo ma na vps dost mista posledni zalohu at si ji nekam docasne schova sam?
On Mon, 18 Jun 2012 12:54:10 +0200, Pavel Snajdr snajpa@snajpa.net wrote: Jestli nam umis pujcit pole s kapacitou 10TB, velice rad ty zalohy nekam zkopiruju, ale sdruzeni nema ted prostredky, kam s takovym mnozstvim dat.
Stve mne to stejne jako tebe, ale at jsem vymejslel, jak jsem vymejslel, krome nakupu hromady HW, ktery bude po presunu lezet ladem, mne nic jinyho nenapadlo.
//snajpa
On 06/18/2012 12:52 PM, Radek Pilar wrote:
> On 18.6.2012 12:41, Pavel Snajdr wrote: >> *** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres vikend >> predelavame cely system zalohovani, takze po tu dobu nebudou >> dostupne vubec zadne zalohy *** > V patek 29.6. vecer MAZEME VSECHNY ZALOHY a pres vikend spadne > par node s poskozenym filesystemem, co? > :) > > > > _______________________________________________ > Community-list mailing list > Community-list@lists.vpsfree.cz > http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-- Tato zprava byla prohledana na vyskyt viru a nebezpecneho obsahu antivirovym systemem MailScanner a zda se byt cista.
To myslím aj mnohí urobia, len si nám neplánovane pridal robotu do konca týždňa...
On 18.06.2012 13:17, Pavel Snajdr wrote:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Vsak si ji kazdej v pohode muze primountovat a odzalohovat driv, nez to stihneme smazat :)
//snajpa
On 06/18/2012 12:56 PM, tomas@starhill.org wrote:
Co takhle ulozit kazdymu kdo ma na vps dost mista posledni zalohu at si ji nekam docasne schova sam?
On Mon, 18 Jun 2012 12:54:10 +0200, Pavel Snajdr snajpa@snajpa.net wrote: Jestli nam umis pujcit pole s kapacitou 10TB, velice rad ty zalohy nekam zkopiruju, ale sdruzeni nema ted prostredky, kam s takovym mnozstvim dat.
Stve mne to stejne jako tebe, ale at jsem vymejslel, jak jsem vymejslel, krome nakupu hromady HW, ktery bude po presunu lezet ladem, mne nic jinyho nenapadlo.
//snajpa
On 06/18/2012 12:52 PM, Radek Pilar wrote:
On 18.6.2012 12:41, Pavel Snajdr wrote:
*** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres vikend predelavame cely system zalohovani, takze po tu dobu nebudou dostupne vubec zadne zalohy ***
V patek 29.6. vecer MAZEME VSECHNY ZALOHY a pres vikend spadne par node s poskozenym filesystemem, co? :)
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAk/fDk4ACgkQdh+64ds5DaYXdQD6A8cq8QMMU+2r5+D7JtZ6rPiT 9RQfFex3lRz6hNplW1AA/jsLP9IfWdHXl1mMOvDc0ZxOviBKzUl93n1vqlI33JV4 =Hghe -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Mna by zaujimalo, ci sa toto tyka iba Prahy, alebo aj Brna? Aby som vedel, o co pridem, teda co si mam dat stahovat? a este jedna otazka... potom si tu zalohu budem muset drzat u seba, alebo bude moznost ju nahodit niekde naspat a nasledne pripadne v buducnosti ju primountovat cez vpsAdmin, ako doteraz?
Prajem vám príjemný zvyšok dňa a zostávam s pozdravom,
Michal Dobšovič riaditeľ spoločnosti
IT LEARNING SLOVAKIA, s.r.o. Kominárska 2, 4 831 04 Bratislava tel.: +421(0)2 5023 4364 mobil: +421 (0)948 233 369 e-mail: dobsovic@itlearning.sk www.itlearning.sk www.skolenie.eu
-----Original Message----- From: community-list-bounces@lists.vpsfree.cz [mailto:community-list-bounces@lists.vpsfree.cz] On Behalf Of Ján Šmatlík Sent: Monday, June 18, 2012 1:51 PM To: vpsFree.cz Community list Subject: Re: [vpsFree.cz: community-list] DULEZITE: Zmeny v zalohovani
To myslím aj mnohí urobia, len si nám neplánovane pridal robotu do konca týždňa...
On 18.06.2012 13:17, Pavel Snajdr wrote:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Vsak si ji kazdej v pohode muze primountovat a odzalohovat driv, nez to stihneme smazat :)
//snajpa
On 06/18/2012 12:56 PM, tomas@starhill.org wrote:
Co takhle ulozit kazdymu kdo ma na vps dost mista posledni zalohu at si ji nekam docasne schova sam?
On Mon, 18 Jun 2012 12:54:10 +0200, Pavel Snajdr snajpa@snajpa.net wrote: Jestli nam umis pujcit pole s kapacitou 10TB, velice rad ty zalohy nekam zkopiruju, ale sdruzeni nema ted prostredky, kam s takovym mnozstvim dat.
Stve mne to stejne jako tebe, ale at jsem vymejslel, jak jsem vymejslel, krome nakupu hromady HW, ktery bude po presunu lezet ladem, mne nic jinyho nenapadlo.
//snajpa
On 06/18/2012 12:52 PM, Radek Pilar wrote:
On 18.6.2012 12:41, Pavel Snajdr wrote:
*** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres vikend predelavame cely system zalohovani, takze po tu dobu nebudou dostupne vubec zadne zalohy ***
V patek 29.6. vecer MAZEME VSECHNY ZALOHY a pres vikend spadne par node s poskozenym filesystemem, co? :)
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAk/fDk4ACgkQdh+64ds5DaYXdQD6A8cq8QMMU+2r5+D7JtZ6rPiT 9RQfFex3lRz6hNplW1AA/jsLP9IfWdHXl1mMOvDc0ZxOviBKzUl93n1vqlI33JV4 =Hghe -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Pokud to dobre chapu, tak ta zaloha bude pro tebe jen na tech par dni, kdy pojedeme bez zaloh. Pak ji muzes smazat :-)
a do vpsadmina asi nahodit nepujde ... ale kdyby ti vse nahodou spadlo (nebo jen cas systemu) tak si tu zalohu nahodis do systemu, a rozbalis treba do /moje_zaloha a budes se k tomu chovat stejne, jako k zaloze namountovany ve vpsadminovi.
On 06/19/2012 10:36 AM, Michal Dobsovic wrote:
Mna by zaujimalo, ci sa toto tyka iba Prahy, alebo aj Brna? Aby som vedel, o co pridem, teda co si mam dat stahovat? a este jedna otazka... potom si tu zalohu budem muset drzat u seba, alebo bude moznost ju nahodit niekde naspat a nasledne pripadne v buducnosti ju primountovat cez vpsAdmin, ako doteraz?
Prajem vám príjemný zvyšok dňa a zostávam s pozdravom,
Michal Dobšovič riaditeľ spoločnosti
IT LEARNING SLOVAKIA, s.r.o. Kominárska 2, 4 831 04 Bratislava tel.: +421(0)2 5023 4364 mobil: +421 (0)948 233 369 e-mail: dobsovic@itlearning.sk www.itlearning.sk www.skolenie.eu
-----Original Message----- From: community-list-bounces@lists.vpsfree.cz [mailto:community-list-bounces@lists.vpsfree.cz] On Behalf Of Ján Šmatlík Sent: Monday, June 18, 2012 1:51 PM To: vpsFree.cz Community list Subject: Re: [vpsFree.cz: community-list] DULEZITE: Zmeny v zalohovani
To myslím aj mnohí urobia, len si nám neplánovane pridal robotu do konca týždňa...
On 18.06.2012 13:17, Pavel Snajdr wrote:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Vsak si ji kazdej v pohode muze primountovat a odzalohovat driv, nez to stihneme smazat :)
//snajpa
On 06/18/2012 12:56 PM, tomas@starhill.org wrote:
Co takhle ulozit kazdymu kdo ma na vps dost mista posledni zalohu at si ji nekam docasne schova sam?
On Mon, 18 Jun 2012 12:54:10 +0200, Pavel Snajdr snajpa@snajpa.net wrote: Jestli nam umis pujcit pole s kapacitou 10TB, velice rad ty zalohy nekam zkopiruju, ale sdruzeni nema ted prostredky, kam s takovym mnozstvim dat.
Stve mne to stejne jako tebe, ale at jsem vymejslel, jak jsem vymejslel, krome nakupu hromady HW, ktery bude po presunu lezet ladem, mne nic jinyho nenapadlo.
//snajpa
On 06/18/2012 12:52 PM, Radek Pilar wrote:
On 18.6.2012 12:41, Pavel Snajdr wrote: > *** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres > vikend predelavame cely system zalohovani, takze po tu dobu > nebudou dostupne vubec zadne zalohy *** V patek 29.6. vecer MAZEME VSECHNY ZALOHY a pres vikend spadne par node s poskozenym filesystemem, co? :)
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAk/fDk4ACgkQdh+64ds5DaYXdQD6A8cq8QMMU+2r5+D7JtZ6rPiT 9RQfFex3lRz6hNplW1AA/jsLP9IfWdHXl1mMOvDc0ZxOviBKzUl93n1vqlI33JV4 =Hghe -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Jestli nam umis pujcit pole s kapacitou 10TB, velice rad ty zalohy nekam zkopiruju, ale sdruzeni nema ted prostredky, kam s takovym mnozstvim dat.
Nebylo by reseni to docasne ulozit do nejakeho cloudu, treba Amazon S3? Nevim jestli je to uskutecnitelny/ne moc drahy, je to jenom napad.
j.
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Budu naprosto uprimnej: to je ten nejblbejsi napad, s kterym kdo mohl prijit :)
Nevim, co vsichni mate s tema cloudovyma sluzbama, vsak je to predrazena hovadina, mnohem levneji vyjde koupit disky a odkopirovat to lokalne.
Cena storage na S3 je vysoka, cena prenoveho pasma taky neni nulova a spolehlivost S3 a jeho povest je srackoidni... Dalsi vec je, ze bychom museli resit bezpecnost a i pres pouziti nejsilnejsiho sifrovani nemame nikde zaruku, ze data nepujdou rozsifrovat v budoucnu.
Radsi bych vsechny servery rozmlatil kladivem a pak skocil z budovy, kde je master (je dost vysoka, abych to neprezil), nez abych udelal takovou hovadinu...
//snajpa
On 06/18/2012 01:11 PM, Jan Matoušek wrote:
Jestli nam umis pujcit pole s kapacitou 10TB, velice rad ty zalohy nekam zkopiruju, ale sdruzeni nema ted prostredky, kam s takovym mnozstvim dat.
Nebylo by reseni to docasne ulozit do nejakeho cloudu, treba Amazon S3? Nevim jestli je to uskutecnitelny/ne moc drahy, je to jenom napad.
j. _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
OT: Konecne nekdo se stejnym nazorem na cloud jako ja :)
moje zalohy klidne muzes smazat uz ted, stejne si delam vlastni zalohu VPSek na druhej konec prahy
Dne 18.6.2012 13:14, Pavel Snajdr napsal(a):
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Budu naprosto uprimnej: to je ten nejblbejsi napad, s kterym kdo mohl prijit :)
Nevim, co vsichni mate s tema cloudovyma sluzbama, vsak je to predrazena hovadina, mnohem levneji vyjde koupit disky a odkopirovat to lokalne.
Cena storage na S3 je vysoka, cena prenoveho pasma taky neni nulova a spolehlivost S3 a jeho povest je srackoidni... Dalsi vec je, ze bychom museli resit bezpecnost a i pres pouziti nejsilnejsiho sifrovani nemame nikde zaruku, ze data nepujdou rozsifrovat v budoucnu.
Radsi bych vsechny servery rozmlatil kladivem a pak skocil z budovy, kde je master (je dost vysoka, abych to neprezil), nez abych udelal takovou hovadinu...
//snajpa
On 06/18/2012 01:11 PM, Jan Matoušek wrote:
Jestli nam umis pujcit pole s kapacitou 10TB, velice rad ty zalohy nekam zkopiruju, ale sdruzeni nema ted prostredky, kam s takovym mnozstvim dat.
Nebylo by reseni to docasne ulozit do nejakeho cloudu, treba Amazon S3? Nevim jestli je to uskutecnitelny/ne moc drahy, je to jenom napad.
j. _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iF4EAREIAAYFAk/fDZAACgkQdh+64ds5DaYhTwD/TkET18RkeIUSrrt9t9IANsNq aXaiGFy0cWe8nsX6LCQBAIdq5W/8h1kWq2xwW1PQXtalBi+a2jNsodlqqDq1bMaX =5Yoc -----END PGP SIGNATURE----- _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Tohle se mi moc nelíbí, ač tomu ne zcela rozumím. Takže prostě mám teď pustit kompletní zálohy, abych nedopadnul jako sedláci u Chlumce a do pátku měl něco v ruce?
-----Original Message----- From: news-list-bounces@lists.vpsfree.cz [mailto:news-list-bounces@lists.vpsfree.cz] On Behalf Of Pavel Snajdr Sent: Monday, June 18, 2012 12:42 PM To: news-list@lists.vpsfree.cz Cc: vpsFree.cz Community list Subject: [vpsFree.cz: news-list] DULEZITE: Zmeny v zalohovani
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Ahoj vsichni,
zacnu dobrou zpravou - mame hodne virtualu, v absolutnich cislech jich je ted presne 365.
Spatnou zpravou je, ze zalohovaci system, jak ho mame ted, to absolutne nestiha.
TL;DR: Zmenime system zalohovani,
*** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres vikend predelavame cely system zalohovani, takze po tu dobu nebudou dostupne vubec zadne zalohy ***
Koho zajimaji detaily:
Aktualne zalohujeme pomoci rdiff-backup utility, ktera stavi nad rsyncem. Data se prenasi pres SSHFS.
Cely tenhle system funguje pekne, kdyz neni prilis moc dat a prilis moc malych souboru, pak rsync protokol pres SSHFS prestava stihat. Dalsim duvodem je ze rdiff musi z principu prochazet zmenene soubory a hledat v nich zmeny, aby inkrement te zalohy byl co nejmensi.
Jenze nam to prestava stihat storage, a i kdybychom nasli cestu jak ho donutit stihat tolik cteni a do toho tolik zapisu, meli bychom problem se zvysujicim se seekovani disku, protoze zalohovani jednotlivych serveru se cim dal vic prekryva.
Resenim, ktere jsme vymysleli a ktere se zda byt nejlepsi je pouzit BTRFS a jeho snapshoty (a pripadne deduplikaci, jakmile ji do RHEL6 backportuji) a PCIe SSD jako writeback cache.
Storage server ma redundantni zdroje, napajeni jeste nikdy nevypadlo a cely system je (po reklamaci pameti) uz poradne stabilni, takze neni ceho se v ohledu BTRFS bat - na produkcni masiny, kde bezi virtualy, bychom si ho nedovolili nasadit, ale na zalohy proc ne.
Na BTRFS na storage serveru budeme data valit pres NFS misto SSHFS.
S tim budou taky souviset zmeny ve vpsAdminu, ktere musim jeste dovymyslet a naprogramovat, ale pocitam, ze spousta te prace bude realizovatelna az teprv, kdyz budeme uz mit zalohovani na BTRFS v provozu.
O prubehu budu informovat na community-listu.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com
_______________________________________________ News-list mailing list News-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/news-list
-- Tato zprava byla prohledana na vyskyt viru a nebezpecneho obsahu antivirovym systemem MailScanner a zda se byt cista.
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
To je presne duvod, proc to pisu s takovym predstihem, ale jestli ma nekdo lepsi napad nebo dostatecnou kapacitu k pujceni, sem s tim :)
//snajpa
On 06/18/2012 01:01 PM, Václav Blahout wrote:
Tohle se mi moc nelíbí, ač tomu ne zcela rozumím. Takže prostě mám teď pustit kompletní zálohy, abych nedopadnul jako sedláci u Chlumce a do pátku měl něco v ruce?
-----Original Message----- From: news-list-bounces@lists.vpsfree.cz [mailto:news-list-bounces@lists.vpsfree.cz] On Behalf Of Pavel Snajdr Sent: Monday, June 18, 2012 12:42 PM To: news-list@lists.vpsfree.cz Cc: vpsFree.cz Community list Subject: [vpsFree.cz: news-list] DULEZITE: Zmeny v zalohovani
Ahoj vsichni,
zacnu dobrou zpravou - mame hodne virtualu, v absolutnich cislech jich je ted presne 365.
Spatnou zpravou je, ze zalohovaci system, jak ho mame ted, to absolutne nestiha.
TL;DR: Zmenime system zalohovani,
*** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres vikend predelavame cely system zalohovani, takze po tu dobu nebudou dostupne vubec zadne zalohy ***
Koho zajimaji detaily:
Aktualne zalohujeme pomoci rdiff-backup utility, ktera stavi nad rsyncem. Data se prenasi pres SSHFS.
Cely tenhle system funguje pekne, kdyz neni prilis moc dat a prilis moc malych souboru, pak rsync protokol pres SSHFS prestava stihat. Dalsim duvodem je ze rdiff musi z principu prochazet zmenene soubory a hledat v nich zmeny, aby inkrement te zalohy byl co nejmensi.
Jenze nam to prestava stihat storage, a i kdybychom nasli cestu jak ho donutit stihat tolik cteni a do toho tolik zapisu, meli bychom problem se zvysujicim se seekovani disku, protoze zalohovani jednotlivych serveru se cim dal vic prekryva.
Resenim, ktere jsme vymysleli a ktere se zda byt nejlepsi je pouzit BTRFS a jeho snapshoty (a pripadne deduplikaci, jakmile ji do RHEL6 backportuji) a PCIe SSD jako writeback cache.
Storage server ma redundantni zdroje, napajeni jeste nikdy nevypadlo a cely system je (po reklamaci pameti) uz poradne stabilni, takze neni ceho se v ohledu BTRFS bat - na produkcni masiny, kde bezi virtualy, bychom si ho nedovolili nasadit, ale na zalohy proc ne.
Na BTRFS na storage serveru budeme data valit pres NFS misto SSHFS.
S tim budou taky souviset zmeny ve vpsAdminu, ktere musim jeste dovymyslet a naprogramovat, ale pocitam, ze spousta te prace bude realizovatelna az teprv, kdyz budeme uz mit zalohovani na BTRFS v provozu.
O prubehu budu informovat na community-listu.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com _______________________________________________ News-list mailing list News-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/news-list
-- Tato zprava byla prohledana na vyskyt viru a nebezpecneho obsahu antivirovym systemem MailScanner a zda se byt cista.
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Abych to trosku priblizil - vyhodit 13 tisic pro zachranu v principu "redundantnich" dat mi prijde jako blbost a skoda penez, ale dejme tomu, ze bychom do toho sli; pak je tu ale jiny problem:
to kopirovani zaloh by trvalo nekolik dni a v prubehu by to diskove pole nebylo schopne delat vubec nic, protoze by to proste nestihalo, natoz zalohovat dal... => zaver z toho je, ze udelat rychle a efektivne zahozeni zaloh ma v sobe nizsi rizika, nez se snazit ta data nejak zachranit.
//snajpa
On 06/18/2012 01:03 PM, Pavel Snajdr wrote:
To je presne duvod, proc to pisu s takovym predstihem, ale jestli ma nekdo lepsi napad nebo dostatecnou kapacitu k pujceni, sem s tim :)
//snajpa
On 06/18/2012 01:01 PM, Václav Blahout wrote:
Tohle se mi moc nelíbí, ač tomu ne zcela rozumím. Takže prostě mám teď pustit kompletní zálohy, abych nedopadnul jako sedláci u Chlumce a do pátku měl něco v ruce?
-----Original Message----- From: news-list-bounces@lists.vpsfree.cz [mailto:news-list-bounces@lists.vpsfree.cz] On Behalf Of Pavel Snajdr Sent: Monday, June 18, 2012 12:42 PM To: news-list@lists.vpsfree.cz Cc: vpsFree.cz Community list Subject: [vpsFree.cz: news-list] DULEZITE: Zmeny v zalohovani
Ahoj vsichni,
zacnu dobrou zpravou - mame hodne virtualu, v absolutnich cislech jich je ted presne 365.
Spatnou zpravou je, ze zalohovaci system, jak ho mame ted, to absolutne nestiha.
TL;DR: Zmenime system zalohovani,
*** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres vikend predelavame cely system zalohovani, takze po tu dobu nebudou dostupne vubec zadne zalohy ***
Koho zajimaji detaily:
Aktualne zalohujeme pomoci rdiff-backup utility, ktera stavi nad rsyncem. Data se prenasi pres SSHFS.
Cely tenhle system funguje pekne, kdyz neni prilis moc dat a prilis moc malych souboru, pak rsync protokol pres SSHFS prestava stihat. Dalsim duvodem je ze rdiff musi z principu prochazet zmenene soubory a hledat v nich zmeny, aby inkrement te zalohy byl co nejmensi.
Jenze nam to prestava stihat storage, a i kdybychom nasli cestu jak ho donutit stihat tolik cteni a do toho tolik zapisu, meli bychom problem se zvysujicim se seekovani disku, protoze zalohovani jednotlivych serveru se cim dal vic prekryva.
Resenim, ktere jsme vymysleli a ktere se zda byt nejlepsi je pouzit BTRFS a jeho snapshoty (a pripadne deduplikaci, jakmile ji do RHEL6 backportuji) a PCIe SSD jako writeback cache.
Storage server ma redundantni zdroje, napajeni jeste nikdy nevypadlo a cely system je (po reklamaci pameti) uz poradne stabilni, takze neni ceho se v ohledu BTRFS bat - na produkcni masiny, kde bezi virtualy, bychom si ho nedovolili nasadit, ale na zalohy proc ne.
Na BTRFS na storage serveru budeme data valit pres NFS misto SSHFS.
S tim budou taky souviset zmeny ve vpsAdminu, ktere musim jeste dovymyslet a naprogramovat, ale pocitam, ze spousta te prace bude realizovatelna az teprv, kdyz budeme uz mit zalohovani na BTRFS v provozu.
O prubehu budu informovat na community-listu.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com _______________________________________________ News-list mailing list News-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/news-list
-- Tato zprava byla prohledana na vyskyt viru a nebezpecneho obsahu antivirovym systemem MailScanner a zda se byt cista.
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256
Nakonec to misto BTRFS vypada na kombinaci RHEL + ZFS (zfsonlinux.org), v podstate duvod, proc jsem nechtel ZFS na Linuxu je nejistota, jestli to nekdo bude udrzovat dal.
Ale uspesne jsem si vyzkousel ze kdyz by tohle nastalo, staci prejit na FreeBSD, pripadne Debian/kFreeBSD a pokracujeme dal, ale dokud muzu, radsi volim mne pohodlnejsi RHEL (navic ze vsech zminenych kombinaci se tomu nejlip dela deployment, kdybych tuhle konfiguraci chtel pak napriklad pouzit v Relbitu).
=> O zalohy se bat nemusite, budou na overenem FS.
Jo a jinak, ujisteni - sice docasne zahodime zalohovani a zalohy, nicmene jakmile nasadime RHEL/ZFS, zalohovat se bude dal (akorat tam bude chybet historie co tam je ted, ta by stejne ale po 14ti dnech prestala byt relevantni).
S integraci do vpsAdminu, jako to je ted, pocitam, ale mozna bude trvat par dni to tam dodelat a doladit.
Nicmene je potreba s tema zalohama neco udelat ASAP, protoze ted uz se pomalu nestihaji udelat zalohy za 24h, takze by nesly delat denni inkrementalni backupy.
Stay tuned, budu informovat dal.
Nicmene pro klid na dusi si, pokud tam mate neco kritickeho, radsi aktualni zalohu stahnete prosim k sobe.
//snajpa
On 06/18/2012 12:41 PM, Pavel Snajdr wrote:
Ahoj vsichni,
zacnu dobrou zpravou - mame hodne virtualu, v absolutnich cislech jich je ted presne 365.
Spatnou zpravou je, ze zalohovaci system, jak ho mame ted, to absolutne nestiha.
TL;DR: Zmenime system zalohovani,
*** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres vikend predelavame cely system zalohovani, takze po tu dobu nebudou dostupne vubec zadne zalohy ***
Koho zajimaji detaily:
Aktualne zalohujeme pomoci rdiff-backup utility, ktera stavi nad rsyncem. Data se prenasi pres SSHFS.
Cely tenhle system funguje pekne, kdyz neni prilis moc dat a prilis moc malych souboru, pak rsync protokol pres SSHFS prestava stihat. Dalsim duvodem je ze rdiff musi z principu prochazet zmenene soubory a hledat v nich zmeny, aby inkrement te zalohy byl co nejmensi.
Jenze nam to prestava stihat storage, a i kdybychom nasli cestu jak ho donutit stihat tolik cteni a do toho tolik zapisu, meli bychom problem se zvysujicim se seekovani disku, protoze zalohovani jednotlivych serveru se cim dal vic prekryva.
Resenim, ktere jsme vymysleli a ktere se zda byt nejlepsi je pouzit BTRFS a jeho snapshoty (a pripadne deduplikaci, jakmile ji do RHEL6 backportuji) a PCIe SSD jako writeback cache.
Storage server ma redundantni zdroje, napajeni jeste nikdy nevypadlo a cely system je (po reklamaci pameti) uz poradne stabilni, takze neni ceho se v ohledu BTRFS bat - na produkcni masiny, kde bezi virtualy, bychom si ho nedovolili nasadit, ale na zalohy proc ne.
Na BTRFS na storage serveru budeme data valit pres NFS misto SSHFS.
S tim budou taky souviset zmeny ve vpsAdminu, ktere musim jeste dovymyslet a naprogramovat, ale pocitam, ze spousta te prace bude realizovatelna az teprv, kdyz budeme uz mit zalohovani na BTRFS v provozu.
O prubehu budu informovat na community-listu.
S pozdravem
Pavel Snajdr
+421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
community-list@lists.vpsfree.cz
-
Jan Matoušek -
Ján Šmatlík -
marcel novotny -
Michal Dobsovic -
Ondrej Flidr -
Pavel Snajdr -
Radek Pilar -
tomas＠starhill.org -
Václav Blahout