*** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres vikend predelavame cely system zalohovani, takze po tu dobu nebudou dostupne vubec zadne zalohy ***

-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 Jestli nam umis pujcit pole s kapacitou 10TB, velice rad ty zalohy nekam zkopiruju, ale sdruzeni nema ted prostredky, kam s takovym mnozstvim dat. Stve mne to stejne jako tebe, ale at jsem vymejslel, jak jsem vymejslel, krome nakupu hromady HW, ktery bude po presunu lezet ladem, mne nic jinyho nenapadlo. //snajpa On 06/18/2012 12:52 PM, Radek Pilar wrote: _______________________________________________ Community-list mailing list Community-list(a)lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list

Tohle se mi moc nelíbí, ač tomu ne zcela rozumím. Takže prostě mám teď pustit kompletní zálohy, abych nedopadnul jako sedláci u Chlumce a do pátku měl něco v ruce? -----Original Message----- From: news-list-bounces(a)lists.vpsfree.cz [mailto:news-list-bounces@lists.vpsfree.cz] On Behalf Of Pavel Snajdr Sent: Monday, June 18, 2012 12:42 PM To: news-list(a)lists.vpsfree.cz Cc: vpsFree.cz Community list Subject: [vpsFree.cz: news-list] DULEZITE: Zmeny v zalohovani Ahoj vsichni, zacnu dobrou zpravou - mame hodne virtualu, v absolutnich cislech jich je ted presne 365. Spatnou zpravou je, ze zalohovaci system, jak ho mame ted, to absolutne nestiha. TL;DR: Zmenime system zalohovani, *** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres vikend predelavame cely system zalohovani, takze po tu dobu nebudou dostupne vubec zadne zalohy *** Koho zajimaji detaily: Aktualne zalohujeme pomoci rdiff-backup utility, ktera stavi nad rsyncem. Data se prenasi pres SSHFS. Cely tenhle system funguje pekne, kdyz neni prilis moc dat a prilis moc malych souboru, pak rsync protokol pres SSHFS prestava stihat. Dalsim duvodem je ze rdiff musi z principu prochazet zmenene soubory a hledat v nich zmeny, aby inkrement te zalohy byl co nejmensi. Jenze nam to prestava stihat storage, a i kdybychom nasli cestu jak ho donutit stihat tolik cteni a do toho tolik zapisu, meli bychom problem se zvysujicim se seekovani disku, protoze zalohovani jednotlivych serveru se cim dal vic prekryva. Resenim, ktere jsme vymysleli a ktere se zda byt nejlepsi je pouzit BTRFS a jeho snapshoty (a pripadne deduplikaci, jakmile ji do RHEL6 backportuji) a PCIe SSD jako writeback cache. Storage server ma redundantni zdroje, napajeni jeste nikdy nevypadlo a cely system je (po reklamaci pameti) uz poradne stabilni, takze neni ceho se v ohledu BTRFS bat - na produkcni masiny, kde bezi virtualy, bychom si ho nedovolili nasadit, ale na zalohy proc ne. Na BTRFS na storage serveru budeme data valit pres NFS misto SSHFS. S tim budou taky souviset zmeny ve vpsAdminu, ktere musim jeste dovymyslet a naprogramovat, ale pocitam, ze spousta te prace bude realizovatelna az teprv, kdyz budeme uz mit zalohovani na BTRFS v provozu. O prubehu budu informovat na community-listu. S pozdravem Pavel Snajdr +421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com _______________________________________________ News-list mailing list News-list(a)lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/news-list -- Tato zprava byla prohledana na vyskyt viru a nebezpecneho obsahu antivirovym systemem MailScanner a zda se byt cista. -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/ iF4EAREIAAYFAk/fCwwACgkQdh+64ds5DaZewwD9Fit5uFn30jHRtvDeXSbfC51a EI/kPbMyn2tcsTl1c/QA/0p4iyKxWo0A+q1BnUINYXrEKJcVl74qPiytJ3KxFanR =jL4Y -----END PGP SIGNATURE-----

Jestli nam umis pujcit pole s kapacitou 10TB, velice rad ty zalohy nekam zkopiruju, ale sdruzeni nema ted prostredky, kam s takovym mnozstvim dat.

Co takhle ulozit kazdymu kdo ma na vps dost mista posledni zalohu at si ji nekam docasne schova sam? On Mon, 18 Jun 2012 12:54:10 +0200, Pavel Snajdr <snajpa(a)snajpa.net> wrote: Jestli nam umis pujcit pole s kapacitou 10TB, velice rad ty zalohy nekam zkopiruju, ale sdruzeni nema ted prostredky, kam s takovym mnozstvim dat. Stve mne to stejne jako tebe, ale at jsem vymejslel, jak jsem vymejslel, krome nakupu hromady HW, ktery bude po presunu lezet ladem, mne nic jinyho nenapadlo. //snajpa On 06/18/2012 12:52 PM, Radek Pilar wrote: _______________________________________________ Community-list mailing list Community-list(a)lists.vpsfree.cz -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/ iF4EAREIAAYFAk/fDk4ACgkQdh+64ds5DaYXdQD6A8cq8QMMU+2r5+D7JtZ6rPiT 9RQfFex3lRz6hNplW1AA/jsLP9IfWdHXl1mMOvDc0ZxOviBKzUl93n1vqlI33JV4 =Hghe -----END PGP SIGNATURE-----

Zdar Jo, to prave delam. (nicmene ja tam nemam temer nic). spis me napada, jestli na nodech neni v taru, abych to nemusel zase cely tarovat ... ale jen stahnout. marcel On 06/18/2012 01:17 PM, Pavel Snajdr wrote: Vsak si ji kazdej v pohode muze primountovat a odzalohovat driv, nez to stihneme smazat :) //snajpa On 06/18/2012 12:56 PM, tomas(a)starhill.org wrote: _______________________________________________ Community-list mailing list Community-list(a)lists.vpsfree.cz -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/ iF4EAREIAAYFAk/fD0IACgkQdh+64ds5DaZ07AEAlQPrYCtB73Ifvrw3gPTYd0t6 PzPJPQU5V/PCBuIZriwBAORpJcc7li1W6DAGxJ+5W67AihA+v3JiOsDLuZLYL8d9 =FAaX -----END PGP SIGNATURE-----

-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 Budu naprosto uprimnej: to je ten nejblbejsi napad, s kterym kdo mohl prijit :) Nevim, co vsichni mate s tema cloudovyma sluzbama, vsak je to predrazena hovadina, mnohem levneji vyjde koupit disky a odkopirovat to lokalne. Cena storage na S3 je vysoka, cena prenoveho pasma taky neni nulova a spolehlivost S3 a jeho povest je srackoidni... Dalsi vec je, ze bychom museli resit bezpecnost a i pres pouziti nejsilnejsiho sifrovani nemame nikde zaruku, ze data nepujdou rozsifrovat v budoucnu. Radsi bych vsechny servery rozmlatil kladivem a pak skocil z budovy, kde je master (je dost vysoka, abych to neprezil), nez abych udelal takovou hovadinu... //snajpa On 06/18/2012 01:11 PM, Jan Matoušek wrote: _______________________________________________ Community-list mailing list Community-list(a)lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list

-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 Vsak si ji kazdej v pohode muze primountovat a odzalohovat driv, nez to stihneme smazat :) //snajpa On 06/18/2012 12:56 PM, tomas(a)starhill.org wrote: _______________________________________________ Community-list mailing list Community-list(a)lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list

Ahoj vsichni, zacnu dobrou zpravou - mame hodne virtualu, v absolutnich cislech jich je ted presne 365. Spatnou zpravou je, ze zalohovaci system, jak ho mame ted, to absolutne nestiha. TL;DR: Zmenime system zalohovani, *** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres vikend predelavame cely system zalohovani, takze po tu dobu nebudou dostupne vubec zadne zalohy *** Koho zajimaji detaily: Aktualne zalohujeme pomoci rdiff-backup utility, ktera stavi nad rsyncem. Data se prenasi pres SSHFS. Cely tenhle system funguje pekne, kdyz neni prilis moc dat a prilis moc malych souboru, pak rsync protokol pres SSHFS prestava stihat. Dalsim duvodem je ze rdiff musi z principu prochazet zmenene soubory a hledat v nich zmeny, aby inkrement te zalohy byl co nejmensi. Jenze nam to prestava stihat storage, a i kdybychom nasli cestu jak ho donutit stihat tolik cteni a do toho tolik zapisu, meli bychom problem se zvysujicim se seekovani disku, protoze zalohovani jednotlivych serveru se cim dal vic prekryva. Resenim, ktere jsme vymysleli a ktere se zda byt nejlepsi je pouzit BTRFS a jeho snapshoty (a pripadne deduplikaci, jakmile ji do RHEL6 backportuji) a PCIe SSD jako writeback cache. Storage server ma redundantni zdroje, napajeni jeste nikdy nevypadlo a cely system je (po reklamaci pameti) uz poradne stabilni, takze neni ceho se v ohledu BTRFS bat - na produkcni masiny, kde bezi virtualy, bychom si ho nedovolili nasadit, ale na zalohy proc ne. Na BTRFS na storage serveru budeme data valit pres NFS misto SSHFS. S tim budou taky souviset zmeny ve vpsAdminu, ktere musim jeste dovymyslet a naprogramovat, ale pocitam, ze spousta te prace bude realizovatelna az teprv, kdyz budeme uz mit zalohovani na BTRFS v provozu. O prubehu budu informovat na community-listu. S pozdravem Pavel Snajdr +421 948 816 186 | +420 720 107 791 | 110-010-956 CTO of Relbit | Predseda vpsFree.cz, o.s. | RHCE http://relbit.com | http://vpsfree.cz | https://www.redhat.com _______________________________________________ Community-list mailing list Community-list(a)lists.vpsfree.cz -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.12 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/ iF4EAREIAAYFAk/gzAEACgkQdh+64ds5DabCdwD8D/JjOSmJATx/nxou4cHhi914 qXvZBcQwQgPipip6ZvcBAOmulBXFGX3g7R7fT77r8aqOxdBs2zVHjSkYmr/XztgX =pkuf -----END PGP SIGNATURE-----