[vpsFree.cz: community-list] DULEZITE: Zmeny v zalohovani

[Pavel Snajdr]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256

Ahoj vsichni,

zacnu dobrou zpravou - mame hodne virtualu, v absolutnich cislech jich
je ted presne 365.

Spatnou zpravou je, ze zalohovaci system, jak ho mame ted, to
absolutne nestiha.

TL;DR: Zmenime system zalohovani,

*** V patek 29. 6. vecer MAZEME VSECHNY ZALOHY a pres vikend
predelavame cely system zalohovani,
takze po tu dobu nebudou dostupne vubec zadne zalohy ***

Koho zajimaji detaily:

Aktualne zalohujeme pomoci rdiff-backup utility, ktera stavi nad
rsyncem. Data se prenasi pres SSHFS.

Cely tenhle system funguje pekne, kdyz neni prilis moc dat a prilis
moc malych souboru, pak rsync protokol pres SSHFS prestava stihat.
Dalsim duvodem je ze rdiff musi z principu prochazet zmenene soubory a
hledat v nich zmeny, aby inkrement te zalohy byl co nejmensi.

Jenze nam to prestava stihat storage, a i kdybychom nasli cestu jak ho
donutit stihat tolik cteni a do toho tolik zapisu, meli bychom problem
se zvysujicim se seekovani disku, protoze zalohovani jednotlivych
serveru se cim dal vic prekryva.

Resenim, ktere jsme vymysleli a ktere se zda byt nejlepsi je pouzit
BTRFS a jeho snapshoty (a pripadne deduplikaci, jakmile ji do RHEL6
backportuji) a PCIe SSD jako writeback cache.

Storage server ma redundantni zdroje, napajeni jeste nikdy nevypadlo a
cely system je (po reklamaci pameti) uz poradne stabilni, takze neni
ceho se v ohledu BTRFS bat - na produkcni masiny, kde bezi virtualy,
bychom si ho nedovolili nasadit, ale na zalohy proc ne.

Na BTRFS na storage serveru budeme data valit pres NFS misto SSHFS.

S tim budou taky souviset zmeny ve vpsAdminu, ktere musim jeste
dovymyslet a naprogramovat, ale pocitam, ze spousta te prace bude
realizovatelna az teprv, kdyz budeme uz mit zalohovani na BTRFS v provozu.

O prubehu budu informovat na community-listu.

S pozdravem

Pavel Snajdr

+421 948 816 186  | +420 720 107 791          | 110-010-956
CTO of Relbit     | Predseda vpsFree.cz, o.s. | RHCE
http://relbit.com | http://vpsfree.cz         | https://www.redhat.com
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/

iF4EAREIAAYFAk/fBeYACgkQdh+64ds5DaYaowEAqPYDdd3ASW+JBRqFJu4iBmIG
Kw+TY6LH9lwUBV8qUxgBAO/byfOPl/kLi2TgBXkjlM1icbLM2QuoD0s2MPav9N1J
=7zkG
-----END PGP SIGNATURE-----