-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 I by mi to prislo vtipny, ale spis je to smutny... to to sakra nemuzou udelat poradne? ... /snajpa On 09/25/2013 10:26 AM, Stanislav Petr wrote:

-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 Kratka odpoved: vim, vyreseno workaroundem. Dlouha odpoved: Za urcity konstelace hvezd nam deadlockoval spl_system_task. Zaseknul se na tom, ze nemuze naalokovat pamet - tedy projevuje se to na serverech pod memory pressure. No a pak to vedlo k procesum, cekajicim na IO, protoze ty spl_system_tasky jsou tam v necem jako thread poolu, kam se prace rozdeluje round-robinem a kdyz dosla rada zrovna na ten deadlocknuty (pri vyssi zatezi, kdyz se nestihalo, coz se delo bezne, viz dalsi text), proste ta IO operace zustala viset. Jedinou pomoci byl reboot (nekdy dokonce jenom reset) toho serveru. Konkretne pri pokusu o serializaci dat a zfs send | ssh remote_node zfs receive se to stavalo celkem bezne. Takhle jsme chteli zalohovat, ze by se proste na nodu udelal snapshot VPS a data toho snapshotu se cele, jak jsou, vezmou a prenesou na zalohovaci server (backuper.prg). Takze jsme send/recv prestali delat a vratili jsme se k zalohovani rsyncem, dokud tuhle chybu neopravi. Jinak node6 ma na sobe aktualne asi vsechny VPS, ktere nejakym zpusobem delaji IO. Je totalne nejvytizenejsi ze vsech masin, co mame. Zkouska ohnem - az na takovou uroven, ze to ty disky misty nestihaji. Po tom, co doinstaluju node5 to trochu rozbalancuju. Na playground nody, ktere se ted nezalohuji, pujde ZFS v plny konfiguraci se zalohovanim pres send/recv, abychom vedeli o momentu, kdy to fixnou. Tam nevadi casty restart - nejsou stejne urcene na produkcni provoz. Jinak lidi, shanime do Relbitu (mozna napul s vpsFree) nekoho na vyvoj ZFS, jestli vite o nekom, kdo umi C a neboji se uspinit kernel kodem, posleteho mym smerem. /snajpa On 09/25/2013 12:06 PM, Pavel Vondřička wrote:

-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 Ale vedeli a to pokazdy, jenom nekdy reakce zabrala dyl (kdyz jsem v autobuse a podobne), protoze reseni veci se ZFS jsem si vzal exkluzivne ja, abych o nem mel presne prehled. A zprava na outage nedosla, protoze je to ted dementne nastavene... long story. /snajpa On 09/25/2013 12:37 PM, Jan Munclinger wrote:

-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 Aha, takhle jsi to myslel - no, ano, vedel jsem o tom, az kdyz mi prestala odpovidat VPS nebo se mi nekdo ozval, ze se mu stalo podobne. Protoze se to blbe monitoruje, jelikoz monitoring to nezachyti spolehlive, kdyz se to tyka jenom nekterych procesu. Ja te pochopil tak, ze jsi byl v dojmu, ze jsme to proste neresili a nechali byt, na to jsem reagoval. /snajpa On 09/25/2013 12:50 PM, Jan Munclinger wrote:

Muzu se zeptat na snapshotech blbne? Momentalne mam 6000+ snapshotu a problem zadny. Narazil jsem jen na tuhnuti se zpool 28 a zfs 5 pri vetsim I/O a to se snapshotama i bez. Verze 23+4 netuhne (pokud teda nedojde pamet :) ). Petr On 09/25/2013 09:17 AM, Pavel Snajdr wrote:

no jo, pravda zpool: data1 version 23 local data2 version 23 local data3 version - default zfs: data1 version 4 - data2 version 4 - data3 version 5 - Je to spl/zfs 0.6.2 tedy aktualni verze a jadro 3.10.9-100.fc18.x86_64. Pooly data1 a data2 jsou vytvoreny na FreeBSD a momentalne provozany na Linuxu (stejny stroj jako data3). Pouzivam create/destroy/mount/send/recive. Kratce sem pouzival i ZFS-FUSE, taky bez problemu. Jak presne se to projevuje? Jestli hrozi pad FS tak me to docela zajima :) Petr On 09/26/2013 01:58 AM, Pavel Snajdr wrote: