Ahoj, ladim spatny vykon zapisu do sqlite databaze v produkci (jak je to dobre rozhodnuti nechme na jinou debatu :-D ); zapisy se deji v jednom threadu. Problem je v tom, ze transakce v produkci jsou 10-20krat pomalejsi nez u me na localhostu. Snazim se zjistit cim to je (driv nez budu muset migrovat na jinou db). Nesetkal jste se nekdo s necim podobnym? Nejake napady? Zkousel jsem zreplikovat chovani pomoci jednoducheho (serioveho) skriptu s 500 commity: https://pastebin.com/huhhVGw2 vysledky: Journal (write ahead log) x synchronous mode (off nejrychlejsi, normal bezpecnejsi & pomalejsi), cisla jsou mean +- std vteriny. localhost (ssd v notebooku) journal= sync=OFF 1.051 +- 0.042 journal= sync=NORMAL 2.502 +- 0.237 journal=WAL sync=OFF 1.042 +- 0.022 journal=WAL sync=NORMAL 1.135 +- 0.065 produkcni stroj @ node21.prg journal= sync=OFF 2.778 +- 1.415 journal= sync=NORMAL 2.876 +- 0.627 journal=WAL sync=OFF 2.382 +- 0.404 journal=WAL sync=NORMAL 2.475 +- 0.494 Prijde mi zvlastni maly rozdil mezi jednotlivymi rezimy ve vps & to ze vse je o hodne pomalejsi nez nevirtualizovany stroj, myslite, ze to vznika nejakou vps abstrakci nad ssd? Nejake napady co s tim? Diky, JM _______________________________________________ Community-list mailing list -- community-list(a)lists.vpsfree.cz To unsubscribe send an email to community-list-leave(a)lists.vpsfree.cz

Ahoj, tak to by mne docela zajimalo, myslim, ze problem bude nekde jinde :) Anekdoticky podobne relevantni tvrzeni: ja pozoruju jenom zrychleni, ale nikde na nic zrovna konkretne sqlite nepotrebuju :D zrovna pri tech aktualizacich si toho zrychleni vsimnu nejvic :) Pro drtivou vetsinu bezicich virtualu jeste presun na vpsAdminOS znamenal presun z rotacaku na SSDcka. Ze bude spatne napsana aplikace mit se ZFS horsi vykon, mne vcelku neprekvapuje taktez - obzvlast, kdyz nepocita s potrebou predchazeni read-modify-write, jak pise Glux - cehoz je sqlite zrovna asi jeden z nejlepsich prikladu, co vubec jde najit :D Jeste, kdyz se to pri kazdem tom RMW cyklu znova dekomprimuje a komprimuje... konstruktivne muzu poradit akorat udelat tomu sqlite separatni dataset, kteremu se vypne komprese a nastavi se velikost recordsize tak, sedela s page_size u sqlite (v nasem setupu bych videl jako optimalni sweet spot neco mezi 16 a 64 kB). Tohle plati pro jakoukoliv databazoidni aplikaci, od ktere je potreba vykon - hodit na zvlastni dataset, vypnout kompresi a naladit velikost bloku proti sobe spravne. Jinak ma totiz ZFS dynamickou velikost bloku a pokud se zapise tech dat najednou vic, tak skonci az 128 kB v jednom bloku spolu a tohle se pak bude vzdycky prepisovat cele, i kdyz se v tom zmeni jeden jediny bajt. Pro obecny use-case dava v nasem pripade smysl mit defaulty takto, benefity checksumu, komprese a dynamicke veikosti bloku hodne prevysuji vyhody storage natuneneho na perfektni latenci pri jednom threadu, ktery dela neoptimalni IO pattern. Zmenit/ovlivnit si to pro svoje data muze kazdy, tyhle properties jsou vystavene pres vpsAdmin. Doporucuju pro takova specificka data udelat separatni dataset, at muze mit ta nastaveni jenom on. Jedine, co nejde u ZFS vypnout, jsou checksumy a copy on write (ale presne kvuli tomu ZFS pouzivame :D) /snajpa On 2023-03-03 18:00, Petr Vanek wrote: > Caues. Já mám dost mizerný write od migrace na nový AdminOS nebo jak > se to jmenuje. Ale ještě jsem nenašel čas na analýzu. > > Objevil jsem to při manuálních aktualizacích. > > Petr > > Mar 3, 2023 17:53:25 Josef Moudrik <j.moudrik(a)gmail.com>om>: > >> Ahoj, >> >> ladim spatny vykon zapisu do sqlite databaze v produkci (jak je to >> dobre rozhodnuti nechme na jinou debatu :-D ); zapisy se deji v >> jednom >> threadu. Problem je v tom, ze transakce v produkci jsou  10-20krat >> pomalejsi nez u me na localhostu. Snazim se zjistit cim to je (driv >> nez budu muset migrovat na jinou db). >> >> Nesetkal jste se nekdo s necim podobnym? Nejake napady? >> >> Zkousel jsem zreplikovat chovani pomoci jednoducheho (serioveho) >> skriptu s 500 commity: >> https://pastebin.com/huhhVGw2 >> >> vysledky: Journal (write ahead log) x synchronous mode (off >> nejrychlejsi, normal bezpecnejsi & pomalejsi), cisla jsou mean +- std >> vteriny. >> >> >> localhost (ssd v notebooku) >> journal= sync=OFF    1.051 +- 0.042 >> journal= sync=NORMAL    2.502 +- 0.237 >> journal=WAL sync=OFF    1.042 +- 0.022 >> journal=WAL sync=NORMAL    1.135 +- 0.065 >> >> produkcni stroj @ node21.prg >> journal= sync=OFF    2.778 +- 1.415 >> journal= sync=NORMAL    2.876 +- 0.627 >> journal=WAL sync=OFF    2.382 +- 0.404 >> journal=WAL sync=NORMAL    2.475 +- 0.494 >> >> >> Prijde mi zvlastni maly rozdil mezi jednotlivymi rezimy ve vps & to >> ze >> vse je o hodne pomalejsi nez nevirtualizovany stroj, myslite, ze to >> vznika nejakou vps abstrakci nad ssd? >> >> Nejake napady co s tim? >> >> Diky, >> JM >> _______________________________________________ >> Community-list mailing list -- community-list(a)lists.vpsfree.cz >> To unsubscribe send an email to community-list-leave(a)lists.vpsfree.cz > _______________________________________________ > Community-list mailing list -- community-list(a)lists.vpsfree.cz > To unsubscribe send an email to community-list-leave(a)lists.vpsfree.cz