mysql po pár měsících potřebuje reload všech dat
Ahoj, řeším takovou zvláštní věc, která se mi opakovaně děje. Mám v MySQL InnoDB databázi (v gzipu má asi 250 MB) a po několika měsících používání některé komplexnější dotazy prostě přestanou dobíhat. Resp. dobíhají, ale řádově v minutách, když jinak dobíhaly v milisekundách. Veškeré pokusy o optimalizace a nějaké přenastavení nikam nevedou. Jediným řešením je dropnutí úplně všeho a opětovný import. Jednou mi dokonce ani to nepomohlo a tak jsem prostě dropnul celý kontejner a vše jelo až po přeinstalaci celého stroje. Celý to zní zvláštně a samotnýmu se mi tomu nechce věřit a hlavně nevím co s tím dělat, aby se to neopakovalo. Dnes v noci hodlám vše zastavit a udělat nový kontejner s MySQL, vše přenést a pak jen přehodit IP adresy MySQL stroje. Což znamená, že mi zůstane původní kontejner na ladění a srovnání, co může být špatně. Díky za jakýkoliv postřeh. Vojtěch Knyttl | GoOut knyttl@goout.cz +420 607 008 510 http://goout.cz
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 Cau, co je pod tim presne za setup? FS a tak? Verze jadra? /snajpa On 08/13/2015 04:56 PM, Vojtěch Knyttl wrote:
Ahoj,
řeším takovou zvláštní věc, která se mi opakovaně děje. Mám v MySQL InnoDB databázi (v gzipu má asi 250 MB) a po několika měsících používání některé komplexnější dotazy prostě přestanou dobíhat. Resp. dobíhají, ale řádově v minutách, když jinak dobíhaly v milisekundách. Veškeré pokusy o optimalizace a nějaké přenastavení nikam nevedou. Jediným řešením je dropnutí úplně všeho a opětovný import. Jednou mi dokonce ani to nepomohlo a tak jsem prostě dropnul celý kontejner a vše jelo až po přeinstalaci celého stroje. Celý to zní zvláštně a samotnýmu se mi tomu nechce věřit a hlavně nevím co s tím dělat, aby se to neopakovalo.
Dnes v noci hodlám vše zastavit a udělat nový kontejner s MySQL, vše přenést a pak jen přehodit IP adresy MySQL stroje. Což znamená, že mi zůstane původní kontejner na ladění a srovnání, co může být špatně.
Díky za jakýkoliv postřeh.
Vojtěch Knyttl | GoOut
knyttl@goout.cz +420 607 008 510 http://goout.cz
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNATURE----- Version: GnuPG v2 iF4EAREIAAYFAlXMvPIACgkQgRwOVqYrsFXpFgEA28wibFaAiPxIeI0WCk3E9Uo7 gdUcFQ1mzZ/bhlhp7MEBAICULNtwnHz4JQ3+ir1yiKpLgibEtXD144Wrmho7qZ06 =TWcU -----END PGP SIGNATURE-----
Ahoj, nemenis casto strukturu dat? (ALTER TABLE a podobne)? Necpes tam data s vypnutymi indexy? Mas tam vubec indexy? M On 08/13/2015 04:56 PM, Vojtěch Knyttl wrote:
Ahoj,
řeším takovou zvláštní věc, která se mi opakovaně děje. Mám v MySQL InnoDB databázi (v gzipu má asi 250 MB) a po několika měsících používání některé komplexnější dotazy prostě přestanou dobíhat. Resp. dobíhají, ale řádově v minutách, když jinak dobíhaly v milisekundách. Veškeré pokusy o optimalizace a nějaké přenastavení nikam nevedou. Jediným řešením je dropnutí úplně všeho a opětovný import. Jednou mi dokonce ani to nepomohlo a tak jsem prostě dropnul celý kontejner a vše jelo až po přeinstalaci celého stroje. Celý to zní zvláštně a samotnýmu se mi tomu nechce věřit a hlavně nevím co s tím dělat, aby se to neopakovalo.
Dnes v noci hodlám vše zastavit a udělat nový kontejner s MySQL, vše přenést a pak jen přehodit IP adresy MySQL stroje. Což znamená, že mi zůstane původní kontejner na ladění a srovnání, co může být špatně.
Díky za jakýkoliv postřeh.
Vojtěch Knyttl | GoOut
knyttl@goout.cz +420 607 008 510 http://goout.cz
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Nějaký malý ALTER TABLE dělám třeba ob den. Indexy samozřejmě mám, představ si, co by takhle velká věc bez indexů dělala :-) Ono bez indexů ani nejde dělat constraints, kterejma je to celý propojený. Jak říkám, jakmile všechno dropnu a vytvořím znovu, tak to zase pár měsíců bude běhat. Hlavní stroj SciLi: - Linux 2.6.32-042stab105.14 #1 SMP Fri Mar 13 20:06:37 MSK 2015 x86_64 x86_64 x86_64 GNU/Linux - FS: https://gist.github.com/knyttl/e349e1cbead4e9b341e7 Konejner Debian: - Linux 2.6.32-042stab105.14 #1 SMP Fri Mar 13 20:06:37 MSK 2015 x86_64 GNU/Linux - MySQL Server: 5.6.23-1~dotdeb.3 Klidně poskytnu cokoliv dalšího. Vojtěch Knyttl | GoOut knyttl@goout.cz +420 607 008 510 http://goout.cz On Thursday 13 August 2015 at 20:19, mrkva@mrkva.eu wrote:
Ahoj, nemenis casto strukturu dat? (ALTER TABLE a podobne)? Necpes tam data s vypnutymi indexy? Mas tam vubec indexy?
M
On 08/13/2015 04:56 PM, Vojtěch Knyttl wrote:
Ahoj,
řeším takovou zvláštní věc, která se mi opakovaně děje. Mám v MySQL InnoDB databázi (v gzipu má asi 250 MB) a po několika měsících používání některé komplexnější dotazy prostě přestanou dobíhat. Resp. dobíhají, ale řádově v minutách, když jinak dobíhaly v milisekundách. Veškeré pokusy o optimalizace a nějaké přenastavení nikam nevedou. Jediným řešením je dropnutí úplně všeho a opětovný import. Jednou mi dokonce ani to nepomohlo a tak jsem prostě dropnul celý kontejner a vše jelo až po přeinstalaci celého stroje. Celý to zní zvláštně a samotnýmu se mi tomu nechce věřit a hlavně nevím co s tím dělat, aby se to neopakovalo.
Dnes v noci hodlám vše zastavit a udělat nový kontejner s MySQL, vše přenést a pak jen přehodit IP adresy MySQL stroje. Což znamená, že mi zůstane původní kontejner na ladění a srovnání, co může být špatně.
Díky za jakýkoliv postřeh.
Vojtěch Knyttl | GoOut
knyttl@goout.cz (mailto:knyttl@goout.cz) +420 607 008 510 http://goout.cz
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz (mailto:Community-list@lists.vpsfree.cz) http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz (mailto:Community-list@lists.vpsfree.cz) http://lists.vpsfree.cz/listinfo/community-list
Attachments: - 0xE60DBF0D.asc
A "optimize table" tomu nepomuze? Honza 2015-08-13 20:45 GMT+02:00 Vojtěch Knyttl <knyttl@goout.cz>:
Nějaký malý ALTER TABLE dělám třeba ob den. Indexy samozřejmě mám, představ si, co by takhle velká věc bez indexů dělala :-) Ono bez indexů ani nejde dělat constraints, kterejma je to celý propojený. Jak říkám, jakmile všechno dropnu a vytvořím znovu, tak to zase pár měsíců bude běhat.
Hlavní stroj SciLi: - Linux 2.6.32-042stab105.14 #1 SMP Fri Mar 13 20:06:37 MSK 2015 x86_64 x86_64 x86_64 GNU/Linux - FS: https://gist.github.com/knyttl/e349e1cbead4e9b341e7
Konejner Debian: - Linux 2.6.32-042stab105.14 #1 SMP Fri Mar 13 20:06:37 MSK 2015 x86_64 GNU/Linux - MySQL Server: 5.6.23-1~dotdeb.3
Klidně poskytnu cokoliv dalšího.
Vojtěch Knyttl | GoOut
knyttl@goout.cz +420 607 008 510 http://goout.cz
On Thursday 13 August 2015 at 20:19, mrkva@mrkva.eu wrote:
Ahoj, nemenis casto strukturu dat? (ALTER TABLE a podobne)? Necpes tam data s vypnutymi indexy? Mas tam vubec indexy?
M
On 08/13/2015 04:56 PM, Vojtěch Knyttl wrote:
Ahoj,
řeším takovou zvláštní věc, která se mi opakovaně děje. Mám v MySQL InnoDB databázi (v gzipu má asi 250 MB) a po několika měsících používání některé komplexnější dotazy prostě přestanou dobíhat. Resp. dobíhají, ale řádově v minutách, když jinak dobíhaly v milisekundách. Veškeré pokusy o optimalizace a nějaké přenastavení nikam nevedou. Jediným řešením je dropnutí úplně všeho a opětovný import. Jednou mi dokonce ani to nepomohlo a tak jsem prostě dropnul celý kontejner a vše jelo až po přeinstalaci celého stroje. Celý to zní zvláštně a samotnýmu se mi tomu nechce věřit a hlavně nevím co s tím dělat, aby se to neopakovalo.
Dnes v noci hodlám vše zastavit a udělat nový kontejner s MySQL, vše přenést a pak jen přehodit IP adresy MySQL stroje. Což znamená, že mi zůstane původní kontejner na ladění a srovnání, co může být špatně.
Díky za jakýkoliv postřeh.
Vojtěch Knyttl | GoOut
knyttl@goout.cz +420 607 008 510 http://goout.cz
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Attachments: - 0xE60DBF0D.asc
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Optimize table bez efektu. Vojtěch Knyttl | GoOut knyttl@goout.cz +420 607 008 510 http://goout.cz On Thursday 13 August 2015 at 21:19, Jan Cermak wrote:
A "optimize table" tomu nepomuze?
Honza
2015-08-13 20:45 GMT+02:00 Vojtěch Knyttl <knyttl@goout.cz (mailto:knyttl@goout.cz)>:
Nějaký malý ALTER TABLE dělám třeba ob den. Indexy samozřejmě mám, představ si, co by takhle velká věc bez indexů dělala :-) Ono bez indexů ani nejde dělat constraints, kterejma je to celý propojený. Jak říkám, jakmile všechno dropnu a vytvořím znovu, tak to zase pár měsíců bude běhat.
Hlavní stroj SciLi: - Linux 2.6.32-042stab105.14 #1 SMP Fri Mar 13 20:06:37 MSK 2015 x86_64 x86_64 x86_64 GNU/Linux - FS: https://gist.github.com/knyttl/e349e1cbead4e9b341e7
Konejner Debian: - Linux 2.6.32-042stab105.14 #1 SMP Fri Mar 13 20:06:37 MSK 2015 x86_64 GNU/Linux - MySQL Server: 5.6.23-1~dotdeb.3
Klidně poskytnu cokoliv dalšího.
Vojtěch Knyttl | GoOut
knyttl@goout.cz (mailto:knyttl@goout.cz) +420 607 008 510 http://goout.cz
On Thursday 13 August 2015 at 20:19, mrkva@mrkva.eu (mailto:mrkva@mrkva.eu) wrote:
Ahoj, nemenis casto strukturu dat? (ALTER TABLE a podobne)? Necpes tam data s vypnutymi indexy? Mas tam vubec indexy?
M
On 08/13/2015 04:56 PM, Vojtěch Knyttl wrote:
Ahoj,
řeším takovou zvláštní věc, která se mi opakovaně děje. Mám v MySQL InnoDB databázi (v gzipu má asi 250 MB) a po několika měsících používání některé komplexnější dotazy prostě přestanou dobíhat. Resp. dobíhají, ale řádově v minutách, když jinak dobíhaly v milisekundách. Veškeré pokusy o optimalizace a nějaké přenastavení nikam nevedou. Jediným řešením je dropnutí úplně všeho a opětovný import. Jednou mi dokonce ani to nepomohlo a tak jsem prostě dropnul celý kontejner a vše jelo až po přeinstalaci celého stroje. Celý to zní zvláštně a samotnýmu se mi tomu nechce věřit a hlavně nevím co s tím dělat, aby se to neopakovalo.
Dnes v noci hodlám vše zastavit a udělat nový kontejner s MySQL, vše přenést a pak jen přehodit IP adresy MySQL stroje. Což znamená, že mi zůstane původní kontejner na ladění a srovnání, co může být špatně.
Díky za jakýkoliv postřeh.
Vojtěch Knyttl | GoOut
knyttl@goout.cz (mailto:knyttl@goout.cz) +420 607 008 510 http://goout.cz
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz (mailto:Community-list@lists.vpsfree.cz) http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz (mailto:Community-list@lists.vpsfree.cz) http://lists.vpsfree.cz/listinfo/community-list
Attachments: - 0xE60DBF0D.asc
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz (mailto:Community-list@lists.vpsfree.cz) http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz (mailto:Community-list@lists.vpsfree.cz) http://lists.vpsfree.cz/listinfo/community-list
Což je zvláštní - protože na InnoDB (myslím ze jsi někde psal ze to mas na něm) udělá optimize to ze tabulku založí znova, přesune data a udělá analyse table. Takže to samy jako kdyz to dropnes ty a následně naimportujes... Ikdyz data se neprespuvaji ve forme dumpu, ale přímo uvnitř InnoDB enginu. Zkusil bych tedy projít logy InnoDB. Zejména bych se podival jak je nastaveny zvětšování souboru s InnoDB daty. Zsvětsuje se kdyz v něm není místo vždy o nějaký v konfiguraci pevně daný blok. Pokud je tohle nastaveny moc vysoko, muze to teoreticky udělat podobnej problém jako popisuješ... Odesláno z iPhonu 13. 8. 2015 v 22:10, Vojtěch Knyttl <knyttl@goout.cz>:
Optimize table bez efektu.
Vojtěch Knyttl | GoOut
knyttl@goout.cz +420 607 008 510 http://goout.cz
On Thursday 13 August 2015 at 21:19, Jan Cermak wrote:
A "optimize table" tomu nepomuze?
Honza
2015-08-13 20:45 GMT+02:00 Vojtěch Knyttl <knyttl@goout.cz>:
Nějaký malý ALTER TABLE dělám třeba ob den. Indexy samozřejmě mám, představ si, co by takhle velká věc bez indexů dělala :-) Ono bez indexů ani nejde dělat constraints, kterejma je to celý propojený. Jak říkám, jakmile všechno dropnu a vytvořím znovu, tak to zase pár měsíců bude běhat.
Hlavní stroj SciLi: - Linux 2.6.32-042stab105.14 #1 SMP Fri Mar 13 20:06:37 MSK 2015 x86_64 x86_64 x86_64 GNU/Linux - FS: https://gist.github.com/knyttl/e349e1cbead4e9b341e7
Konejner Debian: - Linux 2.6.32-042stab105.14 #1 SMP Fri Mar 13 20:06:37 MSK 2015 x86_64 GNU/Linux - MySQL Server: 5.6.23-1~dotdeb.3
Klidně poskytnu cokoliv dalšího.
Vojtěch Knyttl | GoOut
knyttl@goout.cz +420 607 008 510 http://goout.cz
On Thursday 13 August 2015 at 20:19, mrkva@mrkva.eu wrote:
Ahoj, nemenis casto strukturu dat? (ALTER TABLE a podobne)? Necpes tam data s vypnutymi indexy? Mas tam vubec indexy?
M
On 08/13/2015 04:56 PM, Vojtěch Knyttl wrote:
Ahoj,
řeším takovou zvláštní věc, která se mi opakovaně děje. Mám v MySQL InnoDB databázi (v gzipu má asi 250 MB) a po několika měsících používání některé komplexnější dotazy prostě přestanou dobíhat. Resp. dobíhají, ale řádově v minutách, když jinak dobíhaly v milisekundách. Veškeré pokusy o optimalizace a nějaké přenastavení nikam nevedou. Jediným řešením je dropnutí úplně všeho a opětovný import. Jednou mi dokonce ani to nepomohlo a tak jsem prostě dropnul celý kontejner a vše jelo až po přeinstalaci celého stroje. Celý to zní zvláštně a samotnýmu se mi tomu nechce věřit a hlavně nevím co s tím dělat, aby se to neopakovalo.
Dnes v noci hodlám vše zastavit a udělat nový kontejner s MySQL, vše přenést a pak jen přehodit IP adresy MySQL stroje. Což znamená, že mi zůstane původní kontejner na ladění a srovnání, co může být špatně.
Díky za jakýkoliv postřeh.
Vojtěch Knyttl | GoOut
knyttl@goout.cz +420 607 008 510 http://goout.cz
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Attachments: - 0xE60DBF0D.asc
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 ploop? cili ext4 nad ext4? :) /snajpa On 08/13/2015 08:45 PM, Vojtěch Knyttl wrote:
Nějaký malý ALTER TABLE dělám třeba ob den. Indexy samozřejmě mám, představ si, co by takhle velká věc bez indexů dělala :-) Ono bez indexů ani nejde dělat constraints, kterejma je to celý propojený. Jak říkám, jakmile všechno dropnu a vytvořím znovu, tak to zase pár měsíců bude běhat.
Hlavní stroj SciLi: - Linux 2.6.32-042stab105.14 #1 SMP Fri Mar 13 20:06:37 MSK 2015 x86_64 x86_64 x86_64 GNU/Linux - FS: https://gist.github.com/knyttl/e349e1cbead4e9b341e7
Konejner Debian: - Linux 2.6.32-042stab105.14 #1 SMP Fri Mar 13 20:06:37 MSK 2015 x86_64 GNU/Linux - MySQL Server: 5.6.23-1~dotdeb.3
Klidně poskytnu cokoliv dalšího.
Vojtěch Knyttl | GoOut
knyttl@goout.cz +420 607 008 510 http://goout.cz
On Thursday 13 August 2015 at 20:19, mrkva@mrkva.eu wrote:
Ahoj, nemenis casto strukturu dat? (ALTER TABLE a podobne)? Necpes tam data s vypnutymi indexy? Mas tam vubec indexy?
M
On 08/13/2015 04:56 PM, Vojtěch Knyttl wrote:
Ahoj,
řeším takovou zvláštní věc, která se mi opakovaně děje. Mám v MySQL InnoDB databázi (v gzipu má asi 250 MB) a po několika měsících používání některé komplexnější dotazy prostě přestanou dobíhat. Resp. dobíhají, ale řádově v minutách, když jinak dobíhaly v milisekundách. Veškeré pokusy o optimalizace a nějaké přenastavení nikam nevedou. Jediným řešením je dropnutí úplně všeho a opětovný import. Jednou mi dokonce ani to nepomohlo a tak jsem prostě dropnul celý kontejner a vše jelo až po přeinstalaci celého stroje. Celý to zní zvláštně a samotnýmu se mi tomu nechce věřit a hlavně nevím co s tím dělat, aby se to neopakovalo.
Dnes v noci hodlám vše zastavit a udělat nový kontejner s MySQL, vše přenést a pak jen přehodit IP adresy MySQL stroje. Což znamená, že mi zůstane původní kontejner na ladění a srovnání, co může být špatně.
Díky za jakýkoliv postřeh.
Vojtěch Knyttl | GoOut
knyttl@goout.cz <mailto:knyttl@goout.cz> +420 607 008 510 http://goout.cz
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list _______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list
Attachments: - 0xE60DBF0D.asc
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
-----BEGIN PGP SIGNATURE----- Version: GnuPG v2 iF4EAREIAAYFAlXN+foACgkQgRwOVqYrsFWtrAD/Qe9T6fhLItFl9HsP/vFa8K8F 8dzTqyLKoXuM7eRKS7MBAOvCCjgmHf3sII4zw2QKeXvol1K3clkHpliWUYmp8Bxa =95pm -----END PGP SIGNATURE-----
participants (5)
-
Jan Cermak -
mrkva＠mrkva.eu -
Pavel Snajdr -
Stanislav Petr -
Vojtěch Knyttl