[vpsFree.cz: community-list] Často padající Sidekiq v GitLabu

[Tomáš Kuča]

Má nainstalovanou verzi ruby 2.3.6, viz
  Running in ruby 2.3.6p384 (2017-12-14 revision 61254) 
Ruby sdílí gemy pro stejné major verze  2.3.*, proto je v cestě 2.3.0. 

Pozoruju to samé. Po upgradu z GitLabu 10.4 na 10.7 se objevily SIGSEGV 
jak na unicornu, tak na Sidekiqu. Změna verze ruby nepomohla, zkoušel 
jsem 2.3.6, 2.4.?, 2.5.1.

Myslím si, že se jedná o 
https://gitlab.com/gitlab-org/omnibus-gitlab/issues/3313. Patrně to
souvisí s alokátorem jemalloc, který by přidaný do GitLabu verze
10.5.něco, zmiňují tam též OpenVZ. V omnibusu by mohlo pomoct
následující:

 Removing /opt/gitlab/etc/gitlab-rails/env/LD_PRELOAD fixes everything,
 so manually running gitlab-rake gitlab:db:configure afterwards gives
 usable installation.

Verzi 10.4 a předchozí jsem používal dlouho, podobné problémy jsem 
neznaznamenal, pokud to nevyřeším, plánuju
se k ní vrátit. Není to pro mě moc kritické, gitlab mám jen pro vlastní 
potřebu a i s občasnými 502 errory to jakž takž funguje.

V mém případě nemám příkaz, který by dokázal chybu spolehlivě 
replikovat, nastavává zdá se náhodně. Nicméně stačí minutu nebo dvě 
klikat a unicorn spadne, pokaždé na jiném místě a podle logu v jiné 
metodě. Chyby jsou taky různé:

 Segmentation fault at 0x000000043d613625
 Segmentation fault at 0x0000000000000000
 Segmentation fault at 0x0000000000000000
 Segmentation fault at 0xfffffffffffffffc
 Segmentation fault at 0x0000000000000000
 Segmentation fault at 0xfffffffffffffff9
 Segmentation fault at 0x0000000000000000
 munmap_chunk(): invalid pointer: 0x00007f786b4fc150 ***
 free(): invalid pointer: 0x00007f786813d244

V případě Segmentation fault je v strace:

--- SIGSEGV {si_signo=SIGSEGV, si_code=SEGV_MAPERR, si_addr=0x7f63721d1418} ---
--- SIGSEGV {si_signo=SIGSEGV, si_code=SEGV_MAPERR, si_addr=0x7f6371c6e840} ---

Dump z logu unicornu:

  https://gist.githubusercontent.com/tom-kuca/ed75d8f800ba279ef5e2722f9405971d/raw/d0260c3904160ce79f4e0155cd1a8babfdee8802/gitlab-unicorn-stderr-1.log
  https://gist.githubusercontent.com/tom-kuca/ed75d8f800ba279ef5e2722f9405971d/raw/d0260c3904160ce79f4e0155cd1a8babfdee8802/gitlab-unicorn-stderr-2.log
  https://gist.githubusercontent.com/tom-kuca/ed75d8f800ba279ef5e2722f9405971d/raw/d0260c3904160ce79f4e0155cd1a8babfdee8802/gitlab-unicorn-stderr-3.log
  https://gist.githubusercontent.com/tom-kuca/ed75d8f800ba279ef5e2722f9405971d/raw/d0260c3904160ce79f4e0155cd1a8babfdee8802/gitlab-unicorn-stderr-4.log

Strace:

  https://gist.github.com/tom-kuca/ed75d8f800ba279ef5e2722f9405971d/raw/d0260c3904160ce79f4e0155cd1a8babfdee8802/gitlab-unicorn-strace-1.txt
  https://gist.github.com/tom-kuca/ed75d8f800ba279ef5e2722f9405971d/raw/d0260c3904160ce79f4e0155cd1a8babfdee8802/gitlab-unicorn-strace-2.txt
  https://gist.github.com/tom-kuca/ed75d8f800ba279ef5e2722f9405971d/raw/d0260c3904160ce79f4e0155cd1a8babfdee8802/gitlab-unicorn-strace-3.txt
  https://gist.github.com/tom-kuca/ed75d8f800ba279ef5e2722f9405971d/raw/d0260c3904160ce79f4e0155cd1a8babfdee8802/gitlab-unicorn-strace-4.txt

K zkoušení různých nastavení GitLabu jsem se zatím nedostal. 

Tom


Dne 30.04.18 v 19:45 Pavel Snajdr <snajpa at snajpa.net> napsal/a:
>Tak podle toho logu jedes prehistorickou verzi Ruby, ktera podle 
>Googlu obsahuje nekolik chyb, co by mohly +- vyst k tomuhle crashi.
>
>Zkus updatnout na novejsi verzi Ruby, pripadne donutit celej Gitlab 
>pouzivat nejakou rozumnou verzi Ruby z baliku, ne ze si takhle dotahne 
>2.3.0 ;)
>
>To samy se vsema zavislostma.
>
>/snajpa
>
>On 2018-04-30 19:30, Petr Parolek wrote:
>>Strace jsem nikdy nepoužil, ani ho neznám.
>>
>>V příloze zasílám logy.
>>
>>Díky
>>
>>
>>
>>Dne 30. dubna 2018 19:22 Pavel Snajdr <snajpa at snajpa.net> napsal(a):
>>>Ahoj,
>>>
>>>jak jsem ti uz rikal, takhle na slepo ti neporadi asi nikdo, 
>>>jadrem samotnym
>>>to bude velmi tezko.
>>>
>>>Dodej vypisy z strace, pripadne dalsi logy, pripadne aspon neco 
>>>dalsiho.
>>>
>>>Na cem ti to padne, atd. - z tohohle vycist tezko neco pujde.
>>>
>>>/snajpa
>>>
>>>
>>>On 2018-04-30 19:14, Petr Parolek wrote:
>>>>
>>>>Ahoj,
>>>>
>>>>setkali jste už někdy s často padajícím Sidekiq v GitLab? Používám
>>>>verzi 10.7.1 sestavenou ze zdrojáků. Omnibus je ještě víc nenažraný a
>>>>4 GB RAM je málo. Navíc nepoužívám Postgress, jen MariaDB  V logu mi
>>>>vypíše tuny výpis pádu. Deebugovat v C a v Ruby vůbec neumím.
>>>>
>>>>Co jsem vypozoroval, padá při spuštění pipeline po commitu nebo při
>>>>merge MR a háže 502 nebo chybu 503
>>>>
>>>>Nemá v tom psty staré jádro a dosloužilé openVZ?
>>>>
>>>>Díky moc za rady.
>>>>
>>>>
>>>>Petr
>>>>_______________________________________________
>>>>Community-list mailing list
>>>>Community-list at lists.vpsfree.cz
>>>>http://lists.vpsfree.cz/listinfo/community-list
>>>
>>>_______________________________________________
>>>Community-list mailing list
>>>Community-list at lists.vpsfree.cz
>>>http://lists.vpsfree.cz/listinfo/community-list
>>
>>_______________________________________________
>>Community-list mailing list
>>Community-list at lists.vpsfree.cz
>>http://lists.vpsfree.cz/listinfo/community-list
>_______________________________________________
>Community-list mailing list
>Community-list at lists.vpsfree.cz
>http://lists.vpsfree.cz/listinfo/community-list