Jeste jsem zapomnel podstatnou vec, pro dobrou odezvu systemu musi byt
system schopny rychle alokovat pamet pro sitove buffery.

sysctl je vm.min_free_kbytes, my drzime na ty node radsi 2 GB volnou
rezervu (ale asi by stacilo i tak pul giga v pohode).

Bacha na zvetsovani ty hodnoty z defaultu v provozu, paradne se tim da
shodit jadro, kdyz bude mit problem tu volnou pamet najit, aby ji mohlo
zarezervovat...

Ostatni sysctl hodnoty poslu, jak se nejako dousadej (...az si pekne
dodelam metriky a z vysokych prehnanych maxim, kterych se nedosahuje, to
predelam na neco rozumnejsiho a primarni alokace tez narovnam podle
histogramu).

All in all, vyborna prilezitost vykonove potunit vpsAdminOS :)

/snajpa

On 2020-03-26 13:02, Jiri Volf wrote:
> Ahoj,
>
> díky moc za výživné tipy! Bohužel řešíme také hromadu jiných
> věcí, tak není moc času si s tím hrát, ale jasně z toho plyne,
> že napřed to zkusíme dát na samostatný hw, pak zareportuji,
> jestli a jak se jenom tímhle krokem latence zlepší.
>
> Díkes a zdravím,
> Jirka Volf
>
> čt 26. 3. 2020 v 12:49 odesílatel Pavel Snajdr <snajpa@snajpa.net>
> napsal:
>
>> Nevim, jak to ma VMWare, ale jakakoliv virtualizace je pro high-pps
>> pouziti naprd (packets per second).
>>
>> U QEMU/KVM zasadne pouzit jen virtio drivery, u VMWare bude neco
>> podobneho, s ring bufferem, kde se vymenuji packety mezi
>> hostem/guestem.
>> Bacha, ten ring buffer by mel byt dost velky, aby se do nej aj neco
>>
>> veslo a nemrhal se cenny CPU cas na context switchich.
>>
>> Mozna by u plny virtualizace bylo nejlepsi, aby byly budto staticky
>>
>> pripinovane virtualni:fyzicka CPU jadra, nebo zajistit, ze
>> scheduling
>> hypervisoru ma delsi periodu, nez je defaultni nejdelsi perioda, s
>> kterou dela Linuxi CFS (100ms).
>>
>> Je to *peklo*, vyladit to, no.
>>
>> 0. na fyzickych interfacech asi jen mq qdisc...
>>
>> 1. tzn. zadny software shaper v ceste (HFSC je v planu vyzkouset v
>> budoucnu)
>>
>> 2. zadne pocitaci pravidla v ceste
>>
>> 3. vypnout vsechno pocitani a timestampovani TCP
>>
>> 4. ackoliv se vsude rika, ze bufferbloat je zlo, nemit dostatecny
>> buffery pro aplikaci,
>> aby se vykryly latence systemu, je jeste vetsi zlo
>> -> takze vyladit sitovy stack kernelu, aby pouzival dost pameti
>> (z
>> prvni staci alokovat buffery velikosti stranky, pak soft limit
>> nekde na
>> stovkach kB, hard max 1MB).
>>
>> 5. pripravit sitovy stack na vysoky pocet spojeni
>> -> se Simulcastem posila kazdy klient, kdyz stiha, az 3 video
>> streamy, aby si to server prebral a poslal klientum nejvhodnejsi,
>> co
>> zvladnou pojmout (a pak audio + XMPP/HTTPS spojeni)
>>
>> 6. pokud to bezi v Dockeru, nebo necem takovym, je to neodladitelny
>>
>> level pekla jednim clovekem (stesti, ze vpsAdminOS mame pod palcem
>> zplna...).
>>
>> 7. na kernel cmdline intel_idle.max_cstate=1, pokud je to Intel CPU
>> -> Jitsi Videobridge je Java heavy-multithreaded appka a
>> prostoje v
>> komunikaci mezi threadama tomu fakt nedelaji dobre
>> -> detto frequency scaling pryc (nepouzivame tak jak tak)
>>
>> 8. pokud bude hodne ucastniku na serveru najednou, je dobre pridat
>> RAM
>> pro Javu pro Videobridge, dosahuje se toho promennou prostredi
>> VIDEOBRIDGE_MAX_MEMORY
>>
>> 9. METRIKY!!!
>> -> vsechno merit, jinak se clovek nedohleda ani prd toho, kde
>> je
>> problem...
>>
>> 10. perf record + perf report to the rescue + git grep kernel
>> zdrojaku
>> are your friends :D
>>
>> Dej vedet, jestli to pomohlo a jak jsi to pripadne vyresil na
>> strane
>> toho VMWare.
>>
>> Diky,
>>
>> /snajpa
>>
>> On 2020-03-26 12:14, Jiri Volf wrote:
>>> Ahoj, mám dotaz, ladili jste nějak latenci přímo v té
>> instalaci
>>> Jitsi?
>>>
>>> Snažíme se to zprovoznit v PN Bohnice, je to na debianu 10,
>> čistá
>>> instalace obojího dle návodu, na vmware, ale má to docela
>> velkou
>>> latenci, skoro 1sec hádám. Pinká to průměrně kolem
>> 10-20ms.
>>> Dělá mi to i doma, když to pustím na druhém pc ve
>> virtualboxu. Ta
>>> instalace na vpsfree ale má latenci o výrazně lepší.
>>>
>>> Jestli latenci někdo tady již řešil, budu vděčný za
>> případné
>>> tipy.
>>>
>>> Díky a zdravím,
>>> Jiří Volf
>>>
>>> út 17. 3. 2020 v 17:08 odesílatel Pavel Snajdr
>> <snajpa@snajpa.net>
>>> napsal:
>>>
>>>> Dejme 19:00 na:
>>>>
>>>> https://meet.vpsfree.cz/vpsfree-community [1] [1]
>>>>
>>>> Diky moc vsem :)
>>>>
>>>> On 2020-03-17 17:05, V.K. wrote:
>>>>> Nejsem proti, nácviku se snad zúčastním.
>>>>>
>>>>> Psal jsem jen proto, že jsem již pomáhal nějaké aktivity
>>>>> zprocesovat. A komentář "něco vyhnije a stačí udělat
>> jednu
>>>> věc"
>>>>> k tomu přímo vybízel.
>>>>>
>>>>> Ono je to jako když kdysi člověk rozcházel cisco ipsec vpn
>> v
>>>>> linuxu, dostal do iptables pravidla, která ve windows nebyla
>>>> vidět a
>>>>> neřešila se = ale věděl, co má zkoumat, jakou komunikaci,
>>>>> protože v těch chainech to bylo definované.
>>>>>
>>>>> S pozdravem
>>>>>
>>>>> Vencour
>>>>>
>>>>> On 17. 03. 20 17:00, Ondrej Beranek wrote:
>>>>>
>>>>>> Co vecer dát nacvik? Treba v 19.00? Na kanale vpsfree
>>>>>> :)
>>>>>>
>>>>>> Dne út 17. 3. 2020 4:15 PM uživatel V.K. <vencour@gmail.com>
>>>>>> napsal:
>>>>>>
>>>>>>> Ahoj všem,
>>>>>>>
>>>>>>> z linuxu jsem zkoušel, web browser signalizoval nedostupný
>>>>>>> mikrofon i
>>>>>>> kameru, z androida to chtělo instalovat další aplikaci
>>>>>>>
>>>>>>> Windows ještě zkusim.
>>>>>>>
>>>>>>> Doporučuji popsat "best practices" i jak má vypadat
>>>>>>> očekávané a
>>>>>>> neočekávané chování. Něco jako nedostatečná
>>>> zákaznická
>>>>>>> podpora nebo
>>>>>>> nesplněné očekávání dost často ničí jinak fajn
>>>> projekty.
>>>>>>>
>>>>>>> Ale dík, vypadá to dobře.
>>>>>>>
>>>>>>> Vencour
>>>>>>>
>>>>>>> On 17. 03. 20 16:06, Pavel Snajdr wrote:
>>>>>>>> Realne uvidime, jak moc dobra prace to je, dneska vecer :D
>>>>>>>>
>>>>>>>> Zatim tam jelo v peaku 100Mbit, to je jeste prd :))
>>>>>>>>
>>>>>>>> Kdyz si vezmeme, ze full-kotel-kvalita znamena 2.5Mbit
>>>>>>> tam/zpatky ze
>>>>>>>> serveru per 1 klient :D
>>>>>>>>
>>>>>>>> (no a je to tak, ze Jitsi Meet sice umi p2p spojeni pomoci
>>>>>>> STUN, pokud
>>>>>>>> si volaji jen 2 lidi navzajem, ale jakmile nekdo z tech dvou
>>>>>>> refreshne
>>>>>>>> stranku, uz ten hovor vzivote nedaji dokupy, pokud neprijdou
>>>> na
>>>>>>> to, ze
>>>>>>>> to maji zavrit oba najednou a pak az otevrit, kdyz uz si to
>>>>>>> takhle
>>>>>>>> rozhodi -> cili tohle je radsi vypnute a odrazime vsechen
>>>>>>> traffic i
>>>>>>>> pro p2p pres ten server)
>>>>>>>>
>>>>>>>> /snajpa
>>>>>>>>
>>>>>>>> On 2020-03-17 12:38, Ondrej Beranek wrote:
>>>>>>>>> Ahoj kluci, dobrá práce!
>>>>>>>>>
>>>>>>>>> út 17. 3. 2020 v 11:41 odesílatel Martin Myška
>>>>>>>>> <martin@martinmyska.cz> napsal:
>>>>>>>>>
>>>>>>>>>> Ahoj všem,
>>>>>>>>>>
>>>>>>>>>> jak jste již možná zaregistrovali - kvůli aktuální
>>>>>>> situaci kdy
>>>>>>>>>> se je třeba snažit vyhýbat kontaktu s lidmi, jsme
>> rozjeli
>>>>>>> pro
>>>>>>>>>> tyto účely videokonferenční jitsi instanci u nás.
>>>>>>>>>>
>>>>>>>>>> Jde o čistý jitsi server s vypnutou jakoukoliv
>> možností
>>>>>>>>>> špehování (Googlí servery, nahrávání serverside..),
>>>> se
>>>>>>>>>> zapnutým šifrováním a rebrandingem.
>>>>>>>>>>
>>>>>>>>>> Doufám že bude k užitku a kdybyste narazili na
>> nevhodný
>>>>>>> či
>>>>>>>>>> něco nevysvětlující překlad, dejte mi prosím vědět
>>>>>>> :-)
>>>>>>>>>>
>>>>>>>>>> https://meet.vpsfree.cz [2] [2] [1] [1]/
>>>>>>>>>>
>>>>>>>>>> Martin Myška
>>>>>>>>>>
>>>>>>>>>> martyet
>>>>>>>>>>
>>>>>>>>>> _______________________________________________
>>>>>>>>>> Community-list mailing list
>>>>>>>>>> Community-list@lists.vpsfree.cz
>>>>>>>>>> http://lists.vpsfree.cz/listinfo/community-list [3] [3]
>> [2] [2]
>>>>>>>>>
>>>>>>>>>
>>>>>>>>> Links:
>>>>>>>>> ------
>>>>>>>>> [1] https://meet.vpsfree.cz [2] [2] [1]
>>>>>>>>> [2] http://lists.vpsfree.cz/listinfo/community-list [3] [3]
>> [2]
>>>>>>>>>
>>>>>>>>> _______________________________________________
>>>>>>>>> Community-list mailing list
>>>>>>>>> Community-list@lists.vpsfree.cz
>>>>>>>>> http://lists.vpsfree.cz/listinfo/community-list [3] [3] [2]
>>>>>>>> _______________________________________________
>>>>>>>> Community-list mailing list
>>>>>>>> Community-list@lists.vpsfree.cz
>>>>>>>> http://lists.vpsfree.cz/listinfo/community-list [3] [3] [2]
>>>>>>> _______________________________________________
>>>>>>> Community-list mailing list
>>>>>>> Community-list@lists.vpsfree.cz
>>>>>>> http://lists.vpsfree.cz/listinfo/community-list [3] [3] [2]
>>>>>>
>>>>>> _______________________________________________
>>>>>> Community-list mailing list
>>>>>> Community-list@lists.vpsfree.cz
>>>>>> http://lists.vpsfree.cz/listinfo/community-list [3] [3] [2]
>>>>>
>>>>>
>>>>> Links:
>>>>> ------
>>>>> [1] https://meet.vpsfree.cz [2] [2]
>>>>> [2] http://lists.vpsfree.cz/listinfo/community-list [3] [3]
>>>>>
>>>>> _______________________________________________
>>>>> Community-list mailing list
>>>>> Community-list@lists.vpsfree.cz
>>>>> http://lists.vpsfree.cz/listinfo/community-list [3] [3]
>>>> _______________________________________________
>>>> Community-list mailing list
>>>> Community-list@lists.vpsfree.cz
>>>> http://lists.vpsfree.cz/listinfo/community-list [3] [3]
>>>
>>>
>>> Links:
>>> ------
>>> [1] https://meet.vpsfree.cz/vpsfree-community [1]
>>> [2] https://meet.vpsfree.cz [2]
>>> [3] http://lists.vpsfree.cz/listinfo/community-list [3]
>>>
>>> _______________________________________________
>>> Community-list mailing list
>>> Community-list@lists.vpsfree.cz
>>> http://lists.vpsfree.cz/listinfo/community-list [3]
>> _______________________________________________
>> Community-list mailing list
>> Community-list@lists.vpsfree.cz
>> http://lists.vpsfree.cz/listinfo/community-list [3]
>
>
> Links:
> ------
> [1] https://meet.vpsfree.cz/vpsfree-community
> [2] https://meet.vpsfree.cz
> [3] http://lists.vpsfree.cz/listinfo/community-list
>
> _______________________________________________
> Community-list mailing list
> Community-list@lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list
_______________________________________________
Community-list mailing list
Community-list@lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list