Datum a čas: 2022-11-16 16:53 CET
Očekavaná délka: 50 minut
Oznámení se týká serverů: node24.prg
Typ výpadku: vps_reset
Důvod: Kernel lockup
Výpadek řeší: Pavel Šnajdr, Jakub Skokan
pricina zatim neznama
ENGLISH:
Date and time: 2022-11-16 16:53 CET
Expected duration: 50 minutes
Affected systems: node24.prg
Outage type: vps_reset
Reason: Kernel lockup
Handled by: Pavel Šnajdr, Jakub Skokan
cause unknown as of yet
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6OTgwLCJwbGFubmVkIjpmYWxzZSwiYmVnaW5zX2F0IjoiMjAyMi0x
MS0xNlQxNjo1MzowMCswMTowMCIsImR1cmF0aW9uIjo1MCwidHlwZSI6InZw
c19yZXNldCIsImVudGl0aWVzIjpbeyJuYW1lIjoiTm9kZSIsImlkIjoxMjUs
ImxhYmVsIjoibm9kZTI0LnByZyJ9XSwiaGFuZGxlcnMiOlsiUGF2ZWwgxaBu
YWpkciIsIkpha3ViIFNrb2thbiJdLCJ0cmFuc2xhdGlvbnMiOnsiZW4iOnsi
c3VtbWFyeSI6Iktlcm5lbCBsb2NrdXAiLCJkZXNjcmlwdGlvbiI6ImNhdXNl
IHVua25vd24gYXMgb2YgeWV0In0sImNzIjp7InN1bW1hcnkiOiJLZXJuZWwg
bG9ja3VwIiwiZGVzY3JpcHRpb24iOiJwcmljaW5hIHphdGltIG5lem5hbWEi
fX19
-----END BASE64 ENCODED PARSEABLE JSON-----
Show replies by date
Očekávaná délka: 50 -> 100 minut
Popis: DoS s vsftpd
Dnešní požíže byly nejspíše způsobeny FTP servery vsftpd. vsftpd pro každé spojení vytváří
nový network namespace a kernel nestíhal vytvářet a mazat tolik network namespaces, až se
úplně zaseknul. V 18:40 byl druhý reset nodu. Dočasně jsme zablokovali TCP port 21, FTP na
node24.prg tedy aktuálně nefunguje. Při hledání problému jsme také odebrali moduly pro
ipip a GRE tunely.
Nahlásil: Jakub Skokan
ENGLISH:
Duration: 50 -> 100 minutes
Summary: DoS by vsftpd
Today's troubles have been most likely caused by vsftpd abusing network namespaces. A
new network namespace is created for each connection. Creating and destroying so many
network namespaces caused the kernel to lock up. There has been a second reset at 18:40.
To alleviate the issue, we have temporarily blocked TCP port 21, so FTP on node24.prg is
not working. We have also disabled ipip and GRE tunnels to lighten the load.
Reported by: Jakub Skokan
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6MjYwNSwiY2hhbmdlcyI6eyJkdXJhdGlvbiI6eyJmcm9tIjo1MCwi
dG8iOjEwMH19LCJ0cmFuc2xhdGlvbnMiOnsiZW4iOnsic3VtbWFyeSI6IkRv
UyBieSB2c2Z0cGQiLCJkZXNjcmlwdGlvbiI6IlRvZGF5J3MgdHJvdWJsZXMg
aGF2ZSBiZWVuIG1vc3QgbGlrZWx5IGNhdXNlZCBieSB2c2Z0cGQgYWJ1c2lu
ZyBuZXR3b3JrIG5hbWVzcGFjZXMuIEEgbmV3IG5ldHdvcmsgbmFtZXNwYWNl
IGlzIGNyZWF0ZWQgZm9yIGVhY2ggY29ubmVjdGlvbi4gQ3JlYXRpbmcgYW5k
IGRlc3Ryb3lpbmcgc28gbWFueSBuZXR3b3JrIG5hbWVzcGFjZXMgY2F1c2Vk
IHRoZSBrZXJuZWwgdG8gbG9jayB1cC4gVGhlcmUgaGFzIGJlZW4gYSBzZWNv
bmQgcmVzZXQgYXQgMTg6NDAuIFRvIGFsbGV2aWF0ZSB0aGUgaXNzdWUsIHdl
IGhhdmUgdGVtcG9yYXJpbHkgYmxvY2tlZCBUQ1AgcG9ydCAyMSwgc28gRlRQ
IG9uIG5vZGUyNC5wcmcgaXMgbm90IHdvcmtpbmcuIFdlIGhhdmUgYWxzbyBk
aXNhYmxlZCBpcGlwIGFuZCBHUkUgdHVubmVscyB0byBsaWdodGVuIHRoZSBs
b2FkLiJ9LCJjcyI6eyJzdW1tYXJ5IjoiRG9TIHMgdnNmdHBkIiwiZGVzY3Jp
cHRpb24iOiJEbmXFoW7DrSBwb8W+w63FvmUgYnlseSBuZWpzcMOtxaFlIHpw
xa9zb2JlbnkgRlRQIHNlcnZlcnkgdnNmdHBkLiB2c2Z0cGQgcHJvIGthxb5k
w6kgc3BvamVuw60gdnl0dsOhxZnDrSBub3bDvSBuZXR3b3JrIG5hbWVzcGFj
ZSBhIGtlcm5lbCBuZXN0w61oYWwgdnl0dsOhxZlldCBhIG1hemF0IHRvbGlr
IG5ldHdvcmsgbmFtZXNwYWNlcywgYcW+IHNlIMO6cGxuxJsgemFzZWtudWwu
IFYgMTg6NDAgYnlsIGRydWjDvSByZXNldCBub2R1LiBEb8SNYXNuxJsganNt
ZSB6YWJsb2tvdmFsaSBUQ1AgcG9ydCAyMSwgRlRQIG5hIG5vZGUyNC5wcmcg
dGVkeSBha3R1w6FsbsSbIG5lZnVuZ3VqZS4gUMWZaSBobGVkw6Fuw60gcHJv
YmzDqW11IGpzbWUgdGFrw6kgb2RlYnJhbGkgbW9kdWx5IHBybyBpcGlwIGEg
R1JFIHR1bmVseS4ifX19
-----END BASE64 ENCODED PARSEABLE JSON-----
Popis: Potvrzení DoS přes vsftpd
Na node24.prg běží cca 43 vsftpd serverů, podle logu se v dobu výpadku na mnohé z nich
pokoušela připojit jedna IP adresa (viz IRC), což pak vedlo k tomu problému s network
namespaces a přetížení systému. Zkoumáme možnosti, jak v takových případech omezit
vytváření/mázání tolika network namespaces, abychom to příště ustáli.
Kdo používáte vsftpd, nastavení isolate_network=NO vypne tuto nešťastnou vlastnost
vytváření network namespace pro každého klienta.
Nahlásil: Jakub Skokan
ENGLISH:
Summary: Confirmed DoS by vsftpd
There's about 43 vsftpd servers on node24.prg and we've identified one IP address
(see our IRC), which has been making many authentication attempts at the time, leading to
the abuse of network namespaces. We're investigating ways to rate-limit network
namespace creation/destruction to avoid the issue in the future.
For users of vsftpd, setting isolate_network=NO will remove the problem with network
namespaces as well.
Reported by: Jakub Skokan
-----BEGIN BASE64 ENCODED PARSEABLE JSON-----
eyJpZCI6MjYwNiwiY2hhbmdlcyI6e30sInRyYW5zbGF0aW9ucyI6eyJlbiI6
eyJzdW1tYXJ5IjoiQ29uZmlybWVkIERvUyBieSB2c2Z0cGQiLCJkZXNjcmlw
dGlvbiI6IlRoZXJlJ3MgYWJvdXQgNDMgdnNmdHBkIHNlcnZlcnMgb24gbm9k
ZTI0LnByZyBhbmQgd2UndmUgaWRlbnRpZmllZCBvbmUgSVAgYWRkcmVzcyAo
c2VlIG91ciBJUkMpLCB3aGljaCBoYXMgYmVlbiBtYWtpbmcgbWFueSBhdXRo
ZW50aWNhdGlvbiBhdHRlbXB0cyBhdCB0aGUgdGltZSwgbGVhZGluZyB0byB0
aGUgYWJ1c2Ugb2YgbmV0d29yayBuYW1lc3BhY2VzLiBXZSdyZSBpbnZlc3Rp
Z2F0aW5nIHdheXMgdG8gcmF0ZS1saW1pdCBuZXR3b3JrIG5hbWVzcGFjZSBj
cmVhdGlvbi9kZXN0cnVjdGlvbiB0byBhdm9pZCB0aGUgaXNzdWUgaW4gdGhl
IGZ1dHVyZS5cclxuXHJcbkZvciB1c2VycyBvZiB2c2Z0cGQsIHNldHRpbmcg
aXNvbGF0ZV9uZXR3b3JrPU5PIHdpbGwgcmVtb3ZlIHRoZSBwcm9ibGVtIHdp
dGggbmV0d29yayBuYW1lc3BhY2VzIGFzIHdlbGwuIn0sImNzIjp7InN1bW1h
cnkiOiJQb3R2cnplbsOtIERvUyBwxZllcyB2c2Z0cGQiLCJkZXNjcmlwdGlv
biI6Ik5hIG5vZGUyNC5wcmcgYsSbxb7DrSBjY2EgNDMgdnNmdHBkIHNlcnZl
csWvLCBwb2RsZSBsb2d1IHNlIHYgZG9idSB2w71wYWRrdSBuYSBtbm9ow6kg
eiBuaWNoIHBva291xaFlbGEgcMWZaXBvaml0IGplZG5hIElQIGFkcmVzYSAo
dml6IElSQyksIGNvxb4gcGFrIHZlZGxvIGsgdG9tdSBwcm9ibMOpbXUgcyBu
ZXR3b3JrIG5hbWVzcGFjZXMgYSBwxZlldMOtxb5lbsOtIHN5c3TDqW11LiBa
a291bcOhbWUgbW/Fvm5vc3RpLCBqYWsgdiB0YWtvdsO9Y2ggcMWZw61wYWRl
Y2ggb21leml0IHZ5dHbDocWZZW7DrS9tw6F6w6Fuw60gdG9saWthIG5ldHdv
cmsgbmFtZXNwYWNlcywgYWJ5Y2hvbSB0byBwxZnDrcWhdMSbIHVzdMOhbGku
XHJcblxyXG5LZG8gcG91xb7DrXbDoXRlIHZzZnRwZCwgbmFzdGF2ZW7DrSBp
c29sYXRlX25ldHdvcms9Tk8gdnlwbmUgdHV0byBuZcWhxaVhc3Rub3Ugdmxh
c3Rub3N0IHZ5dHbDocWZZW7DrSBuZXR3b3JrIG5hbWVzcGFjZSBwcm8ga2HF
vmTDqWhvIGtsaWVudGEuIn19fQ==
-----END BASE64 ENCODED PARSEABLE JSON-----