Datum a čas: 2022-11-16 16:53 CET Očekavaná délka: 50 minut Oznámení se týká serverů: node24.prg Typ výpadku: vps_reset Důvod: Kernel lockup Výpadek řeší: Pavel Šnajdr, Jakub Skokan
pricina zatim neznama
ENGLISH: Date and time: 2022-11-16 16:53 CET Expected duration: 50 minutes Affected systems: node24.prg Outage type: vps_reset Reason: Kernel lockup Handled by: Pavel Šnajdr, Jakub Skokan
cause unknown as of yet
-----BEGIN BASE64 ENCODED PARSEABLE JSON----- eyJpZCI6OTgwLCJwbGFubmVkIjpmYWxzZSwiYmVnaW5zX2F0IjoiMjAyMi0x MS0xNlQxNjo1MzowMCswMTowMCIsImR1cmF0aW9uIjo1MCwidHlwZSI6InZw c19yZXNldCIsImVudGl0aWVzIjpbeyJuYW1lIjoiTm9kZSIsImlkIjoxMjUs ImxhYmVsIjoibm9kZTI0LnByZyJ9XSwiaGFuZGxlcnMiOlsiUGF2ZWwgxaBu YWpkciIsIkpha3ViIFNrb2thbiJdLCJ0cmFuc2xhdGlvbnMiOnsiZW4iOnsi c3VtbWFyeSI6Iktlcm5lbCBsb2NrdXAiLCJkZXNjcmlwdGlvbiI6ImNhdXNl IHVua25vd24gYXMgb2YgeWV0In0sImNzIjp7InN1bW1hcnkiOiJLZXJuZWwg bG9ja3VwIiwiZGVzY3JpcHRpb24iOiJwcmljaW5hIHphdGltIG5lem5hbWEi fX19 -----END BASE64 ENCODED PARSEABLE JSON-----
Očekávaná délka: 50 -> 100 minut
Popis: DoS s vsftpd
Dnešní požíže byly nejspíše způsobeny FTP servery vsftpd. vsftpd pro každé spojení vytváří nový network namespace a kernel nestíhal vytvářet a mazat tolik network namespaces, až se úplně zaseknul. V 18:40 byl druhý reset nodu. Dočasně jsme zablokovali TCP port 21, FTP na node24.prg tedy aktuálně nefunguje. Při hledání problému jsme také odebrali moduly pro ipip a GRE tunely.
Nahlásil: Jakub Skokan
ENGLISH: Duration: 50 -> 100 minutes
Summary: DoS by vsftpd
Today's troubles have been most likely caused by vsftpd abusing network namespaces. A new network namespace is created for each connection. Creating and destroying so many network namespaces caused the kernel to lock up. There has been a second reset at 18:40. To alleviate the issue, we have temporarily blocked TCP port 21, so FTP on node24.prg is not working. We have also disabled ipip and GRE tunnels to lighten the load.
Reported by: Jakub Skokan
-----BEGIN BASE64 ENCODED PARSEABLE JSON----- eyJpZCI6MjYwNSwiY2hhbmdlcyI6eyJkdXJhdGlvbiI6eyJmcm9tIjo1MCwi dG8iOjEwMH19LCJ0cmFuc2xhdGlvbnMiOnsiZW4iOnsic3VtbWFyeSI6IkRv UyBieSB2c2Z0cGQiLCJkZXNjcmlwdGlvbiI6IlRvZGF5J3MgdHJvdWJsZXMg aGF2ZSBiZWVuIG1vc3QgbGlrZWx5IGNhdXNlZCBieSB2c2Z0cGQgYWJ1c2lu ZyBuZXR3b3JrIG5hbWVzcGFjZXMuIEEgbmV3IG5ldHdvcmsgbmFtZXNwYWNl IGlzIGNyZWF0ZWQgZm9yIGVhY2ggY29ubmVjdGlvbi4gQ3JlYXRpbmcgYW5k IGRlc3Ryb3lpbmcgc28gbWFueSBuZXR3b3JrIG5hbWVzcGFjZXMgY2F1c2Vk IHRoZSBrZXJuZWwgdG8gbG9jayB1cC4gVGhlcmUgaGFzIGJlZW4gYSBzZWNv bmQgcmVzZXQgYXQgMTg6NDAuIFRvIGFsbGV2aWF0ZSB0aGUgaXNzdWUsIHdl IGhhdmUgdGVtcG9yYXJpbHkgYmxvY2tlZCBUQ1AgcG9ydCAyMSwgc28gRlRQ IG9uIG5vZGUyNC5wcmcgaXMgbm90IHdvcmtpbmcuIFdlIGhhdmUgYWxzbyBk aXNhYmxlZCBpcGlwIGFuZCBHUkUgdHVubmVscyB0byBsaWdodGVuIHRoZSBs b2FkLiJ9LCJjcyI6eyJzdW1tYXJ5IjoiRG9TIHMgdnNmdHBkIiwiZGVzY3Jp cHRpb24iOiJEbmXFoW7DrSBwb8W+w63FvmUgYnlseSBuZWpzcMOtxaFlIHpw xa9zb2JlbnkgRlRQIHNlcnZlcnkgdnNmdHBkLiB2c2Z0cGQgcHJvIGthxb5k w6kgc3BvamVuw60gdnl0dsOhxZnDrSBub3bDvSBuZXR3b3JrIG5hbWVzcGFj ZSBhIGtlcm5lbCBuZXN0w61oYWwgdnl0dsOhxZlldCBhIG1hemF0IHRvbGlr IG5ldHdvcmsgbmFtZXNwYWNlcywgYcW+IHNlIMO6cGxuxJsgemFzZWtudWwu IFYgMTg6NDAgYnlsIGRydWjDvSByZXNldCBub2R1LiBEb8SNYXNuxJsganNt ZSB6YWJsb2tvdmFsaSBUQ1AgcG9ydCAyMSwgRlRQIG5hIG5vZGUyNC5wcmcg dGVkeSBha3R1w6FsbsSbIG5lZnVuZ3VqZS4gUMWZaSBobGVkw6Fuw60gcHJv YmzDqW11IGpzbWUgdGFrw6kgb2RlYnJhbGkgbW9kdWx5IHBybyBpcGlwIGEg R1JFIHR1bmVseS4ifX19 -----END BASE64 ENCODED PARSEABLE JSON-----
Popis: Potvrzení DoS přes vsftpd
Na node24.prg běží cca 43 vsftpd serverů, podle logu se v dobu výpadku na mnohé z nich pokoušela připojit jedna IP adresa (viz IRC), což pak vedlo k tomu problému s network namespaces a přetížení systému. Zkoumáme možnosti, jak v takových případech omezit vytváření/mázání tolika network namespaces, abychom to příště ustáli.
Kdo používáte vsftpd, nastavení isolate_network=NO vypne tuto nešťastnou vlastnost vytváření network namespace pro každého klienta.
Nahlásil: Jakub Skokan
ENGLISH:
Summary: Confirmed DoS by vsftpd
There's about 43 vsftpd servers on node24.prg and we've identified one IP address (see our IRC), which has been making many authentication attempts at the time, leading to the abuse of network namespaces. We're investigating ways to rate-limit network namespace creation/destruction to avoid the issue in the future.
For users of vsftpd, setting isolate_network=NO will remove the problem with network namespaces as well.
Reported by: Jakub Skokan
-----BEGIN BASE64 ENCODED PARSEABLE JSON----- eyJpZCI6MjYwNiwiY2hhbmdlcyI6e30sInRyYW5zbGF0aW9ucyI6eyJlbiI6 eyJzdW1tYXJ5IjoiQ29uZmlybWVkIERvUyBieSB2c2Z0cGQiLCJkZXNjcmlw dGlvbiI6IlRoZXJlJ3MgYWJvdXQgNDMgdnNmdHBkIHNlcnZlcnMgb24gbm9k ZTI0LnByZyBhbmQgd2UndmUgaWRlbnRpZmllZCBvbmUgSVAgYWRkcmVzcyAo c2VlIG91ciBJUkMpLCB3aGljaCBoYXMgYmVlbiBtYWtpbmcgbWFueSBhdXRo ZW50aWNhdGlvbiBhdHRlbXB0cyBhdCB0aGUgdGltZSwgbGVhZGluZyB0byB0 aGUgYWJ1c2Ugb2YgbmV0d29yayBuYW1lc3BhY2VzLiBXZSdyZSBpbnZlc3Rp Z2F0aW5nIHdheXMgdG8gcmF0ZS1saW1pdCBuZXR3b3JrIG5hbWVzcGFjZSBj cmVhdGlvbi9kZXN0cnVjdGlvbiB0byBhdm9pZCB0aGUgaXNzdWUgaW4gdGhl IGZ1dHVyZS5cclxuXHJcbkZvciB1c2VycyBvZiB2c2Z0cGQsIHNldHRpbmcg aXNvbGF0ZV9uZXR3b3JrPU5PIHdpbGwgcmVtb3ZlIHRoZSBwcm9ibGVtIHdp dGggbmV0d29yayBuYW1lc3BhY2VzIGFzIHdlbGwuIn0sImNzIjp7InN1bW1h cnkiOiJQb3R2cnplbsOtIERvUyBwxZllcyB2c2Z0cGQiLCJkZXNjcmlwdGlv biI6Ik5hIG5vZGUyNC5wcmcgYsSbxb7DrSBjY2EgNDMgdnNmdHBkIHNlcnZl csWvLCBwb2RsZSBsb2d1IHNlIHYgZG9idSB2w71wYWRrdSBuYSBtbm9ow6kg eiBuaWNoIHBva291xaFlbGEgcMWZaXBvaml0IGplZG5hIElQIGFkcmVzYSAo dml6IElSQyksIGNvxb4gcGFrIHZlZGxvIGsgdG9tdSBwcm9ibMOpbXUgcyBu ZXR3b3JrIG5hbWVzcGFjZXMgYSBwxZlldMOtxb5lbsOtIHN5c3TDqW11LiBa a291bcOhbWUgbW/Fvm5vc3RpLCBqYWsgdiB0YWtvdsO9Y2ggcMWZw61wYWRl Y2ggb21leml0IHZ5dHbDocWZZW7DrS9tw6F6w6Fuw60gdG9saWthIG5ldHdv cmsgbmFtZXNwYWNlcywgYWJ5Y2hvbSB0byBwxZnDrcWhdMSbIHVzdMOhbGku XHJcblxyXG5LZG8gcG91xb7DrXbDoXRlIHZzZnRwZCwgbmFzdGF2ZW7DrSBp c29sYXRlX25ldHdvcms9Tk8gdnlwbmUgdHV0byBuZcWhxaVhc3Rub3Ugdmxh c3Rub3N0IHZ5dHbDocWZZW7DrSBuZXR3b3JrIG5hbWVzcGFjZSBwcm8ga2HF vmTDqWhvIGtsaWVudGEuIn19fQ== -----END BASE64 ENCODED PARSEABLE JSON-----
-
podpora＠vpsfree.cz