ベンダー別検知状況集計結果一覧
ベンダーごとに、検知した項目数を集計した結果一覧です。
検知率は、全項目数のうち、〇になった数の比率です。
| Campany | 〇 | △ | × | Detection Rate |
| AhnLab | 96 | 2 | 19 | 82.05% |
| Bitdefender | 127 | 4 | 11 | 89.44% |
| BlackBerry | 90 | 26 | 26 | 63.38% |
| Broadcom Symantec | 93 | 15 | 34 | 65.49% |
| CrowdStrike | 142 | 0 | 0 | 100.00% |
| Cybereason | 141 | 1 | 0 | 99.30% |
| Cynet | 142 | 0 | 0 | 100.00% |
| Deep Instinct | 115 | 2 | 15 | 87.12% |
| Elastic | 80 | 35 | 27 | 56.34% |
| ESET | 85 | 26 | 31 | 59.86% |
| Fortinet | 136 | 4 | 3 | 95.10% |
| HarfangLab | 113 | 12 | 18 | 79.02% |
| IBM Security | 90 | 13 | 40 | 62.94% |
| Malwarebytes | 108 | 10 | 25 | 75.52% |
| Microsoft | 140 | 3 | 0 | 97.90% |
| Palo Alto Networks | 143 | 0 | 0 | 100.00% |
| Qualys | 74 | 38 | 27 | 53.24% |
| Rapid7 | 47 | 54 | 42 | 32.87% |
| Secureworks | 74 | 38 | 31 | 51.75% |
| SentinelOne | 120 | 6 | 5 | 91.60% |
| Somma | 48 | 36 | 59 | 33.57% |
| Sophos | 140 | 1 | 2 | 97.90% |
| Tehtris | 74 | 22 | 47 | 51.75% |
| Trellix | 105 | 12 | 26 | 73.43% |
| Trend Micro | 118 | 8 | 17 | 82.52% |
| Uptycs | 120 | 6 | 17 | 83.92% |
| VMware Carbon Black | 84 | 19 | 40 | 58.74% |
| WatchGuard | 92 | 12 | 28 | 69.70% |
| WithSecure | 77 | 19 | 47 | 53.85% |
５分類の検知状況
MITRE Evaluations の Turla(2023)の個人的な分析（その３）で書いた、独自の４分類でどの程度の検知数であったかを掲載します。
今回は、「〇」と判定された数が何%だったかで表示しています。
理由として、製品によっては Linux に対応していない、何らかの理由（？）によって評価対象外になっている項目がある、ということが挙げられます。つまり、ある製品の検知数が他より小さくても、それが未検知だったのか対象外だったのか分からない、ということです。そのため、製品毎に実施した項目数を分母として検知率を割り出しました。
| Campany | UA | MIB | CB/LT | Nt | Attr |
| AhnLab | 100.00% | 57.89% | 100.00% | 85.71% | 40.00% |
| Bitdefender | 100.00% | 81.25% | 100.00% | 94.44% | 50.00% |
| BlackBerry | 100.00% | 45.83% | 87.10% | 38.89% | 30.00% |
| Broadcom Symantec | 100.00% | 47.92% | 88.71% | 50.00% | 20.00% |
| CrowdStrike | 100.00% | 100.00% | 100.00% | 100.00% | 100.00% |
| Cybereason | 100.00% | 97.92% | 100.00% | 100.00% | 100.00% |
| Cynet | 100.00% | 100.00% | 100.00% | 100.00% | 100.00% |
| Deep Instinct | 100.00% | 77.78% | 98.31% | 81.25% | 62.50% |
| Elastic | 100.00% | 47.92% | 75.81% | 27.78% | 10.00% |
| ESET | 100.00% | 45.83% | 83.87% | 33.33% | 10.00% |
| Fortinet | 100.00% | 89.80% | 96.77% | 100.00% | 100.00% |
| HarfangLab | 100.00% | 55.10% | 95.16% | 94.44% | 60.00% |
| IBM Security | 100.00% | 42.86% | 87.10% | 50.00% | 20.00% |
| Malwarebytes | 100.00% | 67.35% | 88.71% | 61.11% | 50.00% |
| Microsoft | 100.00% | 95.92% | 100.00% | 94.44% | 100.00% |
| Palo Alto Networks | 100.00% | 100.00% | 100.00% | 100.00% | 100.00% |
| Qualys | 75.00% | 35.42% | 67.74% | 62.50% | 22.22% |
| Rapid7 | 75.00% | 30.61% | 41.94% | 11.11% | 10.00% |
| Secureworks | 75.00% | 38.78% | 67.74% | 33.33% | 40.00% |
| SentinelOne | 100.00% | 85.71% | 100.00% | 76.47% | 87.50% |
| Somma | 75.00% | 10.20% | 53.23% | 27.78% | 20.00% |
| Sophos | 100.00% | 97.96% | 98.39% | 100.00% | 90.00% |
| Tehtris | 75.00% | 40.82% | 80.65% | 5.56% | 0.00% |
| Trellix | 100.00% | 61.22% | 93.55% | 50.00% | 40.00% |
| Trend Micro | 75.00% | 71.43% | 96.77% | 77.78% | 60.00% |
| Uptycs | 100.00% | 65.31% | 98.39% | 94.44% | 60.00% |
| VMware Carbon Black | 75.00% | 38.78% | 80.65% | 55.56% | 20.00% |
| WatchGuard | 100.00% | 46.67% | 91.53% | 68.75% | 25.00% |
| WithSecure | 50.00% | 32.65% | 77.42% | 55.56% | 10.00% |
| (Total number of items) | 4 | 49 | 62 | 18 | 10 |
UA:User activity
MIB:Malware Inside Behavior
CB/LT:Command Level Behavior/Leaves traces to be detected in the OS
Nt:Network
Attr:File or data attribute
ざっくりな所感（小並感）
今回のシナリオでは、攻撃の起点がフィッシングや水飲み場攻撃によるリダイレクトによりユーザを騙してマルウェア感染させていること、比較的マルウェアが多く利用されたこと、水平展開が複数回行われたこと、従来の攻撃でもみられたような調査コマンドは引き続き使われていたこと、が特徴だったと感じました。
検知の状況をみていると、ユーザの操作（UA）については、いずれの製品も概ね良好の結果となっていました。この分類項目は、基本的にはユーザが操作した瞬間に検知するのではなく、何らかの検知が得られた後に遡った結果として分かるハズです。実行ファイルがクリックされた瞬間にマルウェアだと分かるはずもなく、仮に分かっていたとしたら、クリックする前に検知・検疫されると考えられます（マルウェアだと分かっていても、クリックするまでは静観するイジワルな製品があるなら別だが）。
また、コマンド実行の振る舞いやOSのイベントログ・Syslog等に残る振る舞い（CB/LT）からの検知も比較的高い検知をしている傾向が見られました。EDRで必要とされる行動の監視やそこからの不審の検知、さらに記録からの原因究明はどのソリューションも一定以上の機能を有していると考えられます。これは、DFIR(Digital Forensics and Incident Response)の知識や調査方法が普及してきていることも要因ではないかと考えます。
一方、製品毎で差が大きくつく原因になったのはマルウェアの内部の振る舞い（MIB）、ネットワーク関連（Nt）、ファイル・データの属性（Attr）です。特にマルウェア内部の振る舞い（MIB）は項目数も多いため、ここの検知率によって差が開いた感じです。
MIBにくくりはしたものの、実はその結果の反映としてログやレジストリ、プリフェッチなどに情報が残り、そちらから検知可能なものもあります。一方、それぞれのプロセスの振る舞いをモニタリングしていないと検知不可能な項目もあります（例：CreateToolhelp32Snapshot APIによるプロセスリストの列挙など）。このため、この項目で検知を100%にする場合、一つの方法としては、それぞれの端末でどのプロセスがどのAPIの呼び出しているか、または要注意のAPIの呼び出しをしているかを監視する必要があります。これには恐らくカーネルレベルの監視、ETWの利用などが必要になりますが、これはユーザの端末にある程度負荷がかかる、ログの量も多くなる（＝それを製品のサーバに送信する通信量も大きくなる）という点にも留意が必要になるのではないかと思います。もう一つの方法としては、ファイル実行時にサンドボックスマシンに送信してチェックする方法もありますが、時間的なラグが大きくなること、多くの場合は組織内のネットワーク（VPN含む）に端末がある必要があること、などの問題が考えられます。
Ntのくくりにしたものは、通信先やプロトコルについての情報を取得し、検知に利用できているか、というものです。この検知をするには通信データの収集が必要ですが、pcap のデータを全て収集して監視・検知に使うのはあまり現実的ではありません（昔やっていた会社もありましたが、今はどうだろう？）。IPFIX や RFC3954(Cisco Systems NetFlow Services Export Version 9) のような情報をプロセスと紐づけて収集しておき、必要に応じて通信先やプロトコル情報として提示できる機能が必要でしょう。一般的なログには残らない情報のため、それらの通信情報収集機能の有無により差がでることが予想されます。
Attrのくくりにしたものは、マルウェアファイルデータや不審な文字列がマルウェアの中に暗号化されて埋め込まれている、データのエンコードの判定（BASE64エンコード判定）といったファイルやデータに関する情報です。ファイルに埋め込まれているデータの判定は、マルウェアの動作で復号化した結果からヒットしないと難しいかもしれません。また、データのエンコード判定は、判定対象のデータを保存しておくかどうかも焦点で、保存してある場合はデータサイズが膨らむという問題も考えられます。
検知率が高いベンダーは、全ての項目で90%以上という会社が6社もあり、うち3社は General 以上で 100% 検知している、というバケモノっぷりです。一方、これらには及ばずとも、CB/LTやMIBである程度の検知をしていて、実際の運用では効果が期待できる製品も結構ある、という印象です。検知率が高い製品の場合、それに応じて端末(CPUやメモリ)やネットワークへの負荷、データ量は他よりも大きくなることが考えられ、そちらがコストになる可能性があります。このため、検知率は参考にしつつ、コスパや運用を考慮し、製品選考の参考にするとよいのではないかと思います。
毎度のことですが、集計と感想はあくまで私見なので、そうは思わない、間違っていると言われればそうかもしれません。
私の場合、今回挙げた観点で集計した結果から、自分なりに考察してみた、というものなので、今回の集計結果について個々人で考察したほうが良いと思いますし、別の観点で自分で考察してみるのもいいのではないかと思います。
もう少し細かい集計結果も、後日足していく予定です（できるといいな・・・予定は未定）。