ベンダー別検知状況集計結果一覧
ベンダーごとに、検知した項目数を集計した結果一覧です。
今回は、まずはこちらを掲示しておきます（去年は項目と各ベンダーの検知状況のマトリックスを先に掲載していましたが、今回は後回しまたはナシで）。
検知率は、全項目数のうち、〇になった数の比率です。
また、設定変更数は「Configration Change」が1つ以上付与されていた項目数です。
表示は検知率順にしています。
| Campany | 〇 | △ | × | Detection Rate |
| Cybereason | 108 | 1 | 0 | 99.08256881 |
| SentinelOne | 108 | 0 | 1 | 99.08256881 |
| Palo Alto Networks | 107 | 0 | 2 | 98.16513761 |
| Bitdefender | 106 | 0 | 3 | 97.24770642 |
| Check Point | 103 | 0 | 6 | 94.49541284 |
| Fortinet | 85 | 2 | 3 | 94.44444444 |
| Cynet | 102 | 5 | 2 | 93.57798165 |
| Malwarebytes | 83 | 0 | 7 | 92.22222222 |
| Trend Micro | 100 | 5 | 4 | 91.74311927 |
| Microsoft | 98 | 0 | 11 | 89.90825688 |
| CrowdStrike | 94 | 11 | 4 | 86.23853211 |
| Broadcom Symantec | 87 | 5 | 17 | 79.81651376 |
| Fidelis | 85 | 9 | 15 | 77.98165138 |
| FireEye | 85 | 4 | 20 | 77.98165138 |
| McAfee | 84 | 23 | 2 | 77.06422018 |
| ESET | 69 | 6 | 15 | 76.66666667 |
| Uptycs | 81 | 11 | 17 | 74.31192661 |
| ReaQta | 62 | 9 | 19 | 68.88888889 |
| Cisco | 74 | 16 | 19 | 67.88990826 |
| AhnLab | 59 | 24 | 7 | 65.55555556 |
| Deep Instinct | 59 | 4 | 27 | 65.55555556 |
| BlackBerry Cylance | 71 | 18 | 20 | 65.13761468 |
| Elastic | 71 | 27 | 11 | 65.13761468 |
| Sophos | 67 | 21 | 21 | 61.46788991 |
| WithSecure | 66 | 17 | 26 | 60.55045872 |
| CyCraft | 64 | 13 | 32 | 58.71559633 |
| Qualys | 50 | 16 | 24 | 55.55555556 |
| VMware Carbon Black | 57 | 33 | 19 | 52.29357798 |
| Somma | 28 | 40 | 22 | 31.11111111 |
| Rapid7 | 23 | 39 | 47 | 21.10091743 |
4分類の検知状況
MITRE ATT&CK Evaluations (2022)の個人的な結果検証 その３で書いた、独自の４分類でどの程度の検知数であったかを掲載します。
表の見方は、「〇」になったほうが良いので、当然数字が大きい方が良いです。
また、比率を計算する場合は母数が必要ですが、それは一番下の行に以前の記事に書いた数字の合計値を再掲しています。
例えば、「Malware Inside Behavior」が14の場合、母数は20なので、14÷20×100=70%の検知率ということになります。
| Campany | Malware Inside Behavior | Command Level Behavior | Network | File or data attribute |
| AhnLab | 14 | 30 | 14 | 1 |
| Bitdefender | 19 | 51 | 35 | 1 |
| Check Point | 17 | 51 | 33 | 2 |
| Cisco | 6 | 47 | 19 | 2 |
| CrowdStrike | 11 | 50 | 31 | 2 |
| Cybereason | 19 | 51 | 36 | 2 |
| CyCraft | 3 | 45 | 16 | 0 |
| BlackBerry Cylance | 12 | 43 | 15 | 1 |
| Cynet | 19 | 48 | 33 | 2 |
| Deep Instinct | 4 | 37 | 17 | 1 |
| Elastic | 9 | 47 | 14 | 1 |
| ESET | 6 | 40 | 21 | 2 |
| Fidelis | 10 | 50 | 24 | 1 |
| FireEye | 7 | 46 | 31 | 1 |
| Fortinet | 18 | 40 | 25 | 2 |
| Malwarebytes | 13 | 40 | 28 | 2 |
| McAfee | 13 | 45 | 25 | 1 |
| Microsoft | 10 | 50 | 36 | 2 |
| Palo Alto Networks | 18 | 51 | 36 | 2 |
| Qualys | 2 | 40 | 8 | 0 |
| Rapid7 | 0 | 20 | 3 | 0 |
| ReaQta | 6 | 35 | 20 | 1 |
| SentinelOne | 19 | 51 | 36 | 2 |
| Somma | 2 | 25 | 1 | 0 |
| Sophos | 5 | 45 | 16 | 1 |
| Broadcom Symantec | 6 | 51 | 29 | 1 |
| Trend Micro | 15 | 51 | 32 | 2 |
| Uptycs | 12 | 46 | 22 | 1 |
| VMware Carbon Black | 4 | 38 | 15 | 0 |
| WithSecure | 5 | 41 | 19 | 1 |
| (項目の母数) | 20 | 51 | 36 | 2 |
ざっくりな所感（小並感）
今回のシナリオは、昨年、一昨年と大きく変わった点がありました。
大きく変わったのは、「マルウェアそのものの動作と、それに伴う単独のエンドポイントに対するフォーカスの度合いが強くなった」というのが私の直感的な感想です。
昨年までは、マルウェア感染などがあったあと、組織のネットワークに奥深く侵入し、情報を狙うという攻撃の検知がターゲットでした。
今年のシナリオは、ランサムウェアということで、ともすれば単独事故となることが多い攻撃で、さらに被害拡大のためにネットワーク侵入を広げる、という面がみられました。
このシナリオが行われたのは、私は以下の２つの大きな理由があると思いました。
第１は、やはりランサムウェアの被害が大きいことです。
ランサムウェアの被害は、昨年も社会インフラや医療関係に大きな影響を及ぼし、喫緊で対策する必要がある攻撃方法です。
手口も、単純にシステムが稼働できなくなる、データが見れなくなるだけでなく、データを暴露するという「二重脅迫」も行われており、攻撃者に屈する理由が増えていることも被害を大きくしているといえるでしょう。
今後も発展する可能性は十分あり、脅迫の方法をさらに増やして「多重脅迫」に発展する懸念もあるのではないでしょうか。
第２は、リモートワーク化の急速な普及とそれに対応したセキュリティが必要になっていることです。
コロナ禍の影響で、リモートワークが急速に普及しました。
これ自体は、以前より働き方改革などで挙げられていたものの、普及速度がイマイチではありました。
コロナ禍によって外出を制限した上でビジネスを継続する方法として、リモートワークの採用が急速に進んだと考えています。
しかし、ビジネスを継続させることを優先してなし崩し的にリモートワークに移行した結果、サイバーセキュリティが置いていかれている、と思うことが多々ありました。
具体的にいえば、私のお仕事で行うフォレンジック調査で、「これ、リモートワークにしたときのセキュリティを何も考えてなかっただけじゃね？」と思わせられる事案が急速に増えた、という体験があります。
つまり、以前は「社内と社外の接点のセキュリティがあり、社内のネットワークは比較的安心」という前提になっていた各端末のセキュリティが、見直されずにそのまま社外に持ち出してリモートワークに移行した結果、それらの端末が被害を受けやすくなったという傾向があると思っています。
こういった環境やクラウドの利用が普及してきた場合、「ゼロトラスト」のようなセキュリティの考え方や構造自体をシフトしていく必要があるはずです。
今後は、個々の端末毎に「個別端末単位のセキュリティの強化」が必要とされる、ということになるのではないかと思います。
それは、不審なプログラムの監視、ミニUTMのような通信の制御およびトラフィックの監視、個々の認証など複数の要素が必要になるのではないかと思います。
そして、それらの独立性の高い個々の端末を接続するようなネットワーク構成に変わっていくのかもしれません。
（つまり、Stand alone complex !（って言いたいだけやろ）。）
こうした理由から、ランサムウェアで比較的個別の端末に対する被害を狙った攻撃手法がシナリオとして採用されたのではないか、と思います。
今回の結果では、検知率の明暗を分けたのは「Malware Inside Behavior」にあたる、マルウェアそのものの動作で攻撃を検知できる機能が高いか、という点が大きいと思います。
以前はアンチウィルスに任せていた機能ですが、今回の検知の判定基準では、サンドボックス的にモニタリングしていないと検知できないような項目がいくつもあり、こういった複雑かつ重い機能をいかにして実装して防御に生かすか、といった課題があることが分かります。
このため、コンシューマでは有名なアンチウィルスのベンダーであっても、「Malware Inside Behavior」の検知率は思いのほか高くない、と感じたりもしました。
次いで、「Network」にあたる、通信のモニタリングと通信からの不審点の発見、またはマルウェアと通信の紐づけができているか、という点も大きかったと思います。
特に、リモートワークなどで社外でネットワークを使う機会が増えていることを考えると、個別の端末でもある程度通信状況をモニタリングする機能が必要なのかもしれません。
※注：なお、今回の検証に関し、それぞれのベンダーのシステム構成までは見つかりませんでした（どこかにあるかもしれないんだけど、見つからない・・・）。
ネットワークのモニタリングアプライアンスやサンドボックスを導入している前提の場合、個々の端末のみでは検知ができなかったり検知率が下がると思います。
「Command Level Behavior」にあたる項目は、どのソリューションも比較的高く検知できていると感じました。
水平展開（ラテラル・ムーブメント）は今後も試行されると思いますし、昨年までのような情報窃盗を目的とした攻撃は引き続き脅威ですので、今後も必要な機能といえるでしょう。
以前はEDRとアンチウィルスの差別化の大きな点でしたが、どんどん進化するにつれて、最低限必要な機能くらいの位置づけになりつつあるとも言えるのかもしれません。
こうして見ていくと、いわゆるEDR/MDRと呼ばれている製品も、機能のトレンドがシフトしてきているのかなと思ったりします。
今後は、端末の振る舞いだけでなく、その中で動いているアプリケーションの振る舞いや通信の振る舞いもある程度カバーしないと、リモートワークやゼロトラスト環境では機能不足になりかねないのかな、と思いました。
このあたり、監視する人と分析する人で欲しい情報や機能が違ったりするのが難しいところ。
（検知率が高いことと、分析しやすいというのはイコールでなかったりするので。）
集計結果で特徴的なのは、検知率上位5ベンダーは、順位の入れ替わりはありつつも顔ぶれが同じ、ということで、2年連続安定感がある、という結果が見て取れます。
また、先に述べた通り、マルウェアそのものの動作、内部の動きも検知できていることから、これらの機能が元から充実しているか、ニーズに合わせて対応してきているといった感じを受けました。
集計結果をざっくり見た感想をつらつらと書きましたが。
あくまで私の私見、感想であり、正しいと強弁できる自信はありません。
今回の結果を見て別の感想を持つもよし、別の観点で自分で分析し考察するもよし、だと思います。
そうやってサイバーセキュリティについて考え、折あれば討論していったりするのもサイバーセキュリティの発展の礎になるんじゃないか、などと思っています。
え？結論が読み手に丸投げになってる？
だって、こんなどこの誰とも分からない無名のおっさんの感想に、そんな重みないじゃん？
そのあたりの評価は有名なスゴイ人たちにお任せしようそうしよう。
俺様の愛バがずきゅんどきゅん走り出しそうだし。
もう少し細かい集計結果は、後日ちびちび足していく予定です。
あまり期待しないで待っててくださいw