検出の修飾子「Alert」に着目した集計結果
「検出」に関する集計結果は前の記事で記載しました。
今回のMITRE ATT&CK Evaluationsでは、General、Tactic、Techniqueの場合に、アナリストに優先通知があると判断された場合には「Alert」の修飾子が付きます。
折角なので、こちらも集計してみました。
メリットとして、監視担当者としては注意喚起のトリガーとなりますし、アナリストとしては調査の優先順位付けや見落とし防止に役立つと考えられます。
この場合の観点は、以下のようになります。
- 検知だけでなく、Alertの修飾子がついているものをカウントする。
- カウントは実施項目単位で行い、同じ実施項目で複数のAlertが出ていても1カウントとする（つまり、コマンド実施等のある一つの行為に対し、アラートが出たかどうかで判断する）。
今回は、集計結果のみ記載します。
（例によって、カウントミスの可能性はあります。見つけたら修正します・・・。）
| Alert数 | |
| CyCraft | 90 |
| SentinelOne | 62 |
| FireEye | 66 |
| Palo Alto Networks | 50 |
| Secureworks | 33 |
| CrowdStrike | 22 |
| Cybereason | 31 |
| VMware Carbon Black | 45 |
| Trend Micro | 29 |
| Symantec | 21 |
| F-Secure | 38 |
| Blackberry Cylance | 61 |
| Kaspersky | 27 |
| McAfee | 26 |
| Malwarebytes | 17 |
| Microsoft | 33 |
| Bitdefender | 65 |
| Elastic | 53 |
| GoSecure | 33 |
| HanSight | 51 |
| ReaQta | 26 |
アラート数上位
１位 CyCraft
２位 FireEye
３位 Bitdefender
４位 SentinelOne
５位 Blackberry Cylance
６位 Elastic
７位 HanSight
８位 Palo Alto Networks
９位 VMware Carbon Black
１０位 F-Secure
本質的に、そもそも検知していないとAlertにもならないので、検知数の多かったソリューションがやはり上位に来ています。
ただ、その中でもアラートの出方には差があることが分かりました。
実施項目はオミットされたものを除くと134あったのですが、それらのうち半分以上アラートを発したのは90のCyCraftで、次点のFireEyeは約半分約3分の2（修正）の66となっています。
このあたりも、ソリューションの性能やコンセプトの違いが見えてきますね。
なるべく客観的に集計したつもりですがいかがでしょうか。
これらの数字について、どのような評価をするかは、最初に書いたように個人差があると思います。
また、他の観点で評価したい方もいると思います。
例えば、攻撃者がどのようなことをしているかを重視したい場合は、TechniqueやTacticで集計してみてもいいでしょう。
そのあたり、色々意見も聞いてみたいところですね。
さて、次こそは私の小並感を書いておいて、今回のネタは終了（予定）です。