「検知」を基準としたシナリオベースの評価の集計結果
MITRE ATT&CK Evaluations (APT29)の「検知」を基準とした集計結果を示します。
以前の記事にも書いていますが、今回のスコアリングはあくまで「私がこの観点でやってみよう」と考えて集計したもので、それが妥当かどうかは読んでいる方々のご判断にお任せします。
また、手動で集計してしまった（途中でjsonデータもあることに気づいたけど手遅れだった）ので、判定ミスの誤差があるかもしれません。
（もし後日気づいたら、しれっと修正します・・・）
一応、情報元と集計ルール、各シナリオ毎の判定マッピングを再掲しておきます。
MITRE ATT&CK Evaluations (APT29) Result
今回の評価のポリシー及びスコアリングのルール
シナリオ１：
シナリオ２：
各シナリオの各ステップ毎の集計結果
シナリオ１：
| CC | SO | FE | PA | Sw | CS | Cr | CB | TM | Sy | FS | Cl | Ka | MA | Mb | MS | Bd | El | GS | HS | RQ | |
| １．初期侵害 (6) | 5 | 5 | 6 | 5 | 5 | 4 | 4 | 4 | 4 | 4 | 4 | 5 | 4 | 4 | 1 | 3 | 3 | 4 | 4 | 3 | 3 |
| ２．速やかな情報収集および流出 (6) | 3 | 6 | 4 | 6 | 3 | 1 | 5 | 4 | 4 | 3 | 3 | 3 | 2 | 0 | 1 | 4 | 2 | 2 | 5 | 1 | 0 |
| ３．ステルスなツールキットの配布 (8) | 5 | 8 | 6 | 6 | 6 | 3 | 3 | 3 | 5 | 4 | 5 | 1 | 4 | 1 | 0 | 8 | 2 | 2 | 5 | 1 | 2 |
| ４．防衛の回避および環境調査 (19) | 18 | 15 | 19 | 11 | 14 | 2 | 8 | 5 | 14 | 16 | 9 | 12 | 6 | 4 | 4 | 6 | 6 | 4 | 5 | 7 | 4 |
| ５．永続化 (2) | 2 | 2 | 2 | 1 | 2 | 0 | 1 | 1 | 2 | 2 | 2 | 2 | 2 | 2 | 1 | 2 | 2 | 2 | 2 | 2 | 0 |
| ６．認証情報へのアクセス (5) | 2 | 3 | 4 | 4 | 3 | 2 | 2 | 3 | 4 | 3 | 1 | 2 | 1 | 3 | 0 | 5 | 3 | 4 | 3 | 0 | 1 |
| ７．情報収集および流出 (7) | 5 | 7 | 6 | 6 | 5 | 2 | 0 | 3 | 7 | 6 | 4 | 2 | 4 | 2 | 0 | 3 | 5 | 3 | 2 | 3 | 0 |
| ８．水平展開 (8) | 7 | 8 | 8 | 6 | 6 | 3 | 4 | 2 | 8 | 6 | 5 | 5 | 5 | 0 | 2 | 2 | 6 | 3 | 5 | 4 | 0 |
| ９．情報収集（リモート） (14) | 8 | 14 | 11 | 13 | 8 | 2 | 2 | 6 | 8 | 10 | 11 | 9 | 6 | 3 | 0 | 9 | 4 | 6 | 8 | 4 | 5 |
| １０．永続化処理の実行 (4) | 2 | 3 | 0 | 3 | 0 | 0 | 2 | 0 | 4 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 2 | 0 | 0 | 0 | 0 |
シナリオ２：
| CC | SO | FE | PA | Sw | CS | Cr | CB | TM | Sy | FS | Cl | Ka | MA | Mb | MS | Bd | El | GS | HS | RQ | |
| １１．初期侵害 (15) | 13 | 15 | 13 | 12 | 13 | 3 | 5 | 6 | 15 | 15 | 12 | 12 | 12 | 4 | 2 | 11 | 10 | 11 | 6 | 10 | 3 |
| １２．アクセスの強靭化 (5) | 5 | 5 | 5 | 5 | 5 | 1 | 0 | 3 | 4 | 5 | 5 | 3 | 2 | 0 | 0 | 5 | 1 | 3 | 2 | 2 | 0 |
| １３．ローカルマシン情報の列挙 (4) | 4 | 3 | 2 | 0 | 4 | 0 | 4 | 0 | 0 | 4 | 4 | 0 | 4 | 0 | 0 | 1 | 1 | 0 | 2 | 0 | 0 |
| １４．権限昇格 (9) | 9 | 9 | 9 | 6 | 8 | 3 | 6 | 7 | 7 | 5 | 7 | 4 | 5 | 1 | 1 | 4 | 6 | 5 | 6 | 5 | 3 |
| １５．永続化 (2) | 2 | 1 | 2 | 2 | 2 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 1 | 1 | 1 | 1 | 1 | 1 |
| １６．水平展開 (7) | 7 | 6 | 7 | 5 | 6 | 2 | 4 | 3 | 6 | 4 | 4 | 4 | 5 | 2 | 1 | 4 | 3 | 3 | 7 | 4 | 2 |
| １７．情報収集 (5) | 3 | 5 | 4 | 2 | 3 | 0 | 3 | 3 | 5 | 2 | 4 | 2 | 4 | 0 | 0 | 3 | 2 | 0 | 2 | 0 | 0 |
| １８．情報流出 (2) | 2 | 2 | 2 | 2 | 2 | 0 | 2 | 2 | 1 | 2 | 2 | 2 | 0 | 1 | 1 | 2 | 1 | 1 | 1 | 0 | 0 |
| １９．クリーンアップ (-) | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| ２０．永続化処理の実行 (6) | 6 | 6 | 6 | 6 | 5 | 4 | 3 | 6 | 6 | 3 | 6 | 6 | 6 | 4 | 3 | 6 | 6 | 6 | 4 | 6 | 3 |
赤字：ステップ最高値 橙：ステップ次点
ソリューション略称
CC:CyCraft
SO:SentinelOne
FE:FireEye
PA:Palo Alto Networks
Sw:Secureworks
CS:CrowdStrike
Cr:Cybereason
CB:VMware Carbon Black
TM:Trend Micro
Sy:Symantec
FS:F-Secure
Cl:Blackberry Cylance
Ka:Kaspersky
MA:McAfee
Mb:Malwarebytes
MS:Microsoft
Bd:Bitdefender
El:Elastic
GS:GoSecure
HS:HanSight
RQ:ReaQta
CC:CyCraft
SO:SentinelOne
FE:FireEye
PA:Palo Alto Networks
Sw:Secureworks
CS:CrowdStrike
Cr:Cybereason
CB:VMware Carbon Black
TM:Trend Micro
Sy:Symantec
FS:F-Secure
Cl:Blackberry Cylance
Ka:Kaspersky
MA:McAfee
Mb:Malwarebytes
MS:Microsoft
Bd:Bitdefender
El:Elastic
GS:GoSecure
HS:HanSight
RQ:ReaQta
検知数集計結果
| 検知（〇） | Telemetry のみ（△） |
未検知（×） | |
| CyCraft | 108 | 0 | 26 |
| SentinelOne | 123 | 4 | 7 |
| FireEye | 116 | 2 | 16 |
| Palo Alto Networks | 101 | 20 | 13 |
| Secureworks | 100 | 10 | 24 |
| CrowdStrike | 33 | 82 | 19 |
| Cybereason | 59 | 40 | 35 |
| VMware Carbon Black | 62 | 40 | 32 |
| Trend Micro | 105 | 18 | 11 |
| Symantec | 95 | 19 | 20 |
| F-Secure | 89 | 29 | 16 |
| Blackberry Cylance | 75 | 35 | 24 |
| Kaspersky | 74 | 9 | 51 |
| McAfee | 32 | 31 | 71 |
| Malwarebytes | 17 | 15 | 102 |
| Microsoft | 79 | 41 | 14 |
| Bitdefender | 66 | 43 | 25 |
| Elastic | 60 | 62 | 12 |
| GoSecure | 70 | 16 | 48 |
| HanSight | 53 | 58 | 23 |
| ReaQta | 27 | 89 | 18 |
検知数上位
１位 SentinelOne
２位 FireEye
３位 CyCraft
４位 Trend Micro
５位 Palo Alto Networks
６位 Secureworks
７位 Symantec
８位 F-Secure
９位 Microsoft
１０位 Blackberry Cylance
以上のような結果になりました。
「各シナリオの各ステップ毎の集計結果」は、ステップ毎の行の数をみれば、どういった行為に対しどのソリューションが検知に強いのか、または苦手なのかが分かります。
また、ソリューション毎の列の数を見れば、そのソリューションがどういった行為に対し強い、または苦手なのかが分かります。
行ごとの最高値、次点に色を付けておいたので、ソリューション毎に見た時に、色がついている項目が多いソリューションは検知能力が高いと判断できると思います。
この表は、今後ソリューションを選定する場合に指標にできるほか、既にいずれかのソリューションを採用している場合、長所や弱点を把握する指標にでき、特に短所は別のソリューションを活用してカバーするといった計画を立てるのにも参考になるのではないかと思います。
「検知数集計結果」は、検知のトータル数のほか、Telemetryのみだったもの、未検知だったもの、それぞれのトータル数も記載しました。
検知数が大きいものは、それだけ検知能力に期待が持てると考えられます。
検知があまり良くなかった場合でも、Telemetryがある場合は人による調査でカバーしたり、後日に検証する場合にデータは残っていることを示しているので、ある程度参考になるでしょう。
この結果に関する個人的な感想は、また後日書こうかと思います。