MITRE ATT&CKで昨年より行われていた APT29 の攻撃を模擬した Evaluation について、先月ごろに結果が発表されました。
色々なベンダーやMSSPサービス会社が参加しているので、各ソリューションのPoCを直接やるのは大変でも、この結果を検証することで、そのソリューションにどのような特徴があり、自分の組織にはどれが向いているかが分かると思います。
MITRE ATT&CK Evaluations APT29の結果
結論からちゃっちゃといきましょう。
以下のページに、結果が掲載されています（まあ、普通はググったらこっちが先に出るよね、とかイワナイ）。
MITRE ATT&CK Evaluations Result (APT29)
https://attackevals.mitre.org/evaluations.html?round=APT29
俺英語読めないんだけど。
まあ、内容は Google 先生に訳してもらっても十分だと思います。
各ベンダーやサービスプロバイダのアイコンをクリックすれば、それぞれの結果が見れます。
しかし、これを見て、多くの人が「どうやって評価見ればいいの？」なんじゃないかと思います。
この評価では、点数付け、順位付けはしていないからです。
理由は、判定について一概に点数化が難しいということがあります（まあ、大人の事情もあると思いますが）。
また、セキュリティソリューションは、一概に検知等だけで決めれない点もあると思います。
これについて、このページの後半で、私の個人的な観点を紹介します。
今回は、この結果とセキュリティソリューションを評価する点での観点を整理しつつ、セキュリティソリューションの特徴を掴むことに重点を置きたいと思います。
そもそもMITRE ATT&CKってなんぞ？
そもそもMITRE ATT&CKって何？という話に触れておきます。
MITRE ATT&CKは、サイバー攻撃に関する戦術や技術のナレッジベースです。
今までに発見されたサイバー攻撃に関し、その戦術や技術を分類し、それぞれの項目にどのような攻撃かを記載しています。
戦術や技術の分類を定義し、IDも付与しています。
分類の定義をすることで、今までベンダー等によって用語や言い回しが違っていたような項目も、いずれの戦術や技術を示しているかが分かり、共通化が図れます。
また、著名な標的型グループについてのナレッジもあります。
https://attack.mitre.org/groups/
それぞれの団体が、今までどのような攻撃技法を使ってきたかがまとめられており、こういった団体がどのような技術を持っているかが分かりやすくまとまっています。
攻撃のジャンルごとに使われる戦術や技術を配置したマトリックスもあります。
https://attack.mitre.org/matrices/enterprise/
例えば、初期侵入では「Initial Access」などの戦術（表の一番上のタイトル行部分）が該当し、これらの戦術を実施する際に使われてきた技術がその列に紐づけられています。
そして、それぞれの戦術や技術をクリックすると、その解説のページが表示されます。
各戦術のページには、概要でID、内容として関連する技術の表が示されています。
各技術のページには、概要でIDや関連する戦術、関係するOSなどのプラットフォーム、必要な権限、検知の元になり得る情報源などが記載されています。
また、本文にはその技法が詳しく記載されているほか、著名な標的型攻撃グループの使用例、攻撃を抑制するための緩和策などが記載されています。
例として「Drive-by Compromise」を見ると、IDはT1189、関連する戦術は Initial Access 、関係するOSなどのプラットフォームはWindows, Linux, macOS, SaaS、検知などのデータソースはパケットキャプチャやネットワークデバイスのログなどが利用できることが概要に書かれています。
本文には詳細な解説のほか、Procedure Examplesに著名な標的型攻撃グループの使用例としてAPT19やAPT32などのケースが書かれ、Mitigations に緩和策として Application Isolation and Sandboxing (アプリケーションの分離とサンドボックスの利用) やその注意点などが記載されています。
このように、攻撃グループ主体であったり、攻撃の手法からであったりと、サイバー攻撃に関する多面的なアプローチと、それぞれについての詳しいナレッジがあり、かつ複数のソリューションと横断的に用語やIDを統一している、というのが大きな特徴と言えます。
MITRE ATT&CK Evaluations の結果を評価するための準備
MITRE ATT&CK Evaluations は、MITRE ATT&CK が企画して実施しているサイバーセキュリティ製品やMSSPの評価です。
特定の攻撃グループが使う攻撃技法をあらかじめマトリックスにマッピングしておき、その攻撃グループの攻撃を模擬したシナリオを作成して、各メーカーやMSSPがどの程度データの収集・検知ができるかを評価する、というものです。
（なんか、メーカー同士の割とガチなCTFみたいで、これはこれで面白そうだなぁ。）
今回のAPT29の模擬でのマトリックスは以下の通りです。
https://attackevals.mitre.org/APT29/scope.html
当然ですが、マトリックスの技術全てを使うシナリオではありません。
緑色でマークされているのが、今回のテストで使われる技術となります。
さて、結果の見方についても今後触れていきますが。
この評価を見るにあたり、「MITREは単純に検知した、しないで点数付けはせず、検知の有無や状況を評価している」ということに留意すべきということを先に書きました。
普通に考えたら「検知数が多い方がいいに決まってるんじゃないの？」ということになります。
確かに、攻撃の検知は重要ですから、それが高いに越したことはないのですが。
サイバーセキュリティ製品には、「検知」だけでは評価できない部分がある、というのが本当のところです。
今回のMITRE ATT&CK Evaluations には、ざっと見ても以下の項目が書かれていません。
- コスト（価格）
- 分析にかかる時間
- 運用
- データ量（通信・ストレージ）
気になる人にとっては、他にも項目があるのではないでしょうか。
つまり、そういった観点も持ちつつ、この評価を見る必要があるということです。
まあ、簡単に例えるならそれぞれ以下のようなケースがあるでしょう。
コスト（価格）
自分の会社に導入するのに、100万円なの？1000万円なの？1億円なの？
運用コストも含めると？
分析にかかる時間
Delayedになっている項目は、実際にはどの程度時間がかかるの？
半日程度？数日？1週間？
運用
運用するのに専属の技術者やセキュリティ専門の技術者を常駐させたりする必要はあるの？
データ量（通信・ストレージ）
多くのソリューションではデータを収集・分析しているが、それぞれのデータ量はどの程度？
1端末あたり1MB? 1GB?
その通信の増加のために通信インフラ強化やストレージ増設など、追加の費用や工数、メンテナンスコストがかからない？
・・・といった、現実問題がでてきます。
いくら評価上の検知が良くても、こういった課題に引っかかったら、それはその会社や組織にとって対象外になるでしょう。
例えば、検知率が90%超える高性能サイバーセキュリティシステムがあったとして、それが導入と年間コストで1億円かかるとしたら、年商1億円そこそこの会社に導入できますか？
会社が潰れますわな。
という話です。
その場合、検知率が下がっても年間100万円のコストで済むソリューションが選択肢になってくるんじゃないでしょうか。
そうなると、MITRE ATT&CKの結果から良さそうなソリューションに目星をつけつつ、商談で価格や運用を確認して絞り込んでいく、ということになります。
こういった使い方がされるため、単純に検知で評価できないんだろう、と思います。
相変わらず駄文が長いので続きは次回に。
評価の定義の確認やシナリオの整理をし、その後で評価を見ていきたいと思います。