Mitre Engenuityで昨年行われた Carbanak+FIN7 の攻撃を模擬した Evaluation について、先月半ばに結果が発表されました。
昨年もAPT29を模擬した Evaluation が実施されており、昨年個人的な考察を書いていました。
今回は、2020年に実施され、2021年4月半ばに公開された 「Carbanak+FIN7」 の Evaluation の結果を考察してみます。
なお、その１の以降の記事は、私のMitre Engenuity Att&ck Evaluations の記事を初めて読む方へ向けた昨年同様の内容なので、昨年読んだしもういいよ、という方は、さっさと次へいってしまってください。
Mitre Engenuity Att&ck Evaluationsとは？
Mitre Engenuity Att&ck Evaluations とは、Mitre Engenuityが企画し、各セキュリティベンダーが参加している、実在するAPTグループの攻撃を模擬した攻撃の検知能力を判定する企画です。
今回は、 「Carbanak+FIN7」の模擬になります。
色々なベンダーが参加しているので、各ソリューションのPoCを直接やるのは大変でも、この結果を検証することで、そのソリューションにどのような特徴があり、自分の組織にはどれが向いているかが分かると思います。
Mitre Engenuity Att&ck Evaluations Carbanak+FIN7 の結果
以下のページに、結果が掲載されています。
昨年とドメインが変わっていますが、上部の「Enterprise」から2018年～2020年の概要および結果を選ぶことができます。
また、今年実施する予定の「Wizard Spider and Sandworm」の Evaluations の概要と募集も記載されています。
この Mitre Engenuity Att&ck Evaluations では、シナリオの内容と実施結果を示しているだけで、順位付け等は行っていません。
参照する人が、自身の組織に必要とされる観点を持って評価する必要があります。
昨年同様、私が個人的な観点とルールで結果を確認し、自分なりの評価を出してみたいと思います。
私の観点が正しいと思っていただければ参考にしていただければと思いますし、観点が違うなと思ったら、その差分をもって評価していただいたり、自身で評価する時のたたき台にするなどしていただければと思います。
そもそもMITRE ATT&CKってなんぞ？
（昨年の内容の転載（コピー）です。一応、今年初めて＆Mitre Att&ckを知らない人向けの頭だしのため記載をコピーします。）
そもそもMITRE ATT&CKって何？という話に触れておきます。
MITRE ATT&CKは、サイバー攻撃に関する戦術や技術のナレッジベースです。
今までに発見されたサイバー攻撃に関し、その戦術や技術を分類し、それぞれの項目にどのような攻撃かを記載しています。
戦術や技術の分類を定義し、IDも付与しています。
分類の定義をすることで、今までベンダー等によって用語や言い回しが違っていたような項目も、いずれの戦術や技術を示しているかが分かり、共通化が図れます。
また、著名な標的型グループについてのナレッジもあります。
https://attack.mitre.org/groups/
それぞれの団体が、今までどのような攻撃技法を使ってきたかがまとめられており、こういった団体がどのような技術を持っているかが分かりやすくまとまっています。
新たなグループや手法が発見されたり、項目が一部細分化されるなどしており、年々記載内容が増えています。
攻撃のジャンルごとに使われる戦術や技術を配置したマトリックスもあります。
https://attack.mitre.org/matrices/enterprise/
例えば、初期侵入では「Initial Access」などの戦術（表の一番上のタイトル行部分）が該当し、これらの戦術を実施する際に使われてきた技術がその列に紐づけられています。
そして、それぞれの戦術や技術をクリックすると、その解説のページが表示されます。
各戦術のページには、概要でID、内容として関連する技術の表が示されています。
各技術のページには、概要でIDや関連する戦術、関係するOSなどのプラットフォーム、必要な権限、検知の元になり得る情報源などが記載されています。
また、本文にはその技法が詳しく記載されているほか、著名な標的型攻撃グループの使用例、攻撃を抑制するための緩和策などが記載されています。
これらの情報から、活動が活発で警戒すべきAPTグループの情報を参照し、よく使われる手口に対し対策を考案、実施するための情報を得ることが可能です。
また、受けている攻撃をMitre Att&ckのIDで分類することで攻撃の傾向を把握でき、その傾向からどのグループの可能性があるかを推測することに使えるかもしれません。
いずれにしても、自身が受けている攻撃に関する情報を整理するID付け、それらに対する技術概要および対策のナレッジの利用、戦術、技術視点でのマッピングによる傾向分析など、起きているサイバー攻撃の分析に利用できるのではないかと思います。
一方で、個人的にはAtt&ckの各技術に対してセキュリティソリューションがカバーできているか、というようなアセスメントには、正直向かないんじゃないかなぁと思います（戦術(Tacktic)単位で、なんらかの対策をしているか？という確認くらいはありかもしれないですが）。
Mitre Engenuity Att&ck Evaluationsの結果を見るときの留意点
先に述べたとおり、 Mitre Engenuity は結果に対して順位付け等の評価は行っていません。
あくまで、検知状況がどうだったか、というデータの提示です。
このデータを読み解くためには、「観点」を持ってデータを参照したり集計したりする必要があります。
この観点は、のちほどの記事で書きます。
留意点としては、以下の項目についてです。
- コスト（価格）
- 分析にかかる時間
- 運用
- データ量（通信・ストレージ）
これらについては Att&ck Evaluations で触れられていないため注意が必要です。
検知の評価だけでなく、これらも含めてセキュリティ対策やソリューションの選定を行う必要があります。
コスト（価格）
自分の会社に導入するのに、100万円なの？1000万円なの？1億円なの？
運用コストも含めると？
いくら性能が高くても、高すぎて導入できないのであれば、その段階でスコープ外になりますね。
また、運用もある程度放置できるのか、情報セキュリティの技術者が必要なのか、SOCが必要、またはSOCサービスを受ける必要があるほど専門性が必要なのか、有事の際の追加サービスのコストによっても、運用にかかるコストは変わります。
分析にかかる時間
評価の中で、「Delayed」になっている項目がありますが、実際にはどの程度時間がかかるの？
半日程度？数日？1週間？
また、ソリューションがそもそも「分析を目的としたシステム」であった場合、分析に時間を要するのは当たり前なので、大きな問題にはなりません。
このため、分析よりも即時の自動検知や防御を重視する場合は重要な指標になる一方で、攻撃に対し広く深く分析を重視する場合には一概に悪いとはいえず、分析能力で判断すべきでしょう。
運用
運用するのに専属の技術者やセキュリティ専門の技術者を常駐させたりする必要はあるの？
24時間365日人が張り付いていないと期待しているような性能が出ない、といったことはない？
また、評価の中に「Configuration Change」という修飾子が時々出現します。
中には、実施された攻撃ステップのうち3割ほどの項目で出現していましたが、運用ではこの構成変更はどういう基準で、どういった変更を、どの程度の頻度でやる必要があるのか？ということは分からず、素朴に疑問に感じました。
なにしろ、設定変更を的確に行わないと検知できないのであれば運用関係者に対する負担は大きいですし、ステップ毎に設定変更が必要だったならば実用上無理だと思います。
そもそも、起きている攻撃に対して設定をチューニングしてる暇があったら、攻撃に対処する作業しろ、って話です。
いくら今回の検知の成績が良くても、チューニングがシビアでは運用は回りません。
データ量（通信・ストレージ）
多くのソリューションではデータを収集・分析しているが、それぞれのデータ量はどの程度？
1端末あたり1MB? 1GB?
その通信の増加のために通信インフラ強化やストレージ増設など、追加の費用や工数、メンテナンスコストがかからない？
これらの項目は、 Att&ck Evaluations の評価には出てこないため、採用する際には別途ベンダーに確認する必要があるでしょう。
また、これ以外にも気づいた点があれば、留意点として挙げておき、ベンダー選定の際に確認することを推奨します。
次回は、今回実施されたシナリオと検出カテゴリーについて書きます。