2023年のMITRE Engenuity ATT&CK Evaluations の Enterprise の結果が出てましたので、恒例の個人的な分析をしてみました。
去年11月くらいには出てたのですが、去年は10月末のCSS2023の学会発表2本を含めて6本の発表、講演が重なったので、純粋に時間が無くてやれませんでした。
参加したEDR系ベンダーの製品の検知状況を整理し、どのような得手、不得手があるか、どのような機能に焦点をあてているのかを分析し、考察したいと思います。
MITRE ENGENUITY ATT&CK Evaluations
MITRE Engenuity ATT&CK Evaluationsは、セキュリティベンダーが提供する製品やソリューションがどの程度の防御ができるか、既知のシナリオを元にシミュレーションし、判断するためのリソースとなります。
このため、実施者としては、あくまでそれぞれの製品の特長を知ることが目的であり、スコアリングして製品の優劣を決める目的ではないことは理解してください。
また、私なりに気づいた留意点も後に述べておきます。
https://attackevals.mitre-engenuity.org/
2024年2月現在HPで確認できる範囲では、「Enterprise」、「Managed Servises」、「ICS」、「Trials」の4つのジャンルに分かれています。開始当初は、「Enterprise」に当たるものが実施されており、ここに「Managed Servises」のプロバイダも含まれていたと思います。
Evaluation "Turla"
今回は、EDRの製品系が主となる「Enterprise」として2023年に実施された「Turla」について分析していこうと思います。
https://attackevals.mitre-engenuity.org/results/enterprise?evaluation=turla
詳しいことは当該ページの解説を見た方が良いですが、概要をざくっと訳しておきます。
Turla
Turlaとは2000年頃からロシアを拠点として活動していると言われているAPT（高度標的型攻撃）グループで、45か国以上で被害をもたらしていると言われています。
標的は、各国政府機関、外交官、軍事組織、研究機関、メディアなど。
オープンソースや自前のツールを使い、特殊なコマンド＆コントロールを使用して攻撃を秘匿する洗練された攻撃が特徴と言われています。
今回は、この攻撃者を模擬して「Carbon」と「Snake」の2つのシナリオを行いました。
Scenario: Carbon
このシナリオは、被害者ネットワークに永続的な「水飲み場」を設置し、更なる被害者を増やしていく、というものです。
最初の攻撃はスピアフィッシングメールで、被害者が偽のソフトウェアのインストーラをダウンロードし、実行することによりマルウェア(EPIC)に感染、永続化します。
コマンド＆コントロール通信が確立されると、Active Directoryサーバ（ドメインコントローラ）が発見され、CARBON-DLLが被害者ネットワークに侵入します。
攻撃者はさらにLinuxサーバに水平展開し、PENQUINをコピーして「水飲み場」の構築が行われます。
Scenario: Snake
このシナリオは、攻撃者にとって高い価値のある情報収集を行うものです。
改ざんされたサイトにアクセスしたことにより、悪意あるサイトにリダイレクトされ、マルウェアを含んだ実行ファイルを実行することで、コマンド＆コントロール通信が確立されます。
不正なコードがプロセスインジェクションで入り込み、さらにSNAKEを展開して足場を確保します。
さらに権限昇格し、HTTP/SMTP/DNS経由でコマンド＆コントロール通信を行います。
ファイルサーバやワークステーションへの水平展開を経て、認証情報の窃盗や新たなドメイン管理者ユーザの作成を行い、最終的にExchangeサーバにLightNeuron をインストールします。
これにより、通信から機密情報を抜き出して、更なるミッションに利用します。
以上が今回の Evaluations のシナリオとなります。
シナリオの細かい内容は次回以降の記事に掲載します。
Mitre Engenuity Att&ck Evaluationsの結果を見るときの留意点
去年のコピペだぞ（笑）。
初めて見た人のために、または忘れている人のために一応転載しておきます。
Mitre Engenuity は結果に対して順位付け等の評価は行っていません。
あくまで、検知状況がどうだったか、というデータの提示です。
このデータを読み解くためには、「観点」を持ってデータを参照したり集計したりする必要があります。
この観点は、のちほどの記事で書きます。
留意点としては、以下の項目が挙げられます。
- コスト（価格）
- 分析にかかる時間
- 運用
- データ量（通信・ストレージ）
- 誤検知
- シナリオによる傾向の変化
これらについては Att&ck Evaluations で触れられていないため注意が必要です。
検知の評価だけでなく、これらも含めてセキュリティ対策やソリューションの選定を行う必要があります。
コスト（価格）
自分の会社に導入するのに、100万円なの？1000万円なの？1億円なの？
運用コストも含めると？
いくら性能が高くても、高すぎて導入できないのであれば、その段階でスコープ外になりますね。
また、運用もある程度放置できるのか、情報セキュリティの技術者が必要なのか、SOCが必要、またはSOCサービスを受ける必要があるほど専門性が必要なのか、有事の際の追加サービスのコストによっても、運用にかかるコストは変わります。
分析にかかる時間
評価の中で、「Delayed」になっている項目がありますが、実際にはどの程度時間がかかるの？
半日程度？数日？1週間？
また、ソリューションがそもそも「分析を目的としたシステム」であった場合、分析に時間を要するのは当たり前なので、大きな問題にはなりません。
このため、分析よりも即時の自動検知や防御を重視する場合は重要な指標になる一方で、攻撃に対し広く深く分析を重視する場合には一概に悪いとはいえず、分析能力で判断すべきでしょう。
運用
運用するのに専属の技術者やセキュリティ専門の技術者を常駐させたりする必要はあるの？
24時間365日人が張り付いていないと期待しているような性能が出ない、といったことはない？
自分の組織の環境で動く？運用できる？
評価の中に「Configuration Change」という修飾子が時々出現します。
中には、実施された攻撃ステップのうち3割ほどの項目で出現していましたが、運用ではこの構成変更はどういう基準で、どういった変更を、どの程度の頻度でやる必要があるのか？ということは分からず、素朴に疑問に感じました。
なにしろ、設定変更を的確に行わないと検知できないのであれば運用関係者に対する負担は大きいですし、ステップ毎に設定変更が必要だったならば実用上無理だと思います。
そもそも、起きている攻撃に対して設定をチューニングしてる暇があったら、攻撃に対処する作業しろ、って話です。
いくら今回の検知の成績が良くても、チューニングがシビアでは運用は回りません。
組織によっては、ネットワーク環境が特殊だったりシビアだったりします。
そのような組織でも動作するか？という点も重要です（検証環境は、原本の記事のとおり比較的簡易かつ通信環境は良好です）。
データ量（通信・ストレージ）
多くのソリューションではデータを収集・分析しているが、それぞれのデータ量はどの程度？
1端末あたり1MB? 1GB?
その通信の増加のために通信インフラ強化やストレージ増設など、追加の費用や工数、メンテナンスコストがかからない？
誤検知
今回の評価では、評価対象の特定のイベントに対し検知できたかどうか？は表記されています。
一方、誤検知については記載は無いようです。
誤検知はあったの？無かったの？あったならどれくらいあったの？
攻撃に関係無い、または関係の低いものでもアラートが鳴ってしまっては、本当に問題のあるアラートがどれか見分けがつきません。
また、アラートの度に確認していては「アラート疲れ」の原因になるだけでなく、「どうせまた誤検知だろう」と、オオカミ少年の逸話のように現場が無関心になり、結局セキュリティを守れなくなってしまいかねません。
また、環境は実際にユーザが使っている環境と比べればノイズが少ないと思われ、実際の環境ではより多くの誤検知が発生することもあります。
これが評価対象外になっていることには注意してください。
シナリオによる傾向の変化
シナリオも、毎回傾向が変わります。
前回は「障害を起こすことが目的」という傾向が強いシナリオだったかと思います。
今回は、水平展開やマルウェア感染により、最終的に情報窃盗を目論むという、以前のシナリオに似た傾向になったかなと思っています。
一方、最近多くの方が気にするランサムウェアの手口とは、異なる部分がそれなりにあります。
サイバー攻撃は多様なため、「どの攻撃にのみ注力」ということは無いと思いますが、攻撃が変わると今回の結果と同様の結果が得られるわけではない、という点については留意してください。
これらの項目は、 Att&ck Evaluations の評価には出てこないため、採用する際には別途ベンダーに確認する必要があるでしょう。
また、これ以外にも気づいた点があれば、留意点として挙げておき、ベンダー選定の際に確認することを推奨します。
オマケ：MITRE ATT&CKってなんぞ？
いつものコピペだぞ（笑）。
・・・おそらく、この記事を読んでいる人の多くはMITRE ATT&CKについては知っていると思うので、読み飛ばして問題ないです。
サイバーセキュリティを勉強し始めて、かつこの記事に行き当たったという隕石にぶち当たるくらいの確率に遭遇してしまった方は参考にしてくださいw
そもそもMITRE ATT&CKって何？という話に触れておきます。
MITRE ATT&CKは、サイバー攻撃に関する戦術や技術のナレッジベースです。
今までに発見されたサイバー攻撃に関し、その戦術や技術を分類し、それぞれの項目にどのような攻撃かを記載しています。
戦術や技術の分類を定義し、IDも付与しています。
分類の定義をすることで、今までベンダー等によって用語や言い回しが違っていたような項目も、いずれの戦術や技術を示しているかが分かり、共通化が図れます。
また、著名な標的型グループについてのナレッジもあります。
https://attack.mitre.org/groups/
それぞれの団体が、今までどのような攻撃技法を使ってきたかがまとめられており、こういった団体がどのような技術を持っているかが分かりやすくまとまっています。
新たなグループや手法が発見されたり、項目が一部細分化されるなどしており、年々記載内容が増えています。
攻撃のジャンルごとに使われる戦術や技術を配置したマトリックスもあります。
https://attack.mitre.org/matrices/enterprise/
例えば、初期侵入では「Initial Access」などの戦術（表の一番上のタイトル行部分）が該当し、これらの戦術を実施する際に使われてきた技術がその列に紐づけられています。
そして、それぞれの戦術や技術をクリックすると、その解説のページが表示されます。
各戦術のページには、概要でID、内容として関連する技術の表が示されています。
各技術のページには、概要でIDや関連する戦術、関係するOSなどのプラットフォーム、必要な権限、検知の元になり得る情報源などが記載されています。
また、本文にはその技法が詳しく記載されているほか、著名な標的型攻撃グループの使用例、攻撃を抑制するための緩和策などが記載されています。
これらの情報から、活動が活発で警戒すべきAPTグループの情報を参照し、よく使われる手口に対し対策を考案、実施するための情報を得ることが可能です。
また、受けている攻撃をMitre Att&ckのIDで分類することで攻撃の傾向を把握でき、その傾向からどのグループの可能性があるかを推測することに使えるかもしれません。