今年も、4月にMitre Att&ck Evaluationの結果が発表されていました。
そして、定例のゴールデンウィークという分析の季節です（こういう休暇の使い方とは・・・）。
いつの間にかジャンル分けが増えていたようで、今までのEvaluationsは「Enterprise」に分類され、他に「ICS」と「Managed Services」が追加されたようです。
今回の記事は、昨年に続き Enterprise の結果について、色々分析してみたいと思います。
毎年のことですが、この記事はあくまでMitre Att&ck Evaluationsの結果に対し私が個人的な観点で分析し、個人的な感想を書いています。
人により意見や考え方は異なると思うので、あくまで一人の技術者の意見と思って参考になる部分は参考にしてもらえれば、と思います。
Mitre Engenuity Att＆ck Evaluations Enterprise 2022
Mitre Engenuity Att&ck Evaluations 2022は、昨年末頃から参加各社で随時実行していたようで、その評価結果が2022年4月に発表されました。
以前までは、タイトルに「年」までは振っておらず、前回記事でも「実施した年」を書いて区別していましたが、今回は公式に合わせて記述します。
通常、この手の記事を書くなら「Mitre Att&ckとはなんぞや？」から書くべきですが、私が記事にするのも今回で3回目で既に見たことがある方もいると思うので、これらの解説については末尾に回します。
今回は、「Wizard Spider」と「Sandworm」の攻撃をそれぞれ１シナリオずつ模擬し、その攻撃をどの程度、どのように検知できるかを判定した結果が公表されています。
概要は以下のページに掲載されています。
Enterprise Evaluations Wizard Spider + Sandworm Overview
https://attackevals.mitre-engenuity.org/enterprise/wizard-spider-sandworm/
結果は以下のページに掲載されています。
Enterprise Evaluations PARTICIPANTS
https://attackevals.mitre-engenuity.org/enterprise/participants/?adversaries=wizard-spider-sandworm
今回の記事で、自分の解釈を含めてイロイロ書く予定ですが、あくまで原本はこちらであり、こちらが正規です。
もし記事内容に差異が合った場合は、こちらの原本が正規であり、誤りは私のほうであることをご承知ください。
（もし間違いを見つけたら、こっそり？やさしく教えてくれると嬉しいなぁ。）
模擬された攻撃の概要
今回は、いずれもロシアの攻撃者とみられる「Wizard Spider」と「Sandworm」の攻撃を模擬しています。
特に、「Sandworm」はロシアの政府に関連する機関と言われています。
「Sandworm」ではない（というか、詳細が明らかでない）ようですが、2022年のロシア軍のウクライナ侵攻に関連してサイバー攻撃も行われていたといわれており、シナリオは昨年中に策定されたものながら、近年の実際の脅威をよく見据えてシナリオを考え、評価しているなと思いました。
Mitre Att&ck Evaluations の Overview にも書かれていますが、ざっくり言うと以下の通り。
Wizard Spider
- 経済的な目的で活動しているとみられる組織。2016年頃にはTrickBotを使った活動が確認されている。
- 2018年にはランサムウェア（Ryuk）を使用したキャンペーンを行っているといわれている。
- https://attack.mitre.org/groups/G0102/
Sandworm
- ロシアの政府（参謀本部情報総局）に関連しているとみられる組織。2009年頃には活動が確認されている。
- 2015年および2016年のウクライナの電力への攻撃、2017年のNotPetyaによる攻撃、2018年冬季オリンピックのOlympic Destroyerによる攻撃に関与していたと言われている。
- https://attack.mitre.org/groups/G0034/
今回のシナリオの特徴
今回のシナリオの大きな特徴は、ランサムウェアやシステム破壊系のマルウェアといった、端末内で悪意ある攻撃を行うことが大きな特徴となっています。
また、水平展開（ラテラル・ムーブメント）による被害拡大やそれに関する振る舞いもあり、従来の標的型攻撃と同様の手法も含まれています。
なお、「Wizard Spider」はランサムウェア（Ryuk）による攻撃、「Sandworm」はシステム破壊（NotPetya）による攻撃を行う想定となっています。
次の記事から、今回のシナリオについて解説していきたいと思います。
以下は、Mitre Att&ckについてのざっくりな説明（＝例年の転記）です。
過去の同様の記事を読んだことのある方、Mitre Att&ckが何かを知っている方はすっとばしてOKです。
（ただし、「Mitre Engenuity Att&ck Evaluationsの結果を見るときの留意点」はちょっとだけ留意点を足したので、見てもらってもいいかも？）
MITRE ATT&CKってなんぞ？
去年のコピペだぞ（笑）。（しかも去年は一昨年の(ry ）
そもそもMITRE ATT&CKって何？という話に触れておきます。
MITRE ATT&CKは、サイバー攻撃に関する戦術や技術のナレッジベースです。
今までに発見されたサイバー攻撃に関し、その戦術や技術を分類し、それぞれの項目にどのような攻撃かを記載しています。
戦術や技術の分類を定義し、IDも付与しています。
分類の定義をすることで、今までベンダー等によって用語や言い回しが違っていたような項目も、いずれの戦術や技術を示しているかが分かり、共通化が図れます。
また、著名な標的型グループについてのナレッジもあります。
https://attack.mitre.org/groups/
それぞれの団体が、今までどのような攻撃技法を使ってきたかがまとめられており、こういった団体がどのような技術を持っているかが分かりやすくまとまっています。
新たなグループや手法が発見されたり、項目が一部細分化されるなどしており、年々記載内容が増えています。
攻撃のジャンルごとに使われる戦術や技術を配置したマトリックスもあります。
https://attack.mitre.org/matrices/enterprise/
例えば、初期侵入では「Initial Access」などの戦術（表の一番上のタイトル行部分）が該当し、これらの戦術を実施する際に使われてきた技術がその列に紐づけられています。
そして、それぞれの戦術や技術をクリックすると、その解説のページが表示されます。
各戦術のページには、概要でID、内容として関連する技術の表が示されています。
各技術のページには、概要でIDや関連する戦術、関係するOSなどのプラットフォーム、必要な権限、検知の元になり得る情報源などが記載されています。
また、本文にはその技法が詳しく記載されているほか、著名な標的型攻撃グループの使用例、攻撃を抑制するための緩和策などが記載されています。
これらの情報から、活動が活発で警戒すべきAPTグループの情報を参照し、よく使われる手口に対し対策を考案、実施するための情報を得ることが可能です。
また、受けている攻撃をMitre Att&ckのIDで分類することで攻撃の傾向を把握でき、その傾向からどのグループの可能性があるかを推測することに使えるかもしれません。
Mitre Engenuity Att&ck Evaluationsとは？
Mitre Engenuity Att&ck Evaluations とは、Mitre Engenuityが企画し、各セキュリティベンダーが参加している、実在するAPTグループの攻撃を模擬した攻撃の検知能力を判定する企画です。
今回は、 「Wizard Spider」と「Sandworm」の模擬になります。
色々なベンダーが参加しているので、各ソリューションのPoCを直接やるのは大変でも、この結果を検証することで、そのソリューションにどのような特徴があり、自分の組織にはどれが向いているかが分かると思います。
この Mitre Engenuity Att&ck Evaluations では、シナリオの内容と実施結果を示しているだけで、順位付け等は行っていません。
参照する人が、自身の組織に必要とされる観点を持って評価する必要があります。
Mitre Engenuity Att&ck Evaluationsの結果を見るときの留意点
Mitre Engenuity は結果に対して順位付け等の評価は行っていません。
あくまで、検知状況がどうだったか、というデータの提示です。
このデータを読み解くためには、「観点」を持ってデータを参照したり集計したりする必要があります。
この観点は、のちほどの記事で書きます。
留意点としては、以下の項目が挙げられます。
- コスト（価格）
- 分析にかかる時間
- 運用
- データ量（通信・ストレージ）
- 誤検知
- シナリオによる傾向の変化
これらについては Att&ck Evaluations で触れられていないため注意が必要です。
検知の評価だけでなく、これらも含めてセキュリティ対策やソリューションの選定を行う必要があります。
コスト（価格）
自分の会社に導入するのに、100万円なの？1000万円なの？1億円なの？
運用コストも含めると？
いくら性能が高くても、高すぎて導入できないのであれば、その段階でスコープ外になりますね。
また、運用もある程度放置できるのか、情報セキュリティの技術者が必要なのか、SOCが必要、またはSOCサービスを受ける必要があるほど専門性が必要なのか、有事の際の追加サービスのコストによっても、運用にかかるコストは変わります。
分析にかかる時間
評価の中で、「Delayed」になっている項目がありますが、実際にはどの程度時間がかかるの？
半日程度？数日？1週間？
また、ソリューションがそもそも「分析を目的としたシステム」であった場合、分析に時間を要するのは当たり前なので、大きな問題にはなりません。
このため、分析よりも即時の自動検知や防御を重視する場合は重要な指標になる一方で、攻撃に対し広く深く分析を重視する場合には一概に悪いとはいえず、分析能力で判断すべきでしょう。
運用
運用するのに専属の技術者やセキュリティ専門の技術者を常駐させたりする必要はあるの？
24時間365日人が張り付いていないと期待しているような性能が出ない、といったことはない？
自分の組織の環境で動く？運用できる？
評価の中に「Configuration Change」という修飾子が時々出現します。
中には、実施された攻撃ステップのうち3割ほどの項目で出現していましたが、運用ではこの構成変更はどういう基準で、どういった変更を、どの程度の頻度でやる必要があるのか？ということは分からず、素朴に疑問に感じました。
なにしろ、設定変更を的確に行わないと検知できないのであれば運用関係者に対する負担は大きいですし、ステップ毎に設定変更が必要だったならば実用上無理だと思います。
そもそも、起きている攻撃に対して設定をチューニングしてる暇があったら、攻撃に対処する作業しろ、って話です。
いくら今回の検知の成績が良くても、チューニングがシビアでは運用は回りません。
組織によっては、ネットワーク環境が特殊だったりシビアだったりします。
そのような組織でも動作するか？という点も重要です（検証環境は、原本の記事のとおり比較的簡易かつ通信環境は良好です）。
データ量（通信・ストレージ）
多くのソリューションではデータを収集・分析しているが、それぞれのデータ量はどの程度？
1端末あたり1MB? 1GB?
その通信の増加のために通信インフラ強化やストレージ増設など、追加の費用や工数、メンテナンスコストがかからない？
誤検知
今回の評価では、評価対象の特定のイベントに対し検知できたかどうか？は表記されています。
一方、誤検知については記載は無いようです。
誤検知はあったの？無かったの？あったならどれくらいあったの？
攻撃に関係無い、または関係の低いものでもアラートが鳴ってしまっては、本当に問題のあるアラートがどれか見分けがつきません。
また、アラートの度に確認していては「アラート疲れ」の原因になるだけでなく、「どうせまた誤検知だろう」と、オオカミ少年の逸話のように現場が無関心になり、結局セキュリティを守れなくなってしまいかねません。
また、環境は実際にユーザが使っている環境と比べればノイズが少ないと思われ、実際の環境ではより多くの誤検知が発生することもあります。
これが評価対象外になっていることには注意してください。
シナリオによる傾向の変化
今回のシナリオは、前回2回と比べて結構違うところが多いと感じます。
以前の2回は、いわゆるAPT攻撃で、静かに感染後、永続化を図りつつ内部の調査、情報窃盗がメインでしたが、今回は個々の端末が感染後直接被害に遭いつつ、さらに被害範囲を広めるために水平展開を目論む、という感じです。
攻撃内容も、情報窃盗ではなく、業務やシステムの動作そのものに障害を起こすことを目的としています。
それにより、去年とは結果（検知率）に違いが出ていることも注目ポイントだと感じました。
これらの項目は、 Att&ck Evaluations の評価には出てこないため、採用する際には別途ベンダーに確認する必要があるでしょう。
また、これ以外にも気づいた点があれば、留意点として挙げておき、ベンダー選定の際に確認することを推奨します。