MITRE ATT&CK Evaluations のAPT29 Emulationの結果について、（勝手に）評価基準を作って評価してみました。
（リンク：今回のこのブログでの評価基準、評価の集計結果（検知）、評価の集計結果（アラート））
これを元に、それぞれのソリューションについて考察してみたいと思います。
ちなみに・・・後で思ったのですが、戦術別のマトリックスもあり、これに対しても〇×つけていけば、それぞれのソリューションが「どのような戦術に対し強く、どのような戦術が苦手か」も浮き彫りになるかもしれないと思いました。
ヒマがあったらやってみるかなぁ（ニーズはあるんだろうか・・・）。
評価結果から見るソリューションの特徴（という名の私の小並感）
始めにお断りしておきますが、今回は全部のソリューションについてまでは言及していません。
それは、全部書くのメンドくさい私が知らないメーカーもあり、日本でサービスしておらず情報が無いメーカーもあります。また、どうしても検知・アラートが低かったものはディスるようなことになり、あまり建設的ではなく個人的にそういう内容では書きたくない、というのもあります。
このため、検知が多かった、アラートが多かったソリューションをいくつかピックアップします。ご了承ください。
CyCraft
創業僅か3年未満だが、AIを使ったファストフォレンジックソリューションで好成績
私が仕事でCyCraftのファストフォレンジックソリューションで実際何度か分析をしており、その性能の良さは実感していましたが。
今回MITRE ATT&CK Evaluationsに参加したと聞いて、どういう結果で他と比較してどうなんだろうと思ったら、「Resultの見かたがわからん！！」から今回の記事始まったんですよねじつわ。
自分が取り扱っているシステムということもあって、CyCraftにも知り合いがいるので、聞いた話も踏まえて書ければと思います。
集計結果を見て分かる通り、検知では３位、アラートでは１位とかなりの好成績でした。
特に、アラートは２位と比べても差が広がっており、「インシデントの発生をアナリストに伝える」という面で強みがあると言えます。
ソリューションの仕組みとしては、各クライアント、サーバからスキャナで分析に必要な情報を集め、中枢のＡＩを使ったシステムで相関分析し、その中から脅威度の高いものをAIが学習結果を元に見つけ出す、という仕組みです。
その仕組みが相当上手くいっているようで、「Telemetryのみ」という項目が無いことから見ても、データが取れているものを上手く検知に利用できていることが分かります。実際、一つの実施項目で「MSSP」と「Telemetry」となっているだけで、それ以外は「Telemetry」が出てきません。
ネックは「未検知」になっている項目数
収集できたデータは無駄なく検知に利用できたことで検知で３位である一方、未検知がどうしても目立ってしまします。
今後の改善には、まずは収集できていなかったデータを集めれるようにする必要がある、ということになります。
これには理由があり、原因はシナリオ終了後、あるいはシナリオ途中適宜で「スキャン」を行う方式だからです。
今回、未検知になっていた項目は、マルウェア等によるファイルアクセスと通信関連に集中していたことが分かります。
これらの情報は、OSのログやファイルシステム上に残らず、実行時のメモリのみにしか存在しない、揮発性のものがあります。
EDRでよく見る、プロセスが常駐する「エージェント」タイプのものであれば、こういった情報をモニタしておき、必要な情報を収集して送ることが可能です。
しかし、「スキャン」タイプの場合、その時にメモリに残存情報が無ければ、揮発性データは収集できません。
CyCraftは「エージェント」も新たに開発、リリースしたので、情報収集能力が向上したと考えられ、少なくともTelemetry以上は増えるのではないかと期待しています（今年も参加は申し込んだそうで、今回はエージェント版を使う予定のようなことは小耳に挟んだ）。
さらに、アンチウィルスベンダーと技術提携して、NGAV付きエージェントもできたとのことで、「即時遮断」、「リモート管理での遮断」と、「不正を止める」機能が充実しつつあります。
もっとも、返して言えば、現在のディスクとメモリの情報からの調査で、あれだけの結果が出せる、ということでもあります。
つまり、事件発生後でも、ある程度の調査ができるということで、これがフォレンジックベースでの分析の強みともいえるでしょう。
SentinelOne
EPP+EDRのエンドポイントソリューション
SentinelOneは自立型エンドポイント保護プラットフォーム（EPP）とエンタープライズ向けエンドポイントの検知およびレスポンス（EDR）を一体化した製品です。
集計結果では、検知で１位、アラートで４位でした。
「検知できなければ調査は厳しい」という現実や、「アナリストにアラートを伝える」という点で、かなりの高性能であることが伺えます。
EDRとしての機能では、Telemetry止まりの項目数は少なく、未検知は全ソリューション中で最少となっており、検知はもとよりデータの収集能力も高いことが伺えます。
自立型エンドポイント保護はローカルで完結しているとのことで、通信が遮断された環境でも保護機能があることが一つのポイントです。
隙が無いソリューションであることが売り
今回、未検知となったのは認証情報関連の部分にやや集中しているものの、全般的には中々隙がなかったと言えます。
去年のAPT3にも参加していましたが、この時はNoneとTelemetryが目立ち、ほとんど検知ができていなかったようです。
今回のシナリオがたまたまこの製品の得意な攻撃だったのかもしれませんが、それでも１年で大分テコ入れして改善したのだろうと推測されます。
どのソリューションにも言えますが、新しい攻撃手法が確立、利用された場合に、この水準が維持できるかが今後の課題です。
私が関わったことがないため詳しいことは分からないのは残念ですが、日本でもソリューションは取り扱いしているようなので、利用は可能だと思われます。
FireEye
様々なサイバーセキュリティソリューションを提供するベンダー
FireEyeは、EDRのようなエンドポイント向けのセキュリティ製品の他にも、ネットワークセキュリティやサンドボックス、Threat Intelligenceに至るまで、様々なセキュリティプラットフォームや製品を提供しています。
日本でも販売されており、セキュリティ関係者であれば、少なくともメーカーを知らない人はいないと思います。
今回は、FireEye Endpoint Security with agentとFireEye Managed DefenseでEvaluationsに参加しています。
集計結果では、検知で２位、アラートで２位でした。
先に述べたCyCraft、SentinelOneとともに、今回のEvaluationでは高い性能を発揮していたと言えます。
同社の他のソリューションとの組み合わせで本領発揮が考えられる
Managed Defenseの分析能力が奏功し、集めた情報のうちTelemetryのみとなった項目は２と、こちらも集めた情報を的確に検知に繋げていることが分かります。
未検知も、他と比べてそれほど多いわけではありません。
未検知の内訳は、ファイル操作関係と通信関係が主ですが、FireEyeはネットワークのセキュリティソリューションもあり、サイバー攻撃のネットワーク監視はネットワークのセキュリティソリューションでやるようにデザインされているのかもしれません（私の推測に過ぎませんが）。
FireEyeの今回のEDRシステムとネットワークセキュリティのシステムを併用していれば、今回の評価以上のパフォーマンスが出るのではないでしょうか。そうはいっても、これだけでも十分な性能を発揮していることは間違いないと思いますが。
Palo Alto Networks
AIを用いたセキュリティプラットフォームを新たに開発
Palo Alto Networks というと、Firwall やUTMといったネットワークセキュリティ製品で特に有名な会社です。
さらに、近年クラウドのセキュリティ やエンドポイントのセキュリティにも力を入れ始め、今回は同社のEDR製品Trapsのほか、分析エンジンとしてCortex XDRでEvaluationsに参加しました。
集計結果では、検知で５位、アラートで８位でした。
先の３社を下回ってはいるものの、検知数は100を超えており、十分な性能を発揮していると言えます。
UTMなどのソリューションとの組みあわせにも期待
今回のEvaluationsでは、未検知はFireEyeよりやや少ないくらいです。
内訳を見ると、通信に関するものがやはり目立ちます（ローカルネットワーク間通信も含む）。
Palo Altoの強みはネットワークセキュリティという面もあり、FireEyeと同様にネットワーク監視をネットワークセキュリティソリューションで行うことで、今回のEvaluationsでの評価以上の機能の発揮が期待できそうです。
また、Telemetryと判定された項目が上位と比べて多かったことが検知・アラート数減少の要因となっていますが、分析エンジンCortex XDRは発表されてまだ日が浅かったこともあるので、分析能力の向上が図られれば検知率やアラート発生率が向上するのではと考えられます。
Cybereson
標的型攻撃対策のEDR国内シェア上位製品
市場調査は様々な組織が行っており、本当に正しいのはどれか、ということまでは中々言えませんが、Cyberesonは国内でもトップクラスのシェアだと言われています。
集計結果では、検知で１６位、アラートで１４位でした。
EDRを主体のソリューションで、かつシェアが高かっただけに、ちょっと結果が意外でした。
通信関係でNoneやTelemetryが多く見られたほか、Powershell.exeやcmd.exeなどのコマンドラインやスクリプトの利用した挙動に対し検知できていない項目が多くみられる傾向にあります。
このため、侵入後のシェルを用いたコマンド入力といったファイルやマルウェアを使わない攻撃の検知があまり得意ではないようです。
これは、昨年の結果（APT3）にも同様の傾向が見られます。
powershell.exeを使った攻撃は最近の標的型攻撃でもよく見られ、問題となっているだけに、機能追加による検知能力アップを期待したいところです。
アナリストが使うユーザ・インターフェースもポイント
今回の検知やアラート、戦術、技術の分析といったMITRE ATT&CKの評価基準には含まれない点のメリットにも注意を払いたいところです。
CyberesonはグラフィカルなUIが特徴で、絵で直観的に状況を捉えやすいような画面構成になっていたと思います（展示していたものを見て触った感想程度ですが）。
アナリストが画面をドリルダウンで情報を追って行けば、Telemetryとなった項目がMSSPとして検知になるため、アナリストによってはもう少し成績が向上する可能性はあります。
ただし、アナリストの調査をサポートする機能（タグ付けやレポート作成機能など）は、それほど充実はしていないようです。
CroudStrike
標的型攻撃対策のEDR国内シェア上位製品
Cyberesonと並び、CroudStrikeは国内でもトップクラスのシェアだと言われています。
記事によって、どちらかを１位と書いているものも見られます。
集計結果では、検知で１８位、アラートで１９位でした。
Cyberesonとともに、日本でシェアが高いEDRが、何故かちょっと奮わない結果となってしまいました。
昨年のAPT3のほうが、もうちょっと検知がよかったように見えます。
アナリスト次第でワンチャン？
ただし、情報が収集できていないNoneは、実は他と比べてもそれほど多くなく、どちらかというと少ない方です。
情報は収集できているものの、Telemetry判定が82と非常に多くなっています。
つまり、情報は取れているが、自動機能では検知に至っていないということです。
検知機能の改善も方法ですが、当面はアナリストが調査により収集情報から異常を発見することにより、TelemetryをMSSPとすることで、活用は可能なのではと思います。
Secureworks
世界規模のMSSP
アメリカが本社のMSSPですが、世界展開しており、日本にも拠点があります。
ベンダーフリーでファイアウォールやIPS/IDSを24時間365日監視し、その情報からインシデントの兆候を見つけたら通報、初期対処をするというサービスの提供から始まっています。
標的型攻撃の進化に伴い、エンドポイントも管理するようになり、そのサービスを提供するためにRed Cloakを自社で開発した、と聞いています。
（Red Cloakが無い頃は、お客様に頼まれたらアメリカではCarbon blackを推していたが、当時は日本で使おうとすると日本語（というかマルチバイト文字）で問題が出て、おススメできないというオチがあった気がする。）
集計結果では、検知で６位、アラートで１１位でした。
アラート件数に関しては問題なし
ただし、Secureworksの場合はアラートの件数や順位はあまり気にしなくていいと思います。
Secureworksの場合、「セキュリティのサービス」を提供しているため、ユーザがRed Cloak等のシステムの情報を見ることはなく、分析結果を受け取ることになるためです。
このため、アラートはSecureworksの内部のアナリストにとっての問題に過ぎず、「検知できたものを分析結果として受け取れる」と考えた方がいいでしょう（つまり、アラートが少なくて分析が大変なのはあくまで中の人達のハナシなので、まあ「頑張ってくださいｗ」ということです）。
分析の結果、攻撃が認められたら顧客にアラート情報を送っているはずですが、それは今回のアラートに含まれておらず、MSSPのサービスとしてのアラートとは意味が違っているとも言えます。
Secureworksも、EDRだけでなくネットワーク機器の監視サービスと併用することが考えられるため、通信系で未検知等になっていたものは、そちらの検知情報でカバーでき、トータルではもう少し検知率は高くなるのでは、と思われます。
ただし、クライアント内動作の一部のPowershellの挙動（Data Stagedなどのファイルアクセス系）がNoneでデータ自体が収集できていなかったので、EDR機能に改善の余地はありそうです。
MSSPの利用で最大のメリットは、プロのアナリストに監視・管理を委託でき、自身に分析能力が無くても分析結果と改善のリコメンドをもらえることなので、それを達成するには十分な結果を出していると考えられます。
TrendMicro
アンチウィルスから総合的なセキュリティソリューションへ
上位陣、標的型攻撃対策メインのEDRメーカー、MSSPときて、最後にアンチウィルスベンダーが標的型攻撃対策としてEDRに参入した系列として挙げます（一応、会社のジャンル分けはしていたつもり）。
TrendMicroは、初期はアンチウィルスのメーカーとして始まり、ＩＴの拡大に伴う攻撃の拡大に伴い、様々なソリューションを開発してきました。
コンシューマ向けには相変わらずアンチウィルスの会社の印象が強いですが、今では総合的なセキュリティソリューションの会社になっていますね。
集計結果では、検知で４位、アラートで１４位でした。
EDRは十分な性能を発揮
アンチウィルス会社も何社か参加していますが、大分明暗が分かれている印象です。
それぞれの内情は詳しくは知らないのですが、アンチウィルスの延長できたか、EDRとして考え方を変えて振る舞いを分析できるようにしたか、というような面で差が出たのかもしれません。
少し意外だったのが、アラートの少なさです。
検知105、アラート29と、検知した割にアラート判定が控えめな数になっています。
これは、MSSP判定になっている割合が多いことも影響しているようです。
今回の結果と同等の性能を発揮するには、アナリストが使いこなす必要がある、とも言えるのではないでしょうか。
Symantec
アンチウィルスで有名なベンダー
コンシューマ向けにはアンチウィルスで有名なメーカーです。
よく、TrendMicroと競合で比べられるということもあり、内容が丸被りになってしまいます。
（どちらも、特に詳しく内情知っているわけではないので、書く方としてどこに差をつけりゃいいんだか。）
もっとも、Symantecは買収などをよくやっている印象で、機器以外のセキュリティ関係でも色々やっていたりします。
（SSL/TLS証明書？S/MIME証明書？うっ、頭が・・・！）
集計結果では、検知で７位、アラートで２０位でした。
Alertが少ないのがネック
今回のシナリオの上では、ということになりますが、Alertになったものが少なく、参加会社中下から2番目となってしまいました。
検知自体は上位に入っているため、アンチウィルスでよくアラートを見る印象からすると、ちょっと意外な感じがします。
NoneやTelemetryとなったものはややばらついていると感じましたが、アプリやコマンドの実行関係が比較的多いように感じました。
これもアンチウィルス系ならアプリやコードの実行系には強いかと思っていた分、意外ではありました。
ただし、それほど多いわけではないので、アナリストが使いこなせれば十分な能力は発揮可能かと思われます。
Bitdefender
検知をほとんどアラートに活用
こちらは、ヨーロッパがメインで取り扱われているアンチウィルスのメーカです。
集計結果では、検知で１３位、アラートで３位でした。
検知件数が66に対しアラート判定が65と、検知した情報をほぼアラートとして活用できていたことがアラートの順位上昇につながっています。
powershellやコマンド実行に関して検知漏れが目立つため、今後の対応が期待されます。
MITRE ATT&CK Evaluations (APT29)で、結果が良好だったと思われるソリューションに関して、小並感を書いてみました。
私は、多くのソリューションについてあまり詳しくはないですが、検知状況の傾向などから長所短所もある程度わかったかと思います。
ある程度傾向を把握し、導入検討しているソリューションの目途を付けたり、既に導入しているソリューションの長所短所を確認して弱い穴を埋めたり、といった利用ができれば幸いです。