ResNet

おはようございます。

G検定合格を目指す人の役に立っていることを夢見て、今日も勉強したことを書いていきます。

さて、今日はCNNのひとつ『ResNet (Residual  Network)』についてです。

ResNetは、2015年にMicrosoft ResearchのHeらによって提案されました。勾配消失問題の緩和が施されたモデルです。

ResNetの特徴は、

• プーリングの削除
  (Residual Blockを持つ)
• 事前学習の有効性
  
• 深層学習における高い精度
  
• 畳み込み演算の重要性の再評価
  
• スキップ接続による勾配消失問題の緩和
  

Residual Blockとは、スキップ接続を含む、2つの畳み込み層、バッチ正規化層、ReLU活性化関数からなら構成要素です。

スキップ接続については、層と層の間に直接接続を追加することで、データの消失なしに勾配を伝播する方法のことです。

ResNetの構造は、Residual Blockの積み重ねで成り立つ。

層の数は様々ですが、主に50層、101層、152層のResNet50、ResNet101、ResNet152の3つのモデルがあります。

特徴あふれるResNetのメリット・デメリットは、

​<メリット>

• 非常に深いネットワークを構築できる
  
• 他のネットワークと互換性が高い
  
• 高速な学習
  

<デメリット>

• 計算リソースの消費が激しい
  
• 過剰適合のリスクがある
  
• モデルの理解が難しい
  

前回までのモデルと比べて桁違いな層の数になってきましたね。自分で学習させようとしたら、かなり頭が痛いレベルになってきました。

この層の増加にともなう勾配消失問題を緩和するのに考えられたのが、スキップ接続。

ただ勉強するだけではなく、どんな問題が発生したからどんな仕組みを加えたのかを知ると、おもしろくて理解しやすいですね。

さて、次はどんなモデルか学ぶのが楽しみです。

それでは、また👋