テスト
最近カラオケたくさん行ってて、
DAMとも動画もたくさん撮ってるよ
再生数が全く増えないけど、ここにURL書いたら増えるかしら？
でも結局dam会員じゃないと再生できないんだよね…
就職活動が終わりに近づき，自分の研究を再開しなきゃって時期になってます．
とりあえず，今まで研究してきた中で論文調査を怠りまくってたので，研究を思い出すためにも論文調査をしました．
2010年に発表された交通道路標識認識のサーベイ論文です．
ちょっと古いかもだけど，だいたいの世の中の流れがすべて書いてあるだろう．
その内容を簡単に以下にまとめようと思う．
【論文情報】
Meng-Yin Fu, Yuan-Shui Huang, “A survey of traffic sign recognition”, in Proceedings of the 2010 International Conference on Wavelet Analysis and Pattern Recognition, Qingdao, 11-14 July 2010.
【内容】
1. 研究背景
ADAS(Advanced Driver Assistance Systems)が発展している．環境情報をドライバに与えて注意喚起することで安心・安全を守る．そのシステムの1つが交通道路標識認識である．
交通事故によって無くなる人々は年々増加傾向にある．自動車運転における重要な情報は標識や信号など視覚的に提供されることが多い．視覚的情報を画像処理で捉え，ドライバに提供することはとても有効である．
2. 標識の種類
標識は図形と文字で情報を与える．標識が表す意味は，警告・禁止・義務・情報の4種類である．基本的には，特別な色と形をしているので，それらを認識すればよい．
・色（黄，赤，青，白，黒）
・形（三角，四角，円，八角）
また，以下に標識認識の障害要因を述べる．
・天候や時間帯による光の状況
・オクルージョン
・角度がつくことによる見え方の変化
・太陽光による標識自体の色の劣化
・車の動きによる歪みや振動
3. 標識認識の基本処理と最近の研究
1987年にTSR(Traffic sign recognition)システムの研究が始まった．現在の一般的な処理の流れは，Fig.1に示すように①標識候補の発見，②候補のトラッキング，③候補の分類である．
Figure. 1 Procedure of traffic sign recognition
3.1. 標識候補の発見(Detection)
画像のうち，標識の候補となる部分をまず抽出する．最初のフレームに関しては画像全体から候補部分を抽出することになるが，2フレーム目からは前フレームの情報を利用することにより，検索部分を削減する．カメラの角度や車の動きから標識の移動を予測することができる．候補領域の検知は色や形の情報を用いることが基本である．色はもともとRGBを利用していたが，光の変化に敏感で対応できにくいので，人の視覚に合っていて照明変化に対応しやすいHSVが最もよく使われる．閾値・領域拡張法・色画素分類などによって候補領域を抽出する．
一方，天気による照明変化や太陽光による標識の色劣化を考え，色情報を使わず形情報を使うときは，ハフ変換，微分変換，距離変換，遺伝的アルゴリズム，高速動径対称法などが使われる．
3.2. 候補のトラッキング(Tracking)
1枚の画像のみでの探索では，オクルージョンや正確さに問題があるので，複数枚利用することで標識の数・サイズ・位置を考えて標識候補の発見速度と正確さを高める．ここでは，カルマンフィルタなどが用いられる．
3.3. 候補の分類(Classification)
標識の特徴点などの内部情報から分類を行う．テンプレートマッチング，ニューラルネットワーク，サポートベクターマシンなどの分類手法が主にあげられる．
3.4. 最近の研究
20年前から行われている研究は，最近では色々な手法が挙げられているので，いくつかを述べる．
・生成型学習：実際の歪んだ入力データを用いて，それらを微小変動させることで様々なパターンを学習する方法(Ishida et al)．
・3D空間の構築による計算範囲の限定をし，標識候補の発見の計算時間を縮小(Nunn et al)．
・遺伝的アルゴリズムを用いる．回転，オクルージョン，歪み，変形のエネルギー関数を最小化し，抽出率，認識率を高める．計算コストがかかる(Escalera et al)．
・標識内部の形（ピクトグラム）を利用した認識アルゴリズムを提案．CCS(Curvature Space Scale)を使ったマッチングを行う．画像の歪みに対応しにくい(Paulo and Correia)．
・色と形の情報を組み合わせて認識を行う．ファジィ推論に基づいて色のセグメントや形の分類を行う．オクルージョンには対応しにくい(Fleyeh)．
・Viola-Jones法を用いてHarrウェーブレット特徴を利用する．単純な円形標識にしか使えない(Bahlmann et al)．
・高速動径対称法で標識候補を発見する．証明変化やオクルージョンにロバストに働く．あまり歪みに対応できない(Barnes et al)．
・正確な色制御による角形の発見アルゴリズムを提案．標識の輪郭の角形の信頼度を定義する(Andrzej et al)．
・SVMを使う．HSVによる閾値設定や境界付近までの距離を用いる(Maldonado-Bascon)．
4. 結論と新たな解決方法
標識認識において，精度がとても重要であるが，光の変化や予測できない道路状況や標識の歪みからロバストに判別はできない．現時点での有効な方法は以下の2つのアプローチである．
1つ目は，パターン認識である．その中でも高速動径対称法とHarrウェーブレット特徴はTSRシステムに非常に効果的に働く．
2つ目は，単純に標識を視覚的に認識しようとするのではなく，交通全体を利用したセンサーネットワーク（GPS, RFID）などを使用し，精度を高めていく方法である．
ぼちぼちと研究内容が分かりました．トラッキングはやっぱり使われています．でも，1枚の画像からの研究が最近進んでいないのであれば，逆にそこでやり続ければ新しい手法が提案できるかもしれないです．
この論文ではかなりアバウトな内容しか書かれていなかったので，ここから派生した論文で2012年の論文があるので，今後はそれを読んで実際のdetectionとclassificationの詳しい内容を学んでいこうと思います．
とりあえず，今まで研究してきた中で論文調査を怠りまくってたので，研究を思い出すためにも論文調査をしました．
2010年に発表された交通道路標識認識のサーベイ論文です．
ちょっと古いかもだけど，だいたいの世の中の流れがすべて書いてあるだろう．
その内容を簡単に以下にまとめようと思う．
【論文情報】
Meng-Yin Fu, Yuan-Shui Huang, “A survey of traffic sign recognition”, in Proceedings of the 2010 International Conference on Wavelet Analysis and Pattern Recognition, Qingdao, 11-14 July 2010.
【内容】
1. 研究背景
ADAS(Advanced Driver Assistance Systems)が発展している．環境情報をドライバに与えて注意喚起することで安心・安全を守る．そのシステムの1つが交通道路標識認識である．
交通事故によって無くなる人々は年々増加傾向にある．自動車運転における重要な情報は標識や信号など視覚的に提供されることが多い．視覚的情報を画像処理で捉え，ドライバに提供することはとても有効である．
2. 標識の種類
標識は図形と文字で情報を与える．標識が表す意味は，警告・禁止・義務・情報の4種類である．基本的には，特別な色と形をしているので，それらを認識すればよい．
・色（黄，赤，青，白，黒）
・形（三角，四角，円，八角）
また，以下に標識認識の障害要因を述べる．
・天候や時間帯による光の状況
・オクルージョン
・角度がつくことによる見え方の変化
・太陽光による標識自体の色の劣化
・車の動きによる歪みや振動
3. 標識認識の基本処理と最近の研究
1987年にTSR(Traffic sign recognition)システムの研究が始まった．現在の一般的な処理の流れは，Fig.1に示すように①標識候補の発見，②候補のトラッキング，③候補の分類である．
Figure. 1 Procedure of traffic sign recognition
3.1. 標識候補の発見(Detection)
画像のうち，標識の候補となる部分をまず抽出する．最初のフレームに関しては画像全体から候補部分を抽出することになるが，2フレーム目からは前フレームの情報を利用することにより，検索部分を削減する．カメラの角度や車の動きから標識の移動を予測することができる．候補領域の検知は色や形の情報を用いることが基本である．色はもともとRGBを利用していたが，光の変化に敏感で対応できにくいので，人の視覚に合っていて照明変化に対応しやすいHSVが最もよく使われる．閾値・領域拡張法・色画素分類などによって候補領域を抽出する．
一方，天気による照明変化や太陽光による標識の色劣化を考え，色情報を使わず形情報を使うときは，ハフ変換，微分変換，距離変換，遺伝的アルゴリズム，高速動径対称法などが使われる．
3.2. 候補のトラッキング(Tracking)
1枚の画像のみでの探索では，オクルージョンや正確さに問題があるので，複数枚利用することで標識の数・サイズ・位置を考えて標識候補の発見速度と正確さを高める．ここでは，カルマンフィルタなどが用いられる．
3.3. 候補の分類(Classification)
標識の特徴点などの内部情報から分類を行う．テンプレートマッチング，ニューラルネットワーク，サポートベクターマシンなどの分類手法が主にあげられる．
3.4. 最近の研究
20年前から行われている研究は，最近では色々な手法が挙げられているので，いくつかを述べる．
・生成型学習：実際の歪んだ入力データを用いて，それらを微小変動させることで様々なパターンを学習する方法(Ishida et al)．
・3D空間の構築による計算範囲の限定をし，標識候補の発見の計算時間を縮小(Nunn et al)．
・遺伝的アルゴリズムを用いる．回転，オクルージョン，歪み，変形のエネルギー関数を最小化し，抽出率，認識率を高める．計算コストがかかる(Escalera et al)．
・標識内部の形（ピクトグラム）を利用した認識アルゴリズムを提案．CCS(Curvature Space Scale)を使ったマッチングを行う．画像の歪みに対応しにくい(Paulo and Correia)．
・色と形の情報を組み合わせて認識を行う．ファジィ推論に基づいて色のセグメントや形の分類を行う．オクルージョンには対応しにくい(Fleyeh)．
・Viola-Jones法を用いてHarrウェーブレット特徴を利用する．単純な円形標識にしか使えない(Bahlmann et al)．
・高速動径対称法で標識候補を発見する．証明変化やオクルージョンにロバストに働く．あまり歪みに対応できない(Barnes et al)．
・正確な色制御による角形の発見アルゴリズムを提案．標識の輪郭の角形の信頼度を定義する(Andrzej et al)．
・SVMを使う．HSVによる閾値設定や境界付近までの距離を用いる(Maldonado-Bascon)．
4. 結論と新たな解決方法
標識認識において，精度がとても重要であるが，光の変化や予測できない道路状況や標識の歪みからロバストに判別はできない．現時点での有効な方法は以下の2つのアプローチである．
1つ目は，パターン認識である．その中でも高速動径対称法とHarrウェーブレット特徴はTSRシステムに非常に効果的に働く．
2つ目は，単純に標識を視覚的に認識しようとするのではなく，交通全体を利用したセンサーネットワーク（GPS, RFID）などを使用し，精度を高めていく方法である．
ぼちぼちと研究内容が分かりました．トラッキングはやっぱり使われています．でも，1枚の画像からの研究が最近進んでいないのであれば，逆にそこでやり続ければ新しい手法が提案できるかもしれないです．
この論文ではかなりアバウトな内容しか書かれていなかったので，ここから派生した論文で2012年の論文があるので，今後はそれを読んで実際のdetectionとclassificationの詳しい内容を学んでいこうと思います．