DSLR → HDMI → UVC → OpenCV

やりたいと思っていながらしばらく手付かずになっていたことを再開しました。

随分以前にこのあたり

http://ameblo.jp/delphinus1024/entry-12125312766.html

http://ameblo.jp/delphinus1024/entry-12127878827.html

http://ameblo.jp/delphinus1024/entry-12135523008.html

で撮影データのポスト処理にOpenCVの機能を用いていろいろエフェクト的なことをやってみた。 いずれも手前味噌ながら今でも便利に使っているのですが。

今後追求してみたいのは、そこから一歩進んで後処理ではなく撮影時にOpenCVを活用すること。
撮影時に取得できる画像データをOpenCVで解析しながら、その結果をカメラや周辺リグにフィードバックできれば、そしてそれをうまく制御できれば人間の手操作では不可能な映像が作れるかもしれない。(もしくは空振りに終わるかもしれないが)

その際にハードルとなるのがDSLRとOpenCVの相性の悪さだったりする。

DSLR・PC間をUSBで接続するとしても、OpenCVは基本的にWebCamつまりUVC規格での接続が想定されており、一方DSLRはPTPデバイスもしくはストレージとして認識されるため直接はつながらない。裏技があるのかもしれないが。

gphoto2を介してファイル経由で間接的に取得する方法も考えられるが結構かったるい。

そこで少々値段が張るがこんな中華製品を密林で買ってみた。同類の製品の中では安価だしそこそこ定番商品のよう。
 

Seesii HDV-UH60 USB3.0 / USB2.0 1080P 60FPS HDMI to USB3.0 ビデオキャプチャドングル UUVC/UAC Windows Linux OS X

これは何かというと、HDMI信号をUSB3.0経由でUVCデバイスとしてMotion Jpegでキャプチャできるもの。
最大解像度はFull HDということなので今流行の4Kなどは取れないがとりあえず処理用データの解像度としては十分。

つまりDSLRのHDMI出力->本製品->USBケーブル->PCとつなげれば、DSLRを擬似WebCamとして動作させることができる。つまりOpenCVと直結できるということ。

最近のミドルエンド以上のDSLRならば外部録画用にクリーンHDMI出力をサポートしているものが多く、その信号をありがたく利用するということ。

折角なのでケースを開けてボードの部品構成を見てみる。
（以下本業の分野であり、個人的な備忘録を兼ねているため若干専門用語が並びますがご了承ください。）

当然だが必要最低限の構成。

HDMIからの入力はまずAnalogDevices ADV7611 (HDMI 1.4a Receiver)に入り24bit幅のYCbCrもしくはRGBに変換される。

次にヒートシンクで隠れているためチップ名は分からないがおそらくXilinx Zynq-7000 FPGAあたりではないかと推測される。
ボード上には解析＆ROM書き込み用なのかFPGA用のJTAG端子も見えるので、Xilinxプラットフォームケーブルをつなげてみれば分かるのだが、時間も無いので自粛。

FPGAの横には画像を一旦保存するためのMicronのメモリチップがある。

FPGAの内部ではARMコアがADV7611の制御を行い、同時に受信した画像信号をjpeg圧縮して最終段のCypress CYUSB3014(通称FX3)のGPIFに入力される。

FX3は受信したjpgをMotion jpegに整形(これはFPGA内でやっている可能性もあり)してUVCプロトコルでPC側に送る。

以上がボードから想像される内部動作。

実際のところ、FPGAもFX3も無料で開発ツールが使えるしADV7611の仕様も公開されているので、もしこの製品の回路図が公開されていれば非常に安価で面白い画像処理ボードとしても使えるのに…。
そうなれば画像圧縮さえがんばれば、4K画像も送ることができるハードウェア仕様を満たしていると思われる。FX3の制御が気難しいのが難点だが。

閑話休題。

5D3のHDMI出力にとりあえずつなげてみる。キャプチャ機は使用していると結構熱くなる。内部の処理部分はFPGAを使用しているのでそれなりに電力消費が多そう。

あと、両端がAコネクタという変則的な付属のUSBケーブルは45cmほどと短く使いづらい。別途購入したほうがよさそう。

さて、LVをOnにしてWebCamで取得したFull HD画像をそのまま垂れ流すような簡単なOpenCVプログラムで表示させてみる。

cap.set(CV_CAP_PROP_FRAME_WIDTH,1920); 
cap.set(CV_CAP_PROP_FRAME_HEIGHT,1080);
を忘れないように。

さすがにAptina(今はオンセミか)あたりのイメージセンサー＋安レンズ搭載のWebCamとは格が違う画質と綺麗なボケ。被写体の埃は見なかったことにしてください。

LV On/Off時にはカラーバーのようなノイズのような変な画像がしばらく出るがしばらくすると安定する。
フレームレート計測もして見るとUSB3.0ではほぼ常時30fps、USB2.0でも取得可能だが一桁fpsくらい。
とりあえず問題なくOpenCV上で使えそう。

道具は揃ったので、これを使っていろいろ試行錯誤をしてみます。
またはこのままボツネタになるかもしれません。
 

Hakusan/Remaining Snow, Blue Lakes and Milky Way

先日登った白山の映像を作ってみました。


その時の詳細は以下。

http://ameblo.jp/delphinus1024/entry-12288012236.html

撮影中はガスがかかっていることがほとんど。また夜中は異常な湿度のためレンズの曇りは避けられず、で使える映像はあまり多くないため全体の尺は短めです。

この山、雪の多さとアクセスの悪さゆえ冬期登山は至極困難だし、夏から秋は人でごった返すだろうし、比較的容易に静かな山行ができるのは雪解けのこの時だけかと思います。

なかなか光の条件が難しかったため、この時期しか見られない白と蒼と翠のコントラストをうまく表現できたかどうかは微妙ですが…

音楽についてですが。

いつもであれば撮影中の暇な時間に現物の景色を見ながらモチーフなり元アイデアを練るようにしているのだが、今回は初めての山である上に残雪の状況がよくわからなかっただけに行程やルート取りの算段で頭が一杯で、あまり脳内音楽に浸る余裕もなく。

ということでどうしようかと少々思案、こじつけではあるが山の名前が「白山」ということで「白鍵」だけで成り立つ曲という制約で即興をしてみることを思いつく。　実のところKey in Cは黒鍵特有の指の引っ掛かりが無く位置感覚が鈍って苦手なのだが…

Key in Cの名曲といえばWell Tempered Clavierの一曲目とかChopinのEtudeの最初のやつとかDebussyのLa Cathedrale Engloutieあたり？　でもいずれの曲も結局は臨時記号は結構頻繁に出てくるのです。

あと私事ながら、ひそかにマイ葬式ミュージックに決めているSibeliusの7th SymphonyもKey in Cだったりします。

臨時記号なしでどうやって曲が平坦になるのを避けられるか考え出すといろいろ奥深い。

とりあえず単純なトライアドやらその展開形やらコード進行的なものは回避してなるべく「歪」なVoicingと「歪」な進行を意識、更には音同士のインターバルからなる響きの連鎖による進行感を優先するようにする。

冒頭のところなどはこっそり禁断のダイアトニック全7音クラスタを連発させてます。

さてうまく単調さを回避できましたでしょうか…

タイトル変えました

気分転換にタイトルを一新することにしました。

何のことは無い、自分の興味の対象をただ羅列しただけのタイトルですが。
それらを論理和演算子(｜）で繋いでいるのは深い意味があるような無いような…

そもそもはカメラを本腰で始めたきっかけで備忘録を兼ねて撮影記を書いていければという意図だったのですが、その頃から比べると随分と興味の対象が変わってきて（というよりだんだん広がってきて）、それに従って必然的に追求する内容も移り変わってきてます。

とは言うものの、自身の興味の対象は森羅万象すなわち自然の中にあると思っているので、そのあたりはブレないようにタイトルの冒頭には"Nature"を入れてあるという按配です。

今後とも他所で溢れているような内容は他所に任せて、なるべくオリジナリティのあるネタを増やしていこうと思っている所存です。

ついでにタイトルの画像も変更しました。
今年行った西表島での水中風景でかなり気に入っている一枚です。
 

深海2017－DEEP OCEAN－ 雑記

上野で始まった表題の展示会に行ってまいりました。

今月も後半になると小さな人達でごった返すだろうと思い、最も人の少なそうな開催早々の平日午前を狙う。

数年前に開催された前回の深海展はダイオウイカに終始した感があったが、今回の展示の方が見所が分散して落ち着きがあってよかったような気がする。
展示内容も個人的に大好物の発光生物を大々的に取り上げてくれたのがポイントが高い。

今回ひそかに期待していたのが発光生物用に新規開発したという4K超高感度カメラの現物が展示されないかというものだったのだが、それはさすがに無理だった。解説も目新しい情報はない。かなり興味があったのだが残念。

ハウジングは展示されていたが、中は入っていない。

その他の展示物について個人的な感想などを並べるつもりはないのだが、ひとつだけ他の方々が書かないであろう展示物について興味を持ったので備忘録ついでに書いておこうかと。少々専門的になりますが。

それは生物とかではなくこんなもの。

これ、何かというと深海探査機の外部に付属している照明器具。前回の展示会にもあったかも知れないが見落としていた。

日頃海中で撮影している手前、水中照明の機材に関しては人一倍関心がある。

科学の最先端機器かと思いきや、かなり原始的な作りをしているのが意外。

ダイオウイカ撮影時に使用したのもこのタイプなのかどうかは不明だが、メインの白色LEDと海生生物からは不可視（とされている）な赤色LEDが交互に並んでいてそれぞれを切り替えられるようになっている。

見る限りはありふれた民生用の高輝度LEDのよう。例えば秋月電子でも売っているこのあたりの1W程度のものだと思われる。

http://akizukidenshi.com/catalog/g/gI-03042/

これ以上高輝度になると冷たい深海であっても放熱が厳しくなるのでこの程度で抑えているのかも。

基板のシルクには14.8Vと書いてあるのでコネクタ部分から4セルLiPoバッテリーで駆動するよう。

裏側には高電力用のセメント抵抗と酸化金属皮膜抵抗が各列についている。それぞれ白用・赤用？

この電圧と抵抗値から推測すると各列のLEDは直列接続され、白色が5行4列、赤色が4行4列。おそらく一個当たり100ルーメン程度だと思われるので白色で2000ルーメン程度？　探査機には左右に1基づつ付いていたのでその2倍。

上の予想が正しいとなると、ダイビング用の業務用ビデオライトと比べるとかなり暗い。深海で光が少ない場所なのでこの程度の明るさで十分なのだろうか。

すべてのLEDは平面実装されているので、ディフューザなしだと照射角はおそらく広くても120度ほど。

ご存知の通り深海だと猛烈な水圧との闘いになるので、機材を格納するハウジングは分厚く大仰になってしまう。
照明器具だと更に透明性を保ちながら耐圧にしなければならないのでさぞや大変だろう…と思いきや、簡単な発想転換でこれを乗り切っているのが面白かった。
つまり上の写真の通りハウジングではなく機材をそのままレジンで固めてしまう。そうなると空気が入る部分がないのでそもそも圧力差が発生しない。
中の機材はおそらく数千円程度なので、メンテナンス不可で使い捨てになってしまうがコストは断然安くなる。

日頃いろいろ水中にガラクタを持ち込んでいてそれらの防水対策にいつも苦心している手前、いいヒントをもらったような気がする。
 

Microscopic Chrystals

前回の続編。

以前からずっとやってみたいことがあったことを思い出して蔵書を漁ってみた。

これ、初版は1992年となっている。買ったのはそれよりかなり後だがいずれにしても前世紀のこと。
価格は\8800とかなり高額だったが、大型書店でたまたま見つけて立ち読みした際に余りに美しすぎたのでその場で衝動買いしたもの。

中身は終始こんな感じ。そこらの現代アートの写真集より格段に刺激的この上ない。

これは何かというと、いろいろな化学物質を薄い結晶にして上下から偏光板で挟み、下から光を透過させたものを拡大すると（要は「偏光顕微鏡」だが）多彩な色模様が見えるというもの。

著者の秋山さんはこの分野の先駆者で、当時はまだ科学とアートの融合というのはさほど一般的ではなかったし、時代を何十年も先取りしていた方なのだろう。

使用する物質によって、または温度や湿度などその時の周辺環境によって一期一会のパターンが生み出されるという「偶然性」。
そういうのが好きな人間にとっては非常にアート心をくすぐられる被写体だと思う。

結晶が持つ複屈折とか干渉とかそういった性質が起こす現象だが、素人がヘタに解説してもアレなので理屈の詳細は割愛。

この本で使用されている素材には一般人に入手が難しいようなものや現在では法的にヤバい物質もあるが、とりあえずキッチンにある凡庸な物質で同様のことを試してみる。

構成は前回と同じく一眼の望遠レンズの先端に対物レンズをくっつけたお手軽即席顕微鏡。

コンパクトで明るい照明が必要だったので秋月電子で買ってきた白色LEDモジュール。
点灯すると直視できないほど明るい。

CPLフィルタなど撮影手法の研究用に買った偏光板二枚を流用。

一枚目を熱で溶けない程度に離してLEDの上に置く。

その上に試料。今回はお手軽材料としてグラニュー糖と味の素をそれぞれ水で溶かしてスライドグラス上に薄く析出させたもの。
そのままだと白い粉が付着しているようにしか見えない。
乾燥に時間がかかったので結構埃がついてしまった…

更にもう一枚の偏光板を載せる。
板を回転させる機構が必要だったので物色してみると、行きつけのジョイフル本田で見つけたテレビ台用の回転金具がベアリング完備でジャストサイズだったので採用。

セットアップ完了。対物レンズは10x。カメラとレンズ以外は非常に安上がり。

それぞれの偏光板はクロスニコルと呼ばれる互いに直交させる位置が基本で、そこからいい色になるように回転角を調整する。
このあたりCPLフィルタの操作と感覚はほぼ同じ。
偏光方向が直交していることで、LEDからの直接光はほぼ遮られて複屈折した光のみが通過する。

まずはグラニュー糖の結晶から。

もっと高価な対物レンズがあれば更にシャープな絵になるのだろうがこれでも十分綺麗。

次に味の素。本名・グルタミン酸ナトリウム。

グラニュー糖より高周波成分があってトゲトゲしい美しさ。

面白いのが、同じ場所で偏光板を90度回転させるとそれぞれの補色に変化する。

結晶内で色（波長）によって偏光方向が分離(用語正しい？)されるために起こるらしい。
ミクロの世界で偏光板を通すと光にも「和音」のようなものが存在する？

PhotoshopやAEなど弄っている時におなじみの色相環の理屈を生で体感できることなんてあまりない。
光の性質というものはやはり奥深くて面白い。

梅雨の引きこもりがちな季節ゆえ、折角なので時間を見つけてミクロの世界をもう少し掘り下げて遊んでみようかと思ってます。