全く個人的なニーズから即席で作成したライブラリですが、とりあえず公開しました。Windowsのみで動作します。
https://github.com/delphinus1024/midi_cv_ctrl
おそらく同様のことはopenFrameworksあたりを使えば容易にできるかと思いますが、そのあたりまだ勉強できていないためスクラッチから作成しました。
もしかしたら車輪の再発明なのかもしれませんが。
やりたいことは非常に単純で、MIDIフィジカルコントローラのフェーダーやボリュームやボタンでOpenCVの各種パラメータを操作してやろうというもので、これによって複数あるパラメータを同時にかつ視覚的に弄くることができるようになります。
使い方によってはOpenCVでVJ(?)のようなこともできるかと。（…やらないですが）
コンパイル・使用方法はreadmeあたりを参照していただくとして、簡単なものですが参考のためWebカメラでキャプチャした動画をRGB(OpenCVの場合BGRだが)それぞれのゲインをフェーダーで調整している動画を上げてみました。
使用しているのはRoland UR-80という化石のような機材で、ファンタム電源もついて単体で録音もできる。発売が2003年というからもう10年以上前のもの。
すでにドライバのサポートもなくなっているのだが、MIDI経由でフィジカルコントローラとしてしか使わないので結局今も使い続けている一品です。
もちろんこのライブラリ自体はMIDIに対応していれば最近のイケてるコントローラも使用可能です。
画像処理用のプログラム作成の際、往々にしてOn the Flyで複数のパラメータを同時調整する必要が多くて、それをなるべく直感的にできないかというアイデアから作成したものです。
数時間プログラムなのでいろいろバグなども残っているかもしれません。