astel-labs.net

前回の続きで、今回は２台の web カメラを利用した同時画像の読み取りを行います

今回利用した web カメラは、サンワサプライの CMS-V27SET を利用しています
（接写目的の web カメラって意外と見つからなかったのです）
次回掲載予定のディストーション補正では、このカメラを利用した場合の設定ファイルを利用します
（このカメラでなくとも、補正した感じはわかると思います）

web カメラを扱う方法としては、DirectX の Direct Show を利用した方法が真っ先に思いつくのですが、Direct Show は DirectX から Platform SDK （現在では Windows SDK）に移管されて以降、ほぼ目立った更新もなく現在では VC からでも若干扱いにくいままです

とはいえ、Direct Show 以外で web カメラを扱う方法は限られてしまう上に、フレームレベルでの操作を行えるものとなると、情報もほとんどないのが現状です

というわけで、Direct Show を使って web カメラを操作するしか道はなさそうなので、これを C# で扱う方法を考えます

ここでも C# からネイティブ DLL を呼ぶのはいろいろ面倒なので、ラッパーライブラリを探すと、Code Project に DirectShow.NET なるものが見つかります
（更新そのものは 2002 年で止まっているようです）
しかも、ライセンスは「パブリックドメイン」で公開されていますので、頒布の際にもライセンスを気にする必要がありません
※ソースをダウンロードする際には Code Project にユーザー登録をする必要がありますので注意してください

これで C# から web カメラを扱う方法が整ったので、実際にカメラを接続して画像を読み取ってみましょう

DirectShow.NET のソースをダウンロードした場合には、まずはコードをビルドしましょう
UCOMIMoniker 関連で警告が表示されると思いますが、利用する分には問題ありません

ここからはプロジェクトの作成を行います

○Visual Studio を立ち上げて、.net のバージョンを 2.0 以降を選択してプロジェクトを作成します
（DirectShow.NET は .net Framework 1.0 で作成されている）

○DirectShow.NET をビルドして作成した DShowNET.dll を参照設定の「参照の追加」からプロジェクトに追加します

○あとは DirectShow.NET に添付されている CaptureNET サンプルを参考にコードを書いていけば、 web カメラから画像を得ることはできます
ここからさらに、１フレーム毎に画像を取得するには多少のコードの変更が必要です

各変更箇所の Diff を載せると長くなるので、詳細はサンプルソースを参照してください
尚、添付するサンプルソースはわたしが試行錯誤している中でパネルコントロールを使った CaptureNET のサンプルから、１フレーム毎にキャプチャした画像をピクチャーボックスコントロールに貼り付ける過程で作成した「途中のコード」です
（一応、多少のコメントは記載しましたが）

そのため、明らかに不要なコードや冗長なコードが散在していますが、ここからリファクタリングすると現在わたしが利用しているコードではパフォーマンスに２倍程度の差がでます
（PC の処理能力を超える数の web カメラを接続すると、PC が落ちることがあるので注意しましょう）

添付するコードを利用したソフトウェアを作成する場合には、パフォーマンス以外にもエラー処理には十分に考慮したうえで 再設計 してください

あと、動作画面を張ろうかと思ったのですが、机のまわりでいい被写体がなかったのでとりあえずはプレビューなしの方向で・・・

これでカメラから画像を取得して、１フレーム毎に OpenCV を利用して画像処理を行う準備が整ったので、次回はディストーションの補正処理と、オマケで顔認識を実装してみたいと思います

バイナリ
・CamSample01.zip <VisualStudio2010 / .net Framework 2.0>

余談ですが、OpenCV だとより簡単に web カメラからキャプチャする方法があります

コールバック方式ではないですが、CPU 利用率を低く抑えるにはこちらのほうが良い場合がありますので、目的によって使い分けてください
わたしはフィルタグラフを使っているので Direct Show を使いましたが、スルーでデータを取るだけならこっちのほうがいいかも

using (CvCapture cap = CvCapture.FromCamera(0)) // device type + camera index
using (CvWindow w = new CvWindow("SampleCapture"))
{
    while (CvWindow.WaitKey(10) < 0)
    {
        using( var image = cap.QueryFrame()){
            image.PutText( "text",
                new CvPoint( 10, 10 ),
                new CvFont( FontFace.HersheyPlain, 1.0f, 1.0f ), new CvScalar() );
            w.Image = image;
        }
    }
}

上記コードは opencvsharp のサンプルコードにテキストを描画しただけのものです