基于DirectShow视频及图片捕获软件的开发
基于DirectShow视频及图片捕获软件的开发
我们知道目前很多工业相机的图像数据采集都是基于DirectShow的，常见的有映美精等。DirectShow是微软公司提供的一套在Windows平台上进行流媒体处理的开发包，与DirectX开发包一起发布。DirectShow为多媒体流的捕捉和回放提供了强有力的支持。运用DirectShow，我们可以很方便地从支持WDM驱动模型的采集卡上捕获数据，并且进行相应的后期处理乃至存储到文件中。它广泛地支持各种媒体格式，包括Asf、Mpeg、Avi、Dv、Mp3、Wave等等，使得多媒体数据的回放变得轻而易举。另外，DirectShow还集成了DirectX其它部分（比如DirectDraw、DirectSound）的技术，直接支持DVD的播放，视频的非线性编辑，以及与数字摄像机的数据交换。更值得一提的是，DirectShow提供的是一种开放式的开发环境，我们可以根据自己的需要定制自己的组件。
笔者使用visual studio 2005 来开发了基于DirectShow的视频捕获软件，并用开发的软件对映美精相机进行了测试。本软件不但可以实现对相机的视频捕获，而且还可以抓取图像帧。软件运行时自动搜索所连接的相机，预览后可以对相机参数进行设置。下面是软件的主界面。
预览视频后可以对视频格式和图像参数进行设置。开始预览时，捕获的视频是黑白的，我们将颜色空间设置为UYVY即可捕获彩色视频。
下面是捕获的一帧图像，图像质量虽然没有映美精自带的软件效果好，但已经实现了所需各项基本功能，接下来的工作将会进一步提高软件性能。
另外我们还可以捕获视频，点击“捕获视频”按钮，输入要保持的文件名，注意要以.avi后缀结尾，点确定就开始捕获视频。
从我们开发的软件可以看到，映美精的相机能够很好的支持DirectShow的驱动，我们的软件对映美精相机的识别是如此的容易。接下来我们将继续开发基于其它驱动的图像捕获软件，为最终实现在一个软件中识别各种相机而努力。我们将逐步开放我们的源代码，以便更多的同行一起来探讨相机的图像采集技术。
下面是详细的软件开发过程。
一、安装DirectShow和visual studio 2005
首先我们安装DirectShow SDK，它有许多版本，作者使用的是2003年发布的dx90bsdk.exe，安装在D盘的DXSDK下。软件下载地址为
https://www.360docs.net/doc/285366251.html,/download/b/6/a/b6ab32f3-39e8-4096-9445-d38e6675de85/dx90bsdk.exe。
然后安装好visual studio 2005。安装完以后我们将进行开发环境的配置。
二、开发环境配置
开发环境的配置主要有两个工作要做：一是在使用Directshow SDK开发自己的程序时需要的DirectShow的有关静态库的配置，二是visual C++开发环境的配置。
1、生成DirectShow SDK开发库
使用DirectShow SDK开发用户自己的程序需要几个静态链接库：quartz.lib、strmbasd.lib、STRMBASE.lib和strmiids.lib。中间两个lib需要用户自己编译生成，而其他两个微软已经提供。下表列出了使用DirectShow SDK开发程序所有要使用的库。
基于VC++2005开发软件使用DirectShow SDK，首先需要用户编译DirectShow自带的源代码工程baseclasses,以生成DirectShow SDK的不同版本的库。同时由于DirectShow SDK是早期的VC开发软件，所以使用VC++2005编译DirectShow SDK会出现很多编译问题。下面列出了详细的编译过程和问题分析、解决方法。
1.1 编译工程baseclasses工程
启动VS2005，选择“文件”→“打开”→“项目/解决方案”命令，在弹出的对话框中打开“BaseClasses”项目。
打开“baseclasses.sln”项目。如果VS2005有提问，则默认同意或确定。现在就开始编译该项目。按“F7”快捷键可以编译生成项目。初次编译VS2005会报很多错误或者警告，有的需要我们手工修改程序，或者修改VS2005环境配置或编译选项；有的是一类问题，解决方法也有很多种。具体解决方法请参考路锦正的《Visual C++音频/视频处理技术及工程实践》第225页-229页。
1.2 Visual C++开发环境配置
有了DirectShow SDK库，用户就可以使用这些库来开发自己的程序了。为了能让VC++自动搜寻到SDK库和头文件，还需要对VC++的开发环境进行配置。添加库或路径的时候，根据你的要求添加Debug、Release、Debug_Unicode、Release_Unicode版本的库所在路径。下面假定添加非Unicode版本的库或路径。
首先确定VC2005是否已经包含了库和头文件所在的路径，因为在安装VC2005时，它会自动添加该目录。如果没有，则需要用户手工添加。
1.更改添加的include内容：
D:\DXSDK\Include
D:\DXSDK\Samples\C++\DirectShow\BaseClasses
D:\DXSDK\Samples\C++\Common\Include
添加过程如下。选择“工具”→“选项”命令，在“项目和解决方案下”选择“VC++目录”，在下拉框中选择“包含文件”选项，将上面的三个Include 内容添加进去。
2.更改添加lib路径
要添加的lib内容：
D:\DXSDK\Lib
D:\DXSDK\ Samples\C++\DirectShow\BaseClasses\Debug
D:\DXSDK\ Samples\C++\DirectShow\BaseClasses\Debug_Unicode
D:\DXSDK\ Samples\C++\DirectShow\BaseClasses\Release
D:\DXSDK\ Samples\C++\DirectShow\BaseClasses\Release_Unicode
添加过程和Include内容相似，只是在下拉框中选择“库文件”选项。
3.添加链接库支持
上面的设置是在VC2005的开发环境的目录（Directories）中，添加用户在开发中可能用到的库或头文件“路径”，需要明确的事文件夹，而不是具体的文件。所以，要使用相关的库支持，还要用户明确地把要使用的库包含、添加到开发环境中。
基于DirectShow SDK开发流媒体应用程序，一般需要链接strmiids.lib
和quartz.lib,前者定义了DirectShow标准的类标识符CLSID和接口标识IID，后者定义了导出函数AMGetErrorText(如果应用程序中没有使用这个函数，也可以不链接这个库)。
在编译生成DirectShow的BaseClasses库strmbasd.lib、STRMBASE.lib 时，由于该工程是生成库而不是应用程序，所以在编译该项目时VC++2005没有“链接器”选项。但是在开发其他应用可执行程序时，需要添加DirectShow SDK 库的支持。添加路径：项目→属性→配置属性→链接器→输入→附加依赖项，输入strmiids.lib quartz.lib，库名之间用空格分开。另外，在程序中使用DirectShow SDK类或接口的代码程序中，还要添加#include
在添加链接库时，除了以上配置VC的开发环境外，也可以在源程序文件开头部分，直接语句编程引入#pragma comment(lib,”strmiids.lib”)。
如果程序中没有使用dshow.h，而是包含了stream.h,则库文件需要链接strmbased.lib、winmm.lib，在源程序文件开头添加：
#pragma comment(lib,”strmbasd.lib”)
#pragma comment(lib,”winmm.lib”)
#include
不过，编译器会报出以下的错误。
error C2146:语法错误为缺少“；”（在标识符“m_pString”的前面）。
问题定位在wxdebug.h(329)中。经分析得知，由于某种原因，编译器认为PTCHAR没有定义，那用户可以在类外定义：typedef WCHAR *PTCHAR; 再编译项目。
三、开发过程
DirectShow SDK的视频采集经典技术是使用ICaptureGraphBuilder2标准接口，利用其方法RenderStream自动建立、连接滤波器链表。RenderStream方法在预览、捕获视频时引脚的类型分为PIN_CATEGORY_PREVIEW和PIN_CATEGORY_CAPTURE，媒体类型均为MEDIATYPE_Video。此实例要完成的目的有两个：一是实时预览采集的视频数据；二是在预览图像的同时，实时地把捕获数据保存到文件中。首先我们使用GraphEdit模拟实现该过程。
1、GraphEdit模拟实现
步骤一、添加"Video Capture Sources"视频捕获设备，如图1所示。
图1、添加视频捕获设备
步骤二、视频捕获滤波器只有一个Pin，而我们要求在预览数据的同时还能够保存数据，即需要一个组件把捕获的流分成两个。DirectShow SDK为此提供了Smart Tee滤波器，把捕捉的视频流分成两个流供使用。在GraphEdit中单击"DirectShow Filters"按钮，插入"Smart Tee"滤波器，如图2所示
图2添加Smart Tee滤波器
步骤三、采集捕捉的视频数据保存到文件，以AVI格式写文件。插入"AVI Mux"滤波器，如图3所示。
图3添加AVI Mux滤波器
步骤四、插入"File writer"滤波器，保存文件命名为"a.avi"。如图4所示
图4插入File writer
步骤五、插入"SampleGrabber"和"Video Renderer"滤波器，如图5所示
图5插入SampleGrabber和Video Renderer滤波器
步骤六、最后把所有的滤波器用鼠标连接起来，完成构建滤波器链表，如图6所示
图6视频预览、保存滤波器链表
步骤七、运行滤波器链表，单击"Graph"→"Play"按钮执行视频数据的预览、保存。
1、视频捕获类CCaptureClass的实现
详细讲述CCaptureClass类的成员变量和其他成员方法的实现，剖析其完成视频采集、保存的技术过程。
1）定义CCaptureClass类
上述代码是类CCaptureClass的成员变量和成员函数，成员变量包括DirectShow 开发流媒体播放应用程序需要的各种接口指针变量。成员函数实现创建滤波器链表管理器、配置视频采集格式、配置图像参数和保存滤波器链表等。
在类的构造器和析构器中完成对
在类构造函数中，清空所有指针以便于清楚其后续操作的状态。析构函数释放各种资源、指针并清空指针，最后卸载COM库。
2）根据指定的设备ID，把基本滤波器与设备捆绑
该函数的传入参数是采集设备的索引号和捕获设备的滤波器。根据索引号查询系统中的视频捕获设备。以友好名字（FriendlyName）的方式获取所选设备的信息，然后把查询成功的设备与传入的滤波器捆绑，返回捕获设备的滤波器。
3）设置视频显示窗口
DirectShow的显示窗口与IVideoWindow接口的设置基本相同，把传入的显示窗
视频窗口不可见，捆绑传入的窗口句柄为视频窗口，设置窗口类型。ResizeVideoWindow函数获取显示窗口的客户区域，利用视频窗口接口的方法SetWindowPosition设置视频显示窗口的位置。
4）预览采集到的视频数据
使用上述有关的类成员函数初始化滤波器链表管理器，把指定采集设备的滤波器添加到链表中，然后渲染RenderStream方法把所有的滤波器链接起来，最后根据设定的显示窗口预览采集到的视频数据，具体实现过程如下。
与捕获滤波器捆绑，到添加滤波器到滤波器链表、设置视频显示窗口，最后开始运行媒体：采集、预览视频，包含了使用DirectShow SDK开发视频采集、预览的整个技术过程。函数功能独立而又完整。
5）保存采集到的数据
把捕获的视频以AVI格式写文件。注意设置前停止调用滤波器链表，设置完成后再运行链表。
预览视频后，用户可以使用该函数存储捕获的视频数据。首先停止视频媒体，利用ICaptureGraphBuilder2的方法SetOutputFileName设置存储捕获数据的文件名，然后渲染视频媒体，RenderStream方法自动链接图表中的滤波器，最后开始运行视频媒体。
6）捕获图片
把捕获的视频以bmp格式写文件。我们使用使用Sample Grabber filter抓取图像。sample Grabber使用两种模式抓取图像：缓冲模式和回调模式，缓冲模式向下传递采样时拷贝每个采样，而回调模式对于每个采样调用程序定义的回调函数。我们采用缓冲模式。
预览视频后，用户可以使用该函数捕获图像。这个函数自动为捕获的图片命名并保存。
3、界面设计
本案例使用VC++ 2005的对话框应用程序框架设计视频捕获应用程序。
步骤一、应用VC++ 2005应用程序向导建立对话框程序框架，项目名称为CaptureVideo。
步骤二、在项目CaptureVideo的主界面中添加控件：9个Button、1个Combo Box、2个Picture Control，如表1所示。根据其功能修改所有控件的ID。
表1 控件功能列表
计图8 控件右键菜单内容添加控件变量后的CCaptureVideoDlg类的代码如下。
步骤五、添加按钮在线提示ToolTip。
首先在类CCaptureVideoDlg定义中声明tooltip控件。
步骤六、功能按钮的消息响应，即单击按钮的事件处理。
设置视频图像参数前，首先启动"预览视频"，然后配置图像参数。图像参数包括图像、白平衡、模式控制和去抖动等，该功能的效果如图10所示。并且该功能调整的参数马上起作用。
DirectShow之接口实战篇
在正确安装好DirectX SDK后，我们必须设置DirectX SDK的头文件和库文件，使其在Visual Studio的搜索路径内。对于Visual Studio .NET 2003可如下进行设置：菜单→工具→选项→项目→VC++目录，在包含文件中加入D:\DXSDK\Include，在库文件中加入 D:\DXSDK\lib(我的SDK的安装路径是D:\DXSDK)： 头文件 文件名称描述 Dshow.h所有的DirectShow应用都必须包含库文件 文件名称描述 Strmiids.lib此库文件中导出类标识(CLSID)和接口标识 (IID)，所有的DirectShow应用都必须包含此 文件。 Quartz.lib此库文件中导出函数AMGetErrorText，如果 你的程序中调用了此函数，则必须包含此库 文件。 DirectShow之接口实战篇（一） 现今自己编程做一个多媒体播放工具是一件很令人开心愉悦的事情，但如果使用MediaPlay 控件开发则会受到很多限制，自己的很多好的创意想法都无法或者很难实现，如果利用微软的DirectX接口开发则可以充分的将作者的独特想法付诸于实现，何乐而不为呢！！不过关于DirectShow接口的开发说明文档实在是少之又少，仅有的一些不是英文的就是一些关于理论方面的，真正关于接口实战编程而且是用Delphi开发工具实现的更是凤毛麟角，使很多人都望而却步。在这里，我把我应用Directshow开发的心得以及我搜集到一些资料重新整理编辑出来公布，希望对所有由此兴趣的同仁有所帮助，就算达到了我的目的。废话少说，进入正文。 既然是接口实战篇，就先把一些常用的接口列出来，让大家有一些基本的认识，都是用来做什么的，什么时候我们会需要用到此接口。 IFilterGraph 过滤通道接口 IFilterGraph2 增强的IFilterGraph IGraphBuilder 最为重用的COM接口,用于手动或者自动构造过滤通道Filter Graph Manager IMediaControl 用来控制流媒体，例如流的启动和停止暂停等,播放控制接口 IMediaEvent 播放事件接口,该接口在Filter Graph发生一些事件时用来创建事件的标志信息并传送给应用程序 IMediaEventEx 扩展播放事件接口 IMediaPosition 播放的位置和速度控制接口(控制播放位置只能为设置时间控制方式) IMediaSeeking 另一个播放的位置和播放速度控制接口,在位置选择方面功能较强.设置播放格式，多种控制播放方式.常用的有:(1)TIME_FORMAT_MEDIA_TIME单位100纳秒。(2)TIME_FORMAT_FRAME按帧播放 IBasicAudio 声音控制接口
利用DirectShow开发自己的filter
学习directshow已经有几天了，下面将自己的学习心得写下来，希望对其他的人有帮助。Filter实质是个COM组件，所以学习开发Filter之前你应该对com的知识有点了解。Com组件的实质是一个实现了纯虚指针接口的C++对象。关于com的东西，这里不多讲。 一给vc配置DirectShow的开发环境 无论开发Filter还是开发Dshow的应用程序都要配置一下开发环境的，其实就是包含一下dshow用到的头文件和动态库。选择Tools菜单下面的Options。在弹出的Option对话框配置如下 图1 添加头文件 选择动态库文件添加到工程中
图2 添加动态库 二创建工程以及Filter的入口函数 创建工程 一般情况下，创建Filter使用一个普通的Win32 DLL项目。而且，一般Filter项目不使用MFC。这时，应用程序通过CoCreateInstance函数Filter实例；Filter与应用程序在二进制级别的协作。另外一种方法，也可以在MFC的应用程序项目中创建Filter。 在vc里新建一个工程，选择win32动态库，如下图 图3 图4
这样生成了一个简单的DLL，只有一个Dllmain入口函数。 下面我要给这个filter添加入口函数了。 Filter是个基于DLL的com组件，所以一般的Filter都要实现下面几个入口函数 首先定义导出函数 要导出这些函数有两种方法，一是在定义函数时使用导出关键字_declspec(dllexport)，另外一种方法是在创建DLL文件时使用模块定义文件.Def。使用导出函数关键字_declspec(dllexport)创建MyDll.dll就是在 .h文件中定义定义函数如下： 为了用.def文件创建DLL，往该工程中加入一个文本文件，命名为MyDll.def，再在该文件中加入如下代码： LIBRARY MyFilter.ax EXPORTS DllMain PRIVATE DllGetClassObject PRIVATE DllCanUnloadNow PRIVATE DllRegisterServer PRIVATE DllUnregisterServer PRIVATE 其中LIBRARY语句说明该def文件是属于相应DLL的，EXPORTS语句下列出要导出的函数名称。我们可以在.def文件中的导出函数后加@n，如Max@1，Min@2，表示要导出的函数顺序号，在进行显式连时可以用到它。该DLL编译成功后，打开工程中的Debug目录，同样也会看到MyDll.dll和MyDll.lib文件。 然后要定义这些函数的实现了，其实这些工作dshow的基类里都已经替我们做好了，我们所要做的就拿来用就是了，最重要的三个函数的实现一般如下
实现DirectShow技术开发准备
C#实现DirectShow技术开发准备 时间:2009-10-21 23:45 点击:73次字体：[大中小] DirectShow组件在“C:WINDOWSsystem32”目录下的Quartz.dll动态库中，要使C#代码引用COM对象和接口，必须将COM类型库转换为.NET框架元数据，从而有效地创建一个可以从任何托管语言调用的托管包装。在转换过程中需要使用FrameWork SDK自带的TlbImp命令工具，该命令工具在“D:Program FilesMicrosoft Visual Studio 8SDKv2.0BinTlbImp.exe”目录下（取决于Visual Studio 2005的安装路径）。该命令的使用方法为： TlbImp C:WINDOWSsystem32quartz.dll out：C:WINDOWSsystem32quartzDriectShow.dll 在DOS命令下执行转换成功。 转换完成后需在应用程序引用quartzDriectShow，引用quartzDriectShow.dll组件步骤如下： （1）在Visual Studio 2005开发环境中，选择菜单“项目”/“添加引用”命令，弹出“添加引用”对话框。 （2）选择“浏览”选项卡，通过浏览找到引用quartzDriectShow.dll所在的位置，并引用到程序中来。 （3）最后引入using quartzDriectShow，在程序中可以开发相关多媒体程序了。 开发人员还可以通过编写自己的过滤器扩展DirectShow多媒体支持。下面是DirectShow组件的接口。 l IFilterGraph：过滤通道接口。 l IFilterGraph2：增强的IfilterGraph。 l IGraphBuilder：最为重用的COM接口，用于手动或者自动构造过滤通道Filter Graph Manager。 l IMediaControl：用来控制流媒体（如流的启动和停止暂停等）播放控制接口。 l IMediaEvent：播放事件接口，该接口在FilterGraph发生一些事件时用来创建事件的标志信息并传送给应用程序。 l IMediaEventEx：扩展播放事件窗口。 l IMediaPosition：播放的位置和速度控制接口（控制播放放置只能为设置时间控制方式）。 l IMediaSeeking：另一个播放的位置和播放速度控制接口，在位置选择方面功能较强，设置播放格式。常用的控制播放方式有：TIME_FORMAT_MEDIA_TIME单位100纳秒；TIME_FORMAT_FRAME按帧播放。 l IBasicAudio：声音控制接口。
基于DirectShow视频及图片捕获软件的开发
基于DirectShow视频及图片捕获软件的开发 我们知道目前很多工业相机的图像数据采集都是基于DirectShow的，常见的有映美精等。DirectShow是微软公司提供的一套在Windows平台上进行流媒体处理的开发包，与DirectX开发包一起发布。DirectShow为多媒体流的捕捉和回放提供了强有力的支持。运用DirectShow，我们可以很方便地从支持WDM驱动模型的采集卡上捕获数据，并且进行相应的后期处理乃至存储到文件中。它广泛地支持各种媒体格式，包括Asf、Mpeg、Avi、Dv、Mp3、Wave等等，使得多媒体数据的回放变得轻而易举。另外，DirectShow还集成了DirectX其它部分（比如DirectDraw、DirectSound）的技术，直接支持DVD的播放，视频的非线性编辑，以及与数字摄像机的数据交换。更值得一提的是，DirectShow提供的是一种开放式的开发环境，我们可以根据自己的需要定制自己的组件。 笔者使用visual studio 2005 来开发了基于DirectShow的视频捕获软件，并用开发的软件对映美精相机进行了测试。本软件不但可以实现对相机的视频捕获，而且还可以抓取图像帧。软件运行时自动搜索所连接的相机，预览后可以对相机参数进行设置。下面是软件的主界面。 预览视频后可以对视频格式和图像参数进行设置。开始预览时，捕获的视频是黑白的，我们将颜色空间设置为UYVY即可捕获彩色视频。
下面是捕获的一帧图像，图像质量虽然没有映美精自带的软件效果好，但已经实现了所需各项基本功能，接下来的工作将会进一步提高软件性能。 另外我们还可以捕获视频，点击“捕获视频”按钮，输入要保持的文件名，注意要以.avi后缀结尾，点确定就开始捕获视频。 从我们开发的软件可以看到，映美精的相机能够很好的支持DirectShow的驱动，我们的软件对映美精相机的识别是如此的容易。接下来我们将继续开发基于其它驱动的图像捕获软件，为最终实现在一个软件中识别各种相机而努力。我们将逐步开放我们的源代码，以便更多的同行一起来探讨相机的图像采集技术。 下面是详细的软件开发过程。 一、安装DirectShow和visual studio 2005 首先我们安装DirectShow SDK，它有许多版本，作者使用的是2003年发布的dx90bsdk.exe，安装在D盘的DXSDK下。软件下载地址为 https://www.360docs.net/doc/285366251.html,/download/b/6/a/b6ab32f3-39e8-4096-9445-d38e6675de85/dx90bsdk.exe。 然后安装好visual studio 2005。安装完以后我们将进行开发环境的配置。 二、开发环境配置
DirectShow获取一张图片
DirectShow:图片的抓取 zz 在播放媒体文件的过程中，有一个很有用的功能，就是在当前播放的位置抓取图，实现这种图片抓取功能的方法很多，我们这里只介绍常用的两种。 第1种方法最简单，它使用1BasicVideo：：GetCurrentImage接口方法，代码如下。 boolSnapshotBitmap(IBasicVideo*pBa8icVideo，ê? constchar*OutFile) if (pBasicVldeo) { long bitmapSize=0；ê? //首先获得图像大小 if(SUCCEEDED(pEasicVidee->GetcurrentImage(&bitmapSize，ê?0))) { bool pass=false；ê? //分¤?配?图a?像?帧?内¨2存?? unsignedchar*buffer=newunsignedchar[bitmapSize]; //获?取¨?图a?像?帧?数oy据Y if(SUCCEEDED(pBasicVideo->GetCurrentImage(&bitmapSize,(long*)buffer)) ) { BITMAPFILEHEADER hdr；ê? LPBITMAPINFOHEADER ipbi；ê? ipbi=(LPBITMAPINFOHEADER)buffer；ê? int nColors=1<
利用DirectShow实现视频文件播放
DirectShow 媒体文件回放总结收藏 作者:Inkick 1．概述 DirectShow中媒体文件回放的过程也就是一个为媒体文件选择相应所需的Filter、构建Filter Graph、并对Filter Graph的状态进行维持、控制的过程。这里所说的媒体文件，不仅仅是指音频、视频文件，同时也包括bmp、jpeg、gif等图形图像格式以及midi等数字化音乐序列。 因此，使用DirectShow进行媒体文件的回放需要经过以下的步骤： 2．构建Filter Graph Filter Graph为Filter提供了一个容器，一个构建完整的Filter Graph也就是一个完整的Filter 连路，这个连路对于程序是透明的，可控制的。而对于每一个媒体文件来说，Filter Graph 与媒体文件存在着对应的关系。也就是说，一个Filter Graph只能实现一个（种）文件的回放。 在DirectShow中，Filter Graph是由接口对象IGraphBuilder实现的，我们可以调用Win32 API 函数CoCreateInstance()建立一个实体。Filter Graph实体建立之后并不具有任何的Filter，因此不具有任何实际用途。因此我们需要连接需要的Filter来完成FilterGraph的构建。 智能连接这个术语覆盖了一系列Filter Graph Manager用于构建所有或部份filter graph的算法。任何时候，当Filter Graph Manager需要添加filter来完成graph时，它大致做以下几件事情： 如果有一个filter存在于graph中，而且这个filter有至少一个没有连接的input pin，Filter Graph Manager试着去试用这个filter。 否则，Filter Graph Manager在已注册的filter中寻找连接时可以接受合适的媒体类型的filter。每一个filter都注册有一个Merit值，这个值用以标记哪个filter最容易被Filter Graph Manager 选中来完成graph。Filter Graph Manager按Merit值的顺序来选择filter，Merit值越大，被选中的机会越大。对于每种流类型（如音频、视频、MIDI），默认的renderer具有一个很高的Merit值，解码器同样是，专用filter具有低Merit值。 如果Filter Graph Manager选择的filter不合适，它会返回来尝试另外的filter组合。 我们有三种构建graph的途径： 1.filter graph manager构建整个graph 2.filter graph manager构建部分graph
DirectShow视频采集方案
2.3 DirectShow视频采集方案 流媒体处理技术以其复杂性和技术性一直受到人们的关注。随着网络技术的不断发展，流媒体在网络上得到了广泛地应用。如何能够简单、有效地进行流媒体处理，已成为一个焦点问题。为此，Microsoft推出了DirectShow，DirectShow 是Microsoft推出的基于Windows平台的流媒体处理开发包，它与DirectX一起发布。DirectShow对流媒体的捕捉、回放提供了强大的支持，使用它还可以在基于WDM驱动的采集卡上进行数据捕捉。本节将介绍有关DirectShow的相关知识。 2.3.1 DirectShow系统结构分析 DirectShow主要由过滤器（Filter Graph）图表构成。过滤图表中包含了各种Filter，这些Filter能够按一定顺序连接在一起，构成一条流水线。从功能的角度划分，Filter大体可以分为3类，Source Filters、Transform Filters和Rendering Filters。Source Filters主要负责获取数据，可以是一个文件、一个采集卡、声卡或数码相机等。Transform Filters负责数据的转换、传输。例如各种编码器、解码器等。Rendering Filters负责数据的最终去向，例如将数据传送到声卡、显卡或存储为文件。 在开发DirectShow应用程序时，通常需要设计一个过滤图表（Filter Graph），向过滤图表中添加相应的过滤器，最后连接过滤器的引脚就完成了功能的设计。例如，实现一个简单的视频预览功能，需要向过滤图表中添加一个视频捕捉源过滤器和一个Video Renderer过滤器，将视频捕捉源过滤器的输出引脚与Video Renderer过滤器的输入引脚相连就可以了。而在程序中只需要按照设计过滤图表的捕捉添加过滤器并连接过滤器引脚就可以了。在连接过滤器引脚时需要注意：只能是输出过滤器引脚与输入过滤器引脚相连，两个输出过滤器或两个输入过滤器引脚是不能相连的。 为了在程序中使用DirectShow，需要单独安装DirectX，当前DirectX的最新版本为9.0，即DirectX9.0，用户可以从Microsoft的官方网站上免费下载。在安装DirectX之后，程序中需要引用“dshow.h”头文件，并导入“Strmiids.lib”库文件和“quartz.lib”库文件才可以使用DirectShow。代码如下： #pragma comment (lib,"Strmiids") #pragma comment (lib,"quartz") #include
VS2010 C++学习(5)：基于DirectShow视频预览录像程序
VS2010C++学习（5）：基于DirectShow的视频 预览录像程序 学习VC++编制的基于DirectShow视频捕获程序，主要练习基于DirectShow程序的应用。 一、主要内容： 1.基于DirectShow视频预览； 2.基于DirectShow视频录像； 二、设计实现： （一）、安装DirectShow 首先我们安装DirectShow SDK，由于现在directShow没有和direcxtx一起发布，而是和windows sdk打包发布了，可以到官网下载最新的windows sdk开发包。一个可用的下载地址为https://www.360docs.net/doc/285366251.html,/07/hh/DXSDK_Feb10.rar 然后安装好windows SDK。安装完DirectShow SDK的目录为C:\Program Files\Microsoft SDKs\Windows\v7.1\Samples\multimedia\directshow。 （二）、开发环境配置 开发环境的配置主要有两个工作要做： 一是在使用Directshow SDK开发自己的程序时需要的DirectShow的有关静态库的配置， 二是visual C++开发环境的配置。 1)生成DirectShow SDK开发库
使用DirectShow SDK开发用户自己的程序需要几个静态链接库：quartz.lib、strmbasd.lib、STRMBASE.lib和strmiids.lib。中间两个lib需要用户自己编译生成，而其他两个微软已经提供。下表列出了使用DirectShow SDK开发程序所有要使用的库。 2)更改添加的include内容： C:\Program Files\Microsoft SDKs\Windows\v7.1\Samples\multimedia\directshow\baseclasses; C:\Program Files\Microsoft SDKs\Windows\v7.1\Include; 添加过程如下。选择“Ex005属性”→“选项”→“VC++目录”→“包含目录”，将上面的2个Include内容添加进去。 3)更改添加lib路径 要添加的lib内容： C:\Program Files\Microsoft SDKs\Windows\v7.1\Samples\multimedia\directshow\baseclasses\Debug; C:\Program Files\Microsoft SDKs\Windows\v7.1\Lib; 添加过程和Include内容相似，选择“Ex005属性”→“选项”→“VC++目录”→“库文件”选项。 4)添加链接库支持 C:\Program Files\Microsoft SDKs\Windows\v7.1\Samples\multimedia\directshow\baseclasses\Debug;
directshow安装
Visual范例宝典中采用的DirectX SDK为Microsoft Show SDK（April 2006），Direct Show SDK为DirectX SDK Extras Frebruary 2005 在这里和大家分享下DirectShow9 DirectX9.0c已经将DShow分离出去了，下载时请选DirectX9.0b或者一下一个单独的，地址为： https://www.360docs.net/doc/285366251.html,/SDK/DX9SDK.rar 下面是配置过程： 1，使用VC向导生成一个具体项目，如Win32 Dynamic-Link； 2，包含头文件streams.h； 3，在VC的菜单中选择Project|Settings|C/C++，在弹出的对话框中的Category中选择Code generation，然后在Calling convention中选择_stdcall； 4，使用多线程语言运行时库，即在VC的菜单中选择Project|Settings|C/C++，在弹出的对话框中的Category中选择Code generation，然后在Use run-time library中，Debug版选择Debug Multithreaded，Release版选择Multithreaded。 5，配置必要的链接库文件，即在VC的菜单中选择Project|Settings|Link，在弹出的对话框中的Category 中选择General，然后在Object/library modules中输入如下代码： Debug版本strmbasd.lib, msvcrtd.lib, winmm.lib Release版本strmbase.lib, msvcrt.lib, winmm.lib 并且选中Ignore all default libraries。 DirectShow SDK建议，DirectShow应用程序应该至少连接库文件strmiids.lib和quartz.lib。前者定义了DirectShow标准的CLSID和IID，后者定义了导出函数AMGetErrorText（如果应用程序中没有使用到这个函数，也可以不连接这个库）。如果程序里包含了头文件streams.h，则一般库文件还要连接strmbasd.lib、uuid.lib、winmm.lib。 6，将DirectX SDK的Include和Lib目录配置到VC的系统目录中去，并且放在标准的VC目录之前，以保证编译器能够拿到最新版本的源文件。选择Tools|Options|Directories，在弹出的对话框中的Show directories for中选择Include files，配置如下（假设DirectX SDK安装在D:\\DXSDK目录下，VC安装在C:\\Program Files下）： D:\\DXSDK\\Include D:\\DXSDK\\SAMPLES\\C++\\DIRECTSHOW\\BASECLASSES
directshow教程(新整理)
Directshow教程0.11 MSDN翻译系列 作者：黄丁杰 说明：如果有任何问题请联系din-je@https://www.360docs.net/doc/285366251.html,。是本人业余翻译的如果有错误请直接发到我邮箱我会立刻改正，directshow的其他文章我会在以后不断翻译出来。如果觉得好请帮我作作宣传。欢迎转载，但是禁止修改。 Directshow起步。 本章主要介绍diirectshow在编写程序时所需的基本概念。在本章你可以总揽下directshow 技术。你必须在总体上对本章的编程和媒体有所了解。 本章将介绍 。设置编译环境 。介绍directshow应用程序编程 。如何播放一个文件 设置编译环境： 你可以编译工程在命令行模式下或者在vs集成环境中 头文件 所有的directshow应用程序都使用下面的头文件。 Dshow。H 部分directshow接口需要附加的头文件。这些文件会在接口的注意中给出。 所需的库文件 directshow需要如下的库文件 strmiidl。Lib 该库包含CLSIDs和IIDs的接口。所有的directshow都需要该库。Quartz。Lib 该库包含AMGetErrorText函数。如果你没有调用该函数，该库没有用。 记住在你的编译环境中必须把directx SDK 的头文件库和连接库的目录作为vs优先搜索的路径。这样可以保证编译的时候用的是最新版本的文件。 介绍directshow应用程序编程 本章介绍编写一个directshow程序的基本技术和概念，读完本章你就可以写个你自己的directshow的应用程序了。 滤镜和图像滤镜 directshow是由被称作滤镜的东西构成的。滤镜是一个软件包用来执行对多媒体流的一些操作。比如directshow的滤镜可以 读出一个文件 从视频捕捉设备获取视频流 解码各种各样的多媒体格式，比如MPEG-1S视频。 传输视频和音频到屏幕和声卡。 滤镜几乎完成视频播放所需要的从输入到输出的所有功能。比如一个MPEG-1的滤镜。它可以输入MPEG码流然后输出图像帧用于后续显示 在directshow程序中只要执行把滤镜连接在一起就可以了。就是把一个滤镜的输入和另外一个滤镜的输出连接在一起就可以了。一组连接在一起的滤镜叫做图像滤镜。比如下面的图示
directshow实现视频捕获
directshow实现视频捕获（源码）vs2005 金钻传奇 mail@https://www.360docs.net/doc/285366251.html, 我用visual studio 2005编了一个摄像头预览程序，还可以导出成avi文件，前提是要安装directshow，并搭建好环境，我安装的是directx 9.0b，搭建环境很简单，网上有很多，注意在项目-属性-配置属性-链接器-输入中要加上strmbasd.lib winmm.lib（中间有空格）。源代码如下： /*CaptureClass.h*/ #pragma once #include
#define SAFE_RELEASE(x) { if (x) x->Release(); x = NULL; } #endif class CCaptureClass { public: CCaptureClass(void); public: ~CCaptureClass(void); int EnumDevices(HWND hList); //void SaveGraph(TCHAR *wFileName); //保存滤波器链表 void ConfigCameraPin(HWND hwndParent); //配置摄像头的视频格式 void ConfigCameraFilter(HWND hwndParent); //配置摄像头的图像参数 HRESULT CaptureImages(CString inFileName); //捕获保存视频 HRESULT PreviewImages(int iDeviceID , HWND hWnd); //采集预览视频 private: HWND m_hWnd; //视频显示窗口的句柄 IGraphBuilder *m_pGB; //滤波器链表管理器 ICaptureGraphBuilder2 *m_pCapture; //增强型捕获滤波器链表管理器IBaseFilter *m_pBF; //捕获滤波器 IMediaControl *m_pMC; //媒体控制接口 IVideoWindow *m_pVW; //视频显示窗口接口 IBaseFilter *pMux; //写文件滤波器 protected: bool BindFilter(int deviceId,IBaseFilter **pFilter); //把指定的设备滤波器捆绑到链表中 void ResizeVideoWindow(); //更改视频显示窗口 HRESULT SetupVideoWindow(); //设置视频显示窗口的特性 HRESULT InitCaptureGraphBuilder(); //创建滤波器链表管理器，查询其各种控制接口 }; /*CaptureClass.cpp*/ #include "StdAfx.h" #include "CaptureClass.h" /************************************************************************/ /* 类构造函数实现 */ /************************************************************************/ CCaptureClass::CCaptureClass(void) { CoInitialize(NULL); //COM库初始化 m_hWnd = NULL; //视频显示窗口的句柄
directshow window
DirectShow显示视频： l Video Renderer 过滤器. 该过滤器可用于所有的支持DirectX的平台，它对平台没有其它特殊的要求。可以是它，或GDI来显示视频。它是在WindowsXP之前操作系统的默认视频显示过滤器。 l Video Mixing Renderer Filter 7 (VMR-7). VMR-7可用于WindowsXP操作系统，并且是该系统下的默认视频显示过滤器。与老的视频显示过滤器相比，它具有一些更强大的性能，包括采用插件模式来控制DirectShow显示。 l Video Mixing Renderer Filter 9 (VMR-9). VMR-9是一个更新的视频混合显示过滤器，它采用了Direct3D来显示。它可用于所有的支持DirectX的平台。它不是默认的显示过滤器，因为它与其它的显示过滤器相比，对系统要求更高。 一般来说，在视频显示应用上，VMR-9是首选。因为，它使用了最新的图像API，并且提供了最好的性能。 窗体模式和非窗体模式 DirectShow视频显示可以选择在窗体模式或者非窗体模式下进行。 l 在窗体模式下，视频将创建一个它自己的窗体来显示。 l 在非窗体模式下，视频可以自己在你程序的一个窗口上显示，而不让视频自己区创建窗体来显示。 Video Renderer过滤器只支持窗体模式，VMR-7和VMR-9支持这两种模式。它们默认状态是窗体模式。 设置视频窗口 在窗体模式下，视频将创建一个窗口，然后在该窗口上显示视频。大多数情况下，你可能想要把该窗口绑定到你的应用程序中。通过使用IVideoWindow接口，可以设置视频窗口的类型和位置。 在开始播放前，在过滤器图表管理器中去查找IVideoWindow接口： IVideoWindow *pVidWin = NULL; pGraph->QueryInterface(IID_IVideoWindow, (void **)&g_pVidWin); 调用IVideoWindow::put_Owner方法去处理你应用程序的窗体。该方法提供了一个OAHWND 类型的变量，所以要把句柄转换为该类型： pVidWin->put_Owner((OAHWND)hwnd); 调用IVideoWindow::Put_WindowStyle来改变视频窗体的类型： pVidWin->put_WindowStyle(WS_CHILD | WS_CLIPSIBLINGS); WS_CHILD标志设置视频窗体为一个子窗体，WS_CLIPSIBLINGS标志可以防止视频窗体在另一个子窗体的客户区内显示视频。 调用IVideoWindow::SetWindowPosition方法可以视频窗口的相对于你应用程序的客户区的位置。该方法的参数带了一个RECT参数，用它去指定视频窗口的位置。下例，让视频窗口和它父窗体的客户区想匹配。 RECT grc; GetClientRect(hwnd, &grc); pVidWin->SetWindowPosition(0, 0, grc.right, grc.bottom); 通过在过滤器图表管理器上调用IBaseicVide:GetVideoSize方法可以得到视频本身的尺寸大小。你可以通过这些信息让视频保持正确的纵横比例。 在应用程序退出前，停止图表并重置视频窗口为NULL。否则，窗口消息可能被错误的发送给错误的窗口，从而导致错误发生，
DirectShow开发音视频聊天程序
DirectShow开发音视频聊天程序 当下比较流行的即时通信工具，比如MSN，QQ等都实现了视音频的功能，通过视频，音频，我们可以更好的和朋友通过网络进行沟通，本文通过DirectShow技术模拟QQ实现了视频和音频的采集，传输，基本实现了QQ的视音频聊天的功能。 网络视音频系统主要功能就在于视音频的采集，网络传输两个方面，通过Video Capture系列API函数，你就可以轻松的搞定视频捕捉，但是对于视频的网络传输，则要费一番功夫了。对于视音频数据的传输，只简单地使用数据报套接字传输音视频数据是不可行的，还必须在UDP层上采用RTP（实时传输协议）和RTCP（实时传输控制协议）来改善服务质量。实时传输协议提供具有实时特征的、端到端的数据传输服务。我们在音视频数据前插入包含有载荷标识、序号、时间戳和同步源标识符的RTP包头，然后利用数据报套接字在IP网络上传输RTP包，以此改善连续重放效果和音视频同步。实时传输控制协议RTCP 用于RTP的控制，它最基本的功能是利用发送者报告和接收者报告来推断网络的服务质量，若拥塞状况严重，则改用低速率编码标准或降低数据传输比特率，以减少网络负荷，提供较好的Q.S 保证。 Directshow对于音视频的采集提供了很好的接口，利用ICaptureGraphBuilder2接口可以很轻松的建立起视频捕捉的graph图，通过枚举音频设备Filter，也可以很轻松的实现音频的捕捉，有点麻烦的是音视频数据的传输，我们可以自己封装RTP和RTCP的协议，来自己实现一个filter，用来发送和接收音视频数据，当然了Directshow也提供了一组支持使用RTP协议的网络传输多媒体流的Filters。你也完全可以用Directshow提供的RTP系列的filter 实现数据的传输。 下面分析一下这些RTP Filters。 新定义的Filter包括RTP Source Filter ，RTP Render Filter，RTP Demux Filter，RTP Receive Playload Handler (RPH) filter，RTP Send Payload (SPH) filter，使用这5个filter构建一个通过RTP协议传输音视频数据的Graph是没有问题的。 RTP Source filter被用来从一个单独的RTP会话中接收RTP和RTCP包。这个filter提供一个指定发送给其它主机RTCP接收器报告和指定网络地址和端口接口来接收RTP会话的接口。 RTP Rend filter是用来将数据发到网络上的一个filter，这个filter也提供了和RTP source Filter 类似的接口。 RTP Demux filter用来多路分离来自RTP Source filter的RTP 包，这个filter有一个或者多个输出的pin。这个Filter提供了如何控制多路分离和如何分配到特定输出pin的接口。 RTP RPH Filter 是用来网络过来的RTP包还原成原来的数据格式，主要支持H.261，H.263，Indeo，G.711，G.723和G.729和常见的多种音视频负载类型。 RTP SPH filter则和RPH filter的功能相对，它的任务是将音视频压缩filter输出的数据分解为RTP包，它提供的接口有指定最大生成包大小和pt值。
DirectShow重要接口
DirectShow重要接口 DirectShow 的重要接口 DirectShow采用了COM标准，所以很多重要的功能都是通过COM接口来完成。下面就列举一些重要的DirectShow的接口。 (1) IGraphBuilder接口 用于构造Filter Graph的接口，建立和管理一系列的Filter，过滤和处理源媒体流。 (2) IMediaControl接口 用于控制多媒体流在过滤器图表中的流动，如流的启动和停止。 (3) IMediaEvent接口 用于捕获播放过程中发生的事件，并通知应用程序，如EC_COMPLETE等。 (4) IVideoWindow接口 用于控制视频窗口的属性。 (5) IMeadiaSeeking接口 用于查找媒体的接口，定位流媒体，控制多媒体数据播放提供精确控制。 (6) IBaseFilter接口 从ImediaFilter接口继承，用来定义一个具体的过滤器指针，并对多媒体数据进行处理。 (7) IPin接口 用于管理两个过滤器之间的Pin，从而连接过滤器。 (8) IsampleGrabberCB接口 是Sample Grabber过滤器的一个接口，用于当流媒体数据通过过滤器时进行采样以获得帧图象。 用DirectShow来使用摄像头，一般要求摄像头的驱动是WDM格式的，当然，一些比较老的驱动格式DirectShow也可支持。在DirectShow中，有一个Sample Grabber过滤器，它是一个可以被插入流的过滤器，它有自己的缓冲，存放采样。我们就可以用它来从一个视频文件中简单的扑获一桢。DirectShow通过图形过滤管理器(Filter Graph Manager)来与上层应
DirectShow中常见的RGB
DirectShow中常见的RGB/YUV格式 sclarkca 发表于 2006-6-26 10:28:00 计算机彩色显示器显示色彩的原理与彩色电视机一样，都是采用R（Red）、G（Green）、B（Blue）相加混色的原理：通过发射出三种不同强度的电子束，使屏幕内侧覆盖的红、绿、蓝磷光材料发光而产生色彩。这种色彩的表示方法称为RGB色彩空间表示（它也是多媒体计算机技术中用得最多的一种色彩空间表示方法）。 根据三基色原理，任意一种色光F都可以用不同分量的R、G、B三色相加混合而成。 F = r [ R ] + g [ G ] + b [ B ] 其中，r、g、b分别为三基色参与混合的系数。当三基色分量都为0（最弱）时混合为黑色光；而当三基色分量都为k（最强）时混合为白色光。调整r、g、b三个系数的值，可以混合出介于黑色光和白色光之间的各种各样的色光。 那么YUV又从何而来呢？在现代彩色电视系统中，通常采用三管彩色摄像机或彩色CCD摄像机进行摄像，然后把摄得的彩色图像信号经分色、分别放大校正后得到RGB，再经过矩阵变换电路得到亮度信号Y和两个色差信号R－Y（即U）、B－Y（即V），最后发送端将亮度和色差三个信号分别进行编码，用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量，那么这样表示的图像就是黑白灰度图像。彩色电视采用YUV空间正是为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题，使黑白电视 机也能接收彩色电视信号。 YUV与RGB相互转换的公式如下（RGB取值范围均为0-255）： Y = 0.299R + 0.587G + 0.114B U = -0.147R - 0.289G + 0.436B V = 0.615R - 0.515G - 0.100B R = Y + 1.14V G = Y - 0.39U - 0.58V B = Y + 2.03U 在DirectShow中，常见的RGB格式有RGB1、RGB4、RGB8、RGB565、RGB555、RGB24、RGB32、ARGB32等；常见的YUV格式有YUY 2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411、YUV420等。作为视频媒体类型的辅助说 明类型（Subtype），它们对应的GUID见表2.3。 表2.3 常见的RGB和YUV格式 GUID 格式描述 MEDIASUBTYPE_RGB1 2色，每个像素用1位表示，需要调色板 MEDIASUBTYPE_RGB4 16色，每个像素用4位表示，需要调色板 MEDIASUBTYPE_RGB8 256色，每个像素用8位表示，需要调色板 MEDIASUBTYPE_RGB565 每个像素用16位表示，RGB分量分别使用5位、6位、5位 MEDIASUBTYPE_RGB555 每个像素用16位表示，RGB分量都使用5位（剩下的1位不用） MEDIASUBTYPE_RGB24 每个像素用24位表示，RGB分量各使用8位 MEDIASUBTYPE_RGB32 每个像素用32位表示，RGB分量各使用8位（剩下的8位不用）MEDIASUBTYPE_ARGB32 每个像素用32位表示，RGB分量各使用8位（剩下的8位用于表示Alpha通道值） MEDIASUBTYPE_YUY2 YUY2格式，以4:2:2方式打包