WPF下YUV播放的D3D解决方案

WPF下YUV播放的D3D解决方案
 更新时间：2017年04月11日 14:36:29   作者：yangyy9611  

这篇文章主要介绍了WPF下YUV播放的D3D解决方案,需要的朋友可以参考下

在视频媒体播放，监控系统的构建当中，经常会涉及到YUV数据的显示问题。一般的播放控件以及SDK都是通过使用Window句柄，利用DirectDraw直接在窗口上渲染。但是，如果用户界面是使用WPF开发的时候，通常只能通过WinFormHost在WPF界面中嵌入WinForm来完成。但这么做会遇到AeroSpace的问题，即winform的控件永远浮在WPF的最上层，任何WPF元素都会被盖住，同时缩放和拖动的时候都会造成很差的用户体验。原因是由于WPF和Winform使用了不同的渲染技术。
要在WPF中完美的支持YUV数据的显示，通常的解决方式是使用先把YUV数据转换成WPF可以支持的RGB数据，然后利用类似于WriteableBitmap的控件，把他展现在WPF上。这么做的主要问题是在做RGB转换的时候，需要消耗大量的CPU， 效率比较低。一种优化方式是使用FFMPEG里的SwScale或者Intel的IPP库，这些库经过了一定的优化，可以有限度的使用硬件加速。下面为一个使用WritableBitmap的例子。

WriteableBitmap imageSource = new WriteableBitmap(videoWidth, videoHeight,
DPI_X, DPI_Y, System.Windows.Media.PixelFormats.Bgr32, null);
…
int rgbSize = width * height * 4; // bgr32
IntPtr rgbPtr = Marshal.AllocHGlobal(rgbSize);
YV12ToRgb(yv12Ptr, rgbPtr, width, height);
// 更新图像
imageSource.Lock();
Interop.Memcpy(this.imageSource.BackBuffer, rgbPtr, rgbSize);
imageSource.AddDirtyRect(this.imageSourceRect);
imageSource.Unlock();
Marshal.FreeHGlobal(rgbPtr);

另一种解决方法是使用D3DImage作为WPF与显卡的桥梁。我们可以借助D3DImage，直接将D3D渲染过后的部分送到WPF中显示。一个参考就是VMR9在WPF中的应用。VMR9是微软提供的DirectShow的Render。经过仔细参考了WpfMediaTookit中VMR9相关的代码后，其核心的思想就是在初始化DirectShow构建VMR9渲染器时，让其输出一个D3D9Surface，D3DImage将使用该Surface作为BackBuffer。当有新的视频帧在该Surface渲染完成后，VMR9将发送一个事件通知。收到通知后，D3DImage刷新一下BackBuffer即可。下面代码展现了核心思想部分。

private VideoMixingRenderer9 CreateRenderer() {
var result = new VideoMixingRenderer9();
var cfg = result as IVMRFilterConfig9;
cfg.SetNumberOfStreams(1);
cfg.SetRenderingMode(VMR9Mode.Renderless);
var notify = result as IVMRSurfaceAllocatorNotify9;
var allocator = new Vmr9Allocator();
notify.AdviseSurfaceAllocator(m_userId, allocator);
allocator.AdviseNotify(notify);
// 在构建VMR9 Render时，注册新视频帧渲染完成事件
allocator.NewAllocatorFrame += new Action(allocator_NewAllocatorFrame);
// 注册接收新D3DSurface被创建的事件
allocator.NewAllocatorSurface += new NewAllocatorSurfaceDelegate(allocator_NewAllocatorSurface);
return result;
}
void allocator_NewAllocatorSurface(object sender, IntPtr pSurface)
{
// 为了方便理解，只保留核心部分。省略改写了其他部分
…
// 将pSurface设置为D3DImage的BackBuffer
this.m_d3dImage.Lock();
this.m_d3dImage.SetBackBuffer(D3DResourceType.IDirect3DSurface9, pSurface);
this.m_d3dImage.Unlock();
…
}
void allocator_NewAllocatorFrame()
{
…
// 重绘
this.m_d3dImage.Lock();
this.m_d3dImage.AddDirtyRect(new Int32Rect(0, /* Left */
0, /* Top */
this.m_d3dImage.PixelWidth, /* Width */
this.m_d3dImage.PixelHeight /* Height */));
this.m_d3dImage.Unlock();
…
}

由此，只要是使用DirectShow的视频播放就可以借助VMR9在WPF上完美显示。但很多时候，DirectShow不能解决所有问题。例如在做交互式视频优化处理或是视频叠加的时候， 采用固定滤镜流水线的DirectShow很难满足要求。有的时候还是需要便捷的直接渲染的方式。
由VMR9的例子我们可以看出，产生出一个D3D9Surface并在上面渲染是其中的关键。那么剩下的问题就是如何把YUV数据渲染到D3D9Surface。
D3D没有直接支持YUV图像格式。因此需要我们想办法让D3D能够渲染YUV数据。在用C#改写的过程当中，我突然发现D3D已经提供了更简单的方法帮助我们实现YUV到RGB颜色空间的转换，而且是通过显卡硬件直接支持。效率相当的高。主要原理就是借助D3DDevice的StrentchRectangle方法。

public void StretchRectangle(
Surface sourceSurface,
Rectangle sourceRectangle,
Surface destSurface,
Rectangle destRectangle,
TextureFilter filter
);

StrentchRectangle方法的主要功能是将一个Surface上的某个区域的内容拷贝到另一个Surface的指定区域中。在Copy的过程当中，只要是显卡直接支持的格式，如YV12，YUY2等等， 都会自动的进行D3D PixelFormat的转换！因此，我们只需要创建一个指定好PixelFormat的D3D OffscreenPlainSurface, 把原始数据填充进去，调用StrentchRectangle向目标Surface拷贝，我们就得到了想要的Surface。剩下的事情就交给D3DImage了。下面是例子代码的核心部分

public void Render(IntPtr imgBuffer)
{
lock (this.renderLock)
{
// 将图像数据填充进offscreen surface
this.FillBuffer(imgBuffer);
// 调用StrentchRectangle把原始图像数据Copy到TextureSurface中
this.StretchSurface();
// 执行渲染操作
this.CreateScene();
}
// 通知D3DImage刷新图像
this.InvalidateImage();
}

以上所述是小编给大家介绍的WPF下YUV播放的D3D解决方案，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对华域联盟网站的支持！

您可能感兴趣的文章:解决WPF中空域问题(Airspace issuse)WPF中在摄像头视频上叠加控件的解决方案

wpf
yuv

相关文章
.net中mshtml处理html的方法本文介绍一下，.net中mshtml处理html的方法，需要的朋友可以参考一下 2013-03-03
ASP.NET 主题的简单配置教程主题和css差不多但是他可以提供一些css不能提供的特性，下面为大家介绍下ASP.NET 主题的简单配置，感兴趣的朋友不要错过 2013-12-12
asp.net Hashtable 遍历写法h为Hashtable 2009-02-02
asp.net 源码保存 用程序分页asp.net 源码保存 用程序分页实现代码。 2010-06-06
一句话轻松搞定asp.net分页一句话轻松搞定asp.net分页，内容简单实用，感兴趣的朋友可以参考一下 2016-07-07
asp.net生成高质量缩略图通用函数(c#代码),支持多种生成方式这两天正在研究报表中饼图的绘图方法,文章中的某些做法值得参考. 2008-08-08
.net简单使用Log4net的方法（多个日志配置文件）log4net是.net中常用的一个日志记录工具，下面这篇文章主要给大家介绍了关于.net简单使用Log4net的方法（多个日志配置文件），文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起看看吧 2018-11-11
ASP.NET MVC页面重定向简单介绍这篇文章主要为大家详细介绍了ASP.NET MVC页面重定向的相关资料，具有一定的参考价值，感兴趣的小伙伴们可以参考一下 2017-02-02
ASP.NET MVC5网站开发文章管理架构（七）继上一篇把member的用户部分完成，现在开始做文章管理部分。文章部分根据涉及显示现实文章列表，发布文章，修改和删除文章等功能。最终的实现目标是使用权限来控制用户是否能进行相应操作，管理员权限的会显示全部文章列表和我的文章列表，普通用户只显示我的文章列表。 2015-09-09
基于.Net中的协变与逆变的深入分析本篇文章是对.Net中的协变与逆变进行了详细的分析介绍，需要的朋友参考下 2013-05-05

最新评论