【翻译】Kinect v2程序设计(C++) Depth编

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

Kinect SDK v2预览版，取得Depth数据的方法说明。

上一节，介绍了通过使用Kinect for Windows SDK v2预览版（以下简称为，Kinect SDK v2预览版）从Kinect for Windows v2开发者预览版（后面称，Kinect v2 预览版）取得Color的方法。

这一节，介绍的是从Kinect取得Depth数据的方法。

Depth传感器

Kinect搭载Depth传感器，可以取得Depth数据（和传感器的距离信息）。

Kinect v1，可以读取投射的红外线pattern，从pattern的变形获取Depth的信息，搭载了「Light Coding」方式的Depth传感器。

Kinect v2预览版，通过从投射的红外线脉冲反射回来的时间来获得Depth的信息，变更为「Time of Flight(ToF)」方式的Depth传感器。

「Light Coding」是以色列PrimeSense公司的Depth传感技术。详细请参照专利信息，美国申请专利公开（US 2010/0118123 A1）- Depth Mapping using Projected Patterns。

「Time of Flight(ToF)」是美国微软公司收购的拥有Time of Flight(ToF)方式的Depth传感技术的公司（3DV Systems公司，Canesta公司），一般认为使用的是这个技术。

Depth数据的分辨率，Kinect v1是320×240，不过，Kinect v2预览版提升为512×424。另外，深度方向的分辨率也提高了。

可以取得Depth的数据范围，Kinect v1是0.8～4.0[m]的范围， Kinect v2预览版可以取得0.5～4.5[m]的范围。

上面说的是Default Mode的Depth数据范围。Kinect v1提供了取得近距离的Depth数据的Near Mode（0.4～3.0[m]）和取得远距离Depth数据的Extended Depth（～约10.0[m]）。但是，偏离Default Mode的范围的Depth数据的精度会下降。

这节，介绍从Depth传感器取得Depth数据的方法。

图1「Light Coding」方式和「Time of Flight(ToF)」方式的差异（Depth传感器的工作原理的图像）

示例程序

Kinect SDK v2预览版取得Depth数据，可视化展示的示例程序。上一节的介绍的数据取得阶段的摘录解说。这个示例程序的全部内容，在下面的github里全部公开了。

https://github.com/UnaNancyOwen/Kinect2Sample

图2 Kinect SDK v2预览版的数据取得流程(重发)

「Sensor」

取得「Sensor」

// Sensor
IKinectSensor* pSensor; ……
HRESULT hResult = S_OK;
hResult = GetDefaultKinectSensor( &pSensor ); ……
if( FAILED( hResult ) ){
std::cerr << "Error : GetDefaultKinectSensor" << std::endl;
return -;
}
hResult = pSensor->Open(); ……
if( FAILED( hResult ) ){
std::cerr << "Error : IKinectSensor::Open()" << std::endl;
return -;
}

列表1.1 相当于图1「Sensor」的部分(重发)

1 处理Kinect v2预览版的Sensor接口。

2 取得默认的Sensor。

3 打开Sensor。

「Source」

从「Sensor」取得「Source」。

// Source
IDepthFrameSource* pDepthSource; ……
hResult = pSensor->get_DepthFrameSource( &pDepthSource ); ……
if( FAILED( hResult ) ){
std::cerr << "Error : IKinectSensor::get_DepthFrameSource()" << std::endl;
return -;
}

列表1.2 相当于图1「Source」的部分

1 取得Depth Frame的Source接口。

2 从Sensor取得Source。

Kinect SDK v1，要取得Depth数据主要是利用可以同时取得的Depth和Player(人体区域)的「Stream」。因此，必须要有Depth数据和Player数据的分割处理。（注：Kinect SDK v1提供2种方式来处理Depth和Player Index，老的方法返回一组USHORT，通过位移分离两者；新的方法返回各为2个USHORT的结构）

Kinect SDK v2预览版，Depth和BodyIndex（相当于Kinect SDK v1的Player）分别作为「Source」取得，关于BodyIndex在下一节介绍。

Kinect SDK v1也准备了取得Depth的「Stream」，因为获取Player和Skeleton(人体姿势)数据的情况也很多，主要可以同时取得Depth和Player的「Stream」。

「Reader」

「Source」从打开「Reader」。

// Reader
IDepthFrameReader* pDepthReader; ……
hResult = pDepthSource->OpenReader( &pDepthReader ); ……
if( FAILED( hResult ) ){
std::cerr << "Error : IDepthFrameSource::OpenReader()" << std::endl;
return -;
}

列表1.3 相当于图1「Reader」的部分

1 取得Depth Frame的Reader接口。

2 从Source打开Reader。

「Frame」～「Data」

从「Reader」取得最新的「Frame」。

int width = ; ……
int height = ; ……
unsigned int bufferSize = width * height * sizeof( unsigned short ); ……
cv::Mat bufferMat( height， width， CV_16SC1 ); ……
cv::Mat depthMat( height， width， CV_8UC1 ); ……
cv::namedWindow( "Depth" );
while( ){
// Frame
IDepthFrame* pDepthFrame = nullptr; ……
hResult = pDepthReader->AcquireLatestFrame( &pDepthFrame ); ……
if( SUCCEEDED( hResult ) ){
hResult = pDepthFrame->AccessUnderlyingBuffer( &bufferSize， reinterpret_cast<UINT16**>( &bufferMat.data ) ); ……
if( SUCCEEDED( hResult ) ){
bufferMat.convertTo( depthMat， CV_8U， -255.0f / 4500.0f， 255.0f ); ……
}
}
SafeRelease( pDepthFrame );
// Show Window
cv::imshow( "Depth"， depthMat );
if( cv::waitKey( ) == VK_ESCAPE ){
break;
}
}