基于rgb相机识别如何实现空间ar跟踪

XREAL MR Apps
,
1

基于NRSDK1.6版本，我们开发了一个基于中间RGB摄像头图像识别空间AR场景的玩法，需要根据RGB图像获取空间定位位姿并转换到Nreal眼镜的空间AR场景中持续跟踪，根据文档描述有这边几点疑问https://nrealsdkdoc.readthedocs.io/en/latest/Docs/Unity_EN/Develop/NRSDK%20Coordinate%20System%20for%20Plugins.html#glass-components-and-coordinate-systems
1、release版本是否可以直接取到左右灰度摄像头的图像
2、未接口找到可以直接取到RGB摄像头的R、T矩阵的接口，只能取到head和left_display,right_display的R、T矩阵，因此我们基于NRFrame.EyePoseFromHead获取到外参，display->head->RGB的方式进行矩阵转换实现了空间AR识别效果，效果上基本可见对齐，但水平方向上略有倾斜1～2度，请问这种换算方式是否合理或者哪里可能还存在误差

2

你好，官网上的release版本也是拿不到灰度摄像头数据的。
你说的 “RGB摄像头的R、T矩阵” 是指什么？ NRFrame.EyePoseFromHead 这个接口可以分别获得left_display,right_display,rgbcamera 和head之间的外参，你需要使用不同的参数，好像是0，1，2吧。

3

你说的 “RGB摄像头的R、T矩阵” 是指什么？答：通过Pose headpose = NRFrame.HeadPose获得head头部的pose的RT矩阵，RGB摄像头没有没有类似的接口直接获得pose，只能通过headpose与head与RGB的外参矩阵，才能获得RGB上的pose矩阵吧

4

对，是这样的， rgbcamera 没有直接获得pose的接口。