● 摘要
肝脏外科手术中病灶及其周围的组织结构复杂,二维的医疗图像信息不易理解,医生关联和记忆相应信息的负担大,针对这些问题研究实现增强现实肝脏手术辅助原型系统。为方便医生对肝脏病灶情况进行分析,实现了基于CT图像的病人腹腔三维重建;需要标注和记录获得的病灶信息,设计实现了三维模型的表面标注方法,能对虚拟肝脏模型进行标注;手术中需要查看病灶信息,设计实现了一种基于标识的增强现实三维注册算法,将虚拟肝脏模型和标注信息叠加到手术视野中。论文主要工作如下:
(1)实现了基于CT图像的病人腹腔三维重建方法。二维医学图像是获取病人病灶信息的重要手段,每幅图像反应一个切面的情况,因此不能直观地表达病灶的三维形态。实现基于CT图像的病人腹腔三维重建,对CT图像进行预处理,分割出人体区域,使用光线投射算法实现对病人腹腔的三维重建,允许对重建参数的交互式调整。
(2)设计实现了三维模型的表面标注方法。手术前医生对病人的情况进行分析,规划和研讨手术方案,期间需要记录和标注相关信息。设计实现了对虚拟肝脏模型表面的标注方法,给出一种保持朝向相机方向的文字注解方法,给出一种基于GPU异步查询的兴趣点可见性判断方法,给出一种根据手绘路径生成兴趣区域的算法,能够对兴趣点进行文字注解和对兴趣区域进行手绘标注。
(3)设计实现了一种基于标识的增强现实三维注册算法。相机跟踪和三维注册是决定增强现实虚实融合效果的关键。设计实现一种基于标识的三维注册算法,设计了用于相机跟踪和注册的标识图案,给出了视频图像中标识的检测与识别方法和对标识三维姿态进行估计的算法,在iPad上实现了虚拟肝脏模型与手术视野的虚实融合绘制。
基于以上三点研究内容,设计实现了增强现实肝脏手术辅助原型系统。该系统由PC端和移动端组成,两者通过无线网络进行通信,PC端实现了腹腔CT图像处理及其三维重建和对三维模型表面的标注方法;移动端实现了基于标识的增强现实三维注册和虚拟模型与手术视野的虚实融合绘制。对系统进行了功能和性能实验,验证了系统功能的正确性,并对系统性能进行了分析。