高斯泼溅点云技术的应用领域介绍
在数字化浪潮中 ,高斯泼溅(3DGS)点云建模技术作为三维场景复刻的核心引擎 ,正推动着建筑3D数字化建档 、
文物3D数字化建档 、3D动作捕捉 、工业制造逆向工程等领域的革新,还应用于特斯拉汽车的自动驾驶的空间物
体的位置信息探测。
通过激光扫描仪、激光雷达或高清相机采集的海量高斯泼溅点云数据,能够以小空间亚毫米到超大空间厘米级精度
还原物理世界的 3D 细节特征。
高斯泼溅点云技术优势
精确信息: 每个高斯泼溅点云不仅能包含颜色和 3D 位置信息,还能记录比例、旋转及透明度等属性 。具有高精度
和高稳定性。更高的保真度: 海量的高斯泼溅点云组合在一起 ,可以创建出更加细致且真实的 3D 立体信息。实时
渲染: 借助AI算法高斯泼溅/点云能够快速实现实时渲染无需重型图形硬件支持。
应用场景一 :建筑物和街道河流等数字化3D建模应用案例
北京城市地理信息的3D数字化建模项目 :未来城市管理者可以在电脑上任意观看全市重要地理空间的数字化 3D“ 实景”
下图是 XX会议中心的数字化3D建模案例。用大型 3D 激光扫描仪对XX会议中心进行多角度的扫描 ,获得的XX会议中心
建筑物外轮廓高斯泼溅点云 。
.png)
第一步采集高斯点云位置数据
.png)
第二步,高斯泼溅纹理色彩的处理中
这一技术十几年前还应用于故宫3D数字化建模项目,实现了通过电脑屏幕,就可以进入虚拟的数字故宫虚拟世界,
可以从不同位置 、不同角度,看到故宫的外观和建筑的内部结构和建筑技法的细节,还能看到栩栩如生的大量
数字化建模和渲染后的立体的文物。
.png)
这项技术2025年起开始用于塔尔寺古建筑文物文化遗产保护项目的3D数字化建档, 因其精度高的特点还广泛用于大型工业
设施的形变监测等场景。 上图:完成高斯泼溅点云肌理色彩处理后的古门楼的3D数字模型。
应用场景二 :工业领域的产品仿制(逆向工程)应用
在工业和艺术品领域涉及大量的产品仿制, 比如结构复杂的机械零部件、外形有多种曲率弧线和复杂雕刻的家具、
表面有复杂图案和结构及色彩的艺术的品仿制等等,普遍采用的是激光扫描方式,快速获取被仿制品的高斯泼溅/点云
文件,再把把高斯泼溅/点云文件导入机械设计等软件,很快就能得到数据精准的加工图纸,很容易地加工出和被仿制品
结构尺寸形状一样的产品
.png)
上图 :用手持激光三维扫描仪对某大型装置的结构外形,进行环绕连续扫描,快速获得仿制件的整体结构高斯点云。
需要说明的是,高斯泼溅/点云的扫描数据精度是一个变量,扫描物体越大精度级别相应衰减。随扫描物体的不同大小
变化 ,一般1 立方米空间最高可以到亚毫米级 0.01mm ,如果是逆向仿制一个硬币大小的物体,可以达到5微米的精度。
离开空间大小这个前提条件宣称系统是亚毫米精度是偷梁换柱的伪命题。
应用场景三 :工业测量
辐射形 DLT 三维标定框架是动作捕捉系统必备的三维空间校准设备之一,其精度的高低 ,
决定了整套动作捕捉系统的最高精度。
激光扫描点云技术技术2007年开始用于辐射式标定框架的数据标定 。 目前已经完成了百台辐射式标定框架
数据标定服务。图片显示是工作现场。3D 激光扫描仪扫描捕捉到所有标定球的轮廓点云, 10 米内距离点云
精度是 (近处0.3-远处0.6毫米)。整个三维框架的标定精度在 1 毫米内。
经过激光点云扫描标定的辐射式三维框架,服务了国内外众多体育科研,康复,工程仿生项目动作捕捉项目。
.png)
(上图 左下角的这台激光扫描仪还被科技部北京冬奥科技服务子课题的 U 型槽比赛场地的数字化建模选用。
因本三维标定框架的高精度特性,2020年疫情期间被航天科技集团中国运载火箭研究院选用,参与研制太空
撒网捕捉回收报废卫星或太空垃圾项目的动作捕捉实验:研制过程具体用于观察捕捉网被喷射出去后, 捕捉网
不同关键点在喷射出去张开后的形态变化及运动学轨迹特征和工作稳定性。本项目已解密,见诸于媒体公开报道)。
应用场景四: 自动驾驶系统空间信息感知
下图是特斯拉汽车应用案例:基于高清摄像头或激光雷达生成的路况点云图像,车辆可以准确地得到车周围的
空间结构和周边物体的形态信息和精准的空间位置,实时完成对车辆周边空间物体的三维实时简易建模和动态感知。
.png)
应用场景五 :动作捕捉系统
利用高斯点云原理的动作捕捉技术,是先精准获得视觉图像内的人体轮廓上的所有高斯点云的XYZ空间位置,
然后通过结构化人体(或其他动物等)数字模型约束,计算出人体或动物关节中心点位置, 稳定性和精准度
明显高于免费开源模型通过深度学习 、 辅助人工标记关节点训练 、 图像模糊识别匹配出来的人体动作的技术 。
下图:所有淡绿色线条就是镜头内所有物体的外轮廓的点云构成的线条,是系统在架设完摄像机后的图像调节阶段,
系统实时捕获到的。绿色线条还有助于精准调节镜头的焦距焦点,提高图像清晰度。
.png)
基于高斯点云法的高精度的动作捕捉系统 ,可以获取四肢轴向的转动信息 。并且可以在放大的模拟
骨骼棍图里边看到每个关节的的坐标信息,这一功能对于六自由度深度分析提供了精细数据信息 。
.png)
(四肢轴向的转动信息在免费开源的无标记点动作捕捉系统里是无法实现的 ,只有贴红外反光标记点的
动作捕捉系统才能实现,这一功能对于医学康复和实验动物步态的精细分析提供了可能)
下图是攀岩高斯点云动作捕捉案例,所有密密麻麻黄色的点就是系统自动获取的运动员体表的高斯泼溅点云 。
系统自动获取了人全身外表的大量空间高斯泼溅点云信息 。采集全身体表高斯点云信息适用于数字人的制作功能 。
上图是其中2个角度摄像机的点云图像案例。与数字人动画制作等应用不同,体育科研和临床康复、
实验动物步态分析的动作捕捉应用,只需要系统提取全身和各个关节外轮廓的动态高斯点云、计算
并使用关节中心点的空间动态坐标信息。依此得到人体的 3D骨骼 数字模型即可(数据处理速度更快,
达到毫米级),然后可以实时得到全身或局部骨骼运动轨迹、每个关节点轨迹的速度和加速度信息、
各个关节的角度角速度等等信息。
高斯泼溅点云动作捕捉技术特点
通用性好 :高斯泼溅点云技术用于动作捕捉领域,除了高精度外的另一个优点是直接用于任何行业应用场景,
直接捕捉任何动作:不同体育和康复及实验动物的步态分析应用的出现各种不同动作都可以直接完成动作捕捉。
鲁棒性好:适应高难度,对于多人和二人背 、拥抱等复杂遮挡动作也可以准确识别捕捉每个的动作。
而市面上流行的 AI 免费开源动作模型技术,它必须对每个项目专有动作视频逐一进行大量的深度学习,标记训练软件识别
这个专有动作的关节点 。对于蜷身 、二人拥抱,背人等动作很难识别。
AI 无标记点动作捕捉技术 ,分为娱乐级和科研级 2 个层面 。免费开源动作模型很容易实现娱乐级的动作捕捉效果 。
目前国内至少上百家单位都已经实现不同场景应用,动作捕捉效果非常炫,后期数据报告做的也很好。宣传材料里都是
冠以高精度动作捕捉技术,但是完全不能证明其精度是什么情况。
区分娱乐级和科研级精度的有效办法是看是否有与传统金标准标记点捕捉技术对比的,在国际权威杂志上发表的科研文章。
总结
高斯泼溅点云技术, 因其高精度的优势,在欧州很早就被广泛用于无标记点动作捕捉 。 已经拥有众多国际知名用户。
2024 年秋这项技术被国内引进,实现了本土集成制造 。可以近距离地服务于国内体育和临床康复步态评定,医学动物实验 、
动画制作 、虚拟现实元宇宙等不同行业客户, 同时有助于不同应用的二次开发。
目前高斯泼溅点云动作捕捉技术在国内影视动画制作领域有了一定知名度 。体育科研和训练大数据监控领域的应用也在
逐步开展,初步取得了良好的效果。
在运动员老人儿童的运动能力评价, 医学康复领域人体姿态评估和运动处方应用 、实验动物步态分析的工作即将展开,
可以为国内相关领域的专家学者提供全新的技术体验和服务。
关于动作捕捉系统精度
无论采用哪种动作捕捉技术,其空间校准装置和校准操作的质量,校准范围的大小与被捕捉物体的运动空间的匹配如何 ,
拍摄画面质量 ,诸多因素都影响着最后捕捉数据精度。
作为动作捕捉金标准的红外标记点动作捕捉技术,很多厂家声称能达到亚毫米的捕捉精度是一个伪命题, 它回避了是什么
条件下能够达到亚毫米级的问题 。
影响精度高低和稳定性的因素还有如下几点:
1,拍摄空间空间大小。精度岁空间变大而衰减
2,每次人工贴反光点的位置很容易漂移几毫米。
3,动作过程反光球是在人骨关节外皮肤上滑动漂移的,不是固定扎进骨头里的 。
这至少会产生几毫米甚至厘米级的的位置漂移 。
4,穿反光球黑紧身衣也有同样的问题 。每次脱穿过程,标记点不一定能回到上次的位置。
5,对于免费开源动作捕捉技术来说, 因其需要一帧一帧大量人工标记训练软件识别关节点,然后建立图像记忆识别的,
缺乏刚性约束的技术原理也限制了它的精度。
6,对于无标记点动作捕捉系统 ,穿宽松衣服状态下的捕捉精度就低于穿紧身衣和四肢裸露状态下的精度。
结 论
对于娱乐场景的应用 ,精度问题不存在,然而在科研级的应用场景 上述问题就很关键。