现实版头号玩家：科学家突破VR应用瓶颈，实现高精度视觉惯性手部运动跟踪(2)
图 | 自由运动跟踪定量评估的测试设置和结果（来源：该论文）
由于 VIST 跟踪利用了视觉信息和手部参数的自动校准，对手部大小的可变性不敏感。研究人员通过实验观察发现，VIST 算法对遮挡具有良好的鲁棒性，即使可见标记相当少，其平均误差也仅略微增加。
研究人员构建了 8 个日常对象的图像数据集，每个对象有 100 张不同手部姿势的图像，以此来定量评估 VIST 系统在对象交互和佩戴指尖皮肤触觉装置上的应用，从而评估其对严重闭塞、磁干扰和机械接触的鲁棒性。
以往的研究表明，人类无法检测到 VR 中 50 毫米以下的食指尖跟踪误差，而且人类无法基于本体感觉区分 1.7 度以下的食指关节角度误差。
研究发现，该研究设计的 VIST 系统可能允许用户根据真实的手准确地感知渲染的手，且优于一些最先进的基于视觉的算法对于自由运动的跟踪，该 VIST 算法的平均误差仅为 10.69 mm。
图 | 对视觉复杂背景的定性评价（来源：该论文）
研究发现，VIST 系统在使用手钻、便携风扇、耳机壳、CHDs 等含有铁磁材料或内部电流的设备时，不仅可以保持跟踪稳定性，还可以保持其准确性。
图 | 操作工具时跟踪手势（在工厂中，操作一些工具时的手势跟踪是非常具有挑战性的）
VIST 系统在真实场景中具有强稳健性
研究人员在真实场景中对 VIST 系统进行了一些具有挑战性定性测试，在背景中使用彩色物体（杂志、水果和文具）和一幅画（阿尔勒的卧室），在视觉上与手套标记具有相似的颜色/图案。
研究表明，尽管存在视觉上对抗的物体和背景，该系统仍可以稳健地跟踪手部运动。
图｜各种闭塞的定性评估（来源：该论文）
此外，通过 IMU 辅助的对应搜索，可以将标记观察结果与手套上的真实匿名标记进行稳健匹配，同时有效地消除异常值，从而即使在视觉复杂的对象和背景下，也能表现出稳定的跟踪性能。
研究人员还在户外对 VIST系统的性能进行了测试。实验表明，VIST系统可以在户外稳健地跟踪手部运动，而这一点对大多数现有的系统来说是相当困难的。
户外实验不仅验证了 VIST 系统在硬件和算法方面的完全可移植性，也验证了它在户外场景的应用中具有可行性。
图 | VIST 系统户外性能测试
通过定量和定性的评估，研究发现 VIST 系统在具有挑战性的真实世界场景中运行稳健且性能高，尤其是 VIST 架构能够与具有手的大小和形状变化的不同物体进行互动。
VIST 系统规避了基于视觉的系统的基本问题，在处理闭塞、泛化和缓慢的更新中均具有优越性，克服了IMU/compass-可穿戴系统的漂移或磁干扰问题，通过利用视觉信息与解剖学约束相结合，还克服了软传感器可穿戴系统的未建模接触问题。
通过融合视觉和惯性传感器在 TC 融合中的互补性，VIST 系统解决了现有手部跟踪系统的基本约束，这对于正确解决手部跟踪的特殊性至关重要。
研究人员表示，VIST 系统的强大手部跟踪性能可能会促使其获得更广泛的应用，解决现有方法所无法企及的各种现实世界的应用场景，例如医疗康复的日常监测和工具操作技能评估等。
参考资料：
https://www.science.org/doi/10.1126/scirobotics.abe1315
>相关《现实版头号玩家：科学家突破VR应用瓶颈，实现高精度视觉惯性手部运动跟踪(2)》内容：
1、 扎克伯格被评为“年度恶人”：计划用元宇宙将脸书定义为虚拟现实世界的领导者
理财鱼小提示：扎克伯格被评为“年度恶人”：计划用元宇宙将脸书定义为虚拟现实世界的领导者 新闻周刊：马克·扎克伯格因创建“世界上最糟糕的网站”获评“年度恶人” 《新共和》杂志是美国一家自由主义刊物，1914年创刊，以政治、当代文化和艺术评论见长。值得...【继续阅读】
2、 14.98万起售 专为摩托车玩家打造：长城机车炮上市
理财鱼小提示：14.98万起售 专为摩托车玩家打造：长城机车炮上市 12月25日，备受摩托车玩家关注的长城机车炮正式上市， 新车共推出2款车型，汽油四驱8AT为14.98万元、柴油四驱8AT为15.68万元 。 机车炮采用两门两座的车身设计，3470mm的超长轴距带来了2475*1520*...【继续阅读】
3、 “挑刺”取得重大突破，食武昌鱼不用吐刺将成为现实
生活中常有这样的烦恼：鲫鱼好吃，刺太多；鳊鱼肉嫩，易卡喉。近日，华中农业大学水产学院高泽霞教授团队“创制”出了第一代（F0杂合体）少刺鳊鱼、草鱼，有望在不久的将来培育出真正无刺的常见家鱼(F2纯合体)，实现餐桌上吃鱼无忧。 女博士立志让鳊鱼有刺...【继续阅读】