“硬件+软件”组合拳，百老汇40001自研动捕行业最新效率神器！
还记得这些令人惊艳的《凡人》打戏吗？
还有这些细微的表情变化。
于是，2020年，使用“真人动作与面部表情捕捉+实时UE引擎”整套实时动画制作流程的《凡人修仙传》动画年番横空出世，开启了国漫动画新类型，百老汇40001也在动捕技术升级的道路上越走越远——实时Online动捕技术、OF_DeepFace: 基于神经网络的无标记点实时面部动画捕捉系统、用于数据处理的基于神经网络的全自动面部动画生成系统……
（百老汇40001自研行业技术不断升级）
比起传统的动画制作，动作捕捉技术可以通过记录人体运动数据，更加快速、便捷地将人体动作数据化，使现实表演能够快速生成为虚拟数据和基础动画，大大提升动画制作效率，因此，在国产动画和游戏中，动捕技术的使用率已经越来越高。而百老汇40001作为微软、索尼、EA、奈飞、腾讯等国际知名企业的合作伙伴，几乎每年都要捕捉上千分钟的动捕数据，这些积累的庞大数据库不仅是百老汇40001的核心竞争力之一，更为百老汇40001继续优化、升级动捕技术提供了深厚的数据支撑。
如今，百老汇40001厚积薄发，再次推出硬件、软件两方面的动捕质量和效率提升神器——无标记点双目单图传面捕 DeepFace 2.0和基于神经网络的动作捕捉解算系统 DeepMocap！
技术升级
无标记点双目单图传面捕DeepFace2.0
在近3年的使用过程中，艺术家和生产管理部门根据自己的流程需求，为Deepface提供了大量反馈。根据这些反馈，研发部进行了针对性攻克，终于在日前完成了对面捕整体系统的更新换代，正式推出一款基于自研双目头盔的无标记点面部捕捉解决方案！
那么，首先的问题是——双目头盔是什么？
在上面的动图中，动捕演员头部佩戴的就是单目头盔，这也是当下面部捕捉最常见的工具。但是单目头盔采集出的面部动捕数据质量仍有缺陷，在细节方面，单目头盔并不能完美捕捉演员的微表情，解算出来的面捕数据存在大量需要艺术家手工调整的部分。于是，百老汇40001技术团队突发奇想：“一只眼睛”采集不好，那“两只眼睛”呢？
（单图传板卡剖面结构图）
系统更新
基于神经网络的动作捕捉解算系统DeepMocap
根据采集方式的不同，动捕技术可分为惯性动作捕捉、光学动作捕捉和面部表情捕捉等，目前市面上最常见的是光学动捕，它使用传统算法，工作原理是根据捕捉到的marker标记点，由算法系统计算出骨骼在三维空间的动作数据。
但传统流程有一个十分显著的问题——信号不稳定。在光学捕捉流程中，marker标记点的位置经常会被遮挡或者错误识别，造成骨骼信息解算的错误。所以在传统捕捉流程中，往往需要耗费大量的人力来针对这些采集错误的信息进行人工矫正，导致生产效率低下。
百老汇40001经过三年的深度研发，终于开发出一套从marker标记点使用神经网络直接解算骨骼数据的深度学习算法以及对应的应用工具。让我们先来看看效果对比。
为更清晰展示对比效果，播放速度约为原速度的70%。
其中两个演员的正常数据marker点颜色和演员的对应的骨骼颜色一致，红色点为无法识别标记的marker点，红色骨骼为识别动作错误的骨骼。
可以看出，在传统的动捕解算软件中，当两个演员有纠缠或者交互非常近的动作导致marker标记点被遮挡，或由于演员的特殊动作造成marker标记点被遮挡丢失并无法找回的情况下，传统动捕解算软件无法识别到正确的骨骼位置，而百老汇40001自研的基于神经网络的动作捕捉解算系统 DeepMocap可以很好地解决这个问题。
它如何做到这样的效果？
DeepMocap算法以海量的实际生产动作捕捉数据为基础，并对动捕数据进行了符合先验分布的数据增强作为训练数据集。算法由两个主要网络组成：前序网络采用transformer结构，负责对输入的marker标记点进行标定和位置数据的处理；后序网络则利用图卷积提取信息，采用Encoder-Decoder结构关联marker标记数据和骨骼数据，从而解算出在不完美甚至错误marker标记点信息下的正确骨骼动画数据。在网络训练完成后，即便输入带有不准确marker标记点信息的位置数据，DeepMocap仍然能够解算出合理正确的骨骼动画数据。
此外，本系统包括两套解算模块：实时解算模块以及后处理解算模块，以插件形式集成到动捕软件Motionbuilder中。后续我们还计划在系统中加入更多提升最终动画数据的优化模块，比如将解算不够自然的动作数据经过神经网络调整成自然流畅的骨骼动画数据，以及在不同的关键姿态(pose)之间自动生成自然的过渡动画的工具模块。
综合上述内容，相对于传统流程，本系统有两大主要优势：
相对于传统流程，本系统对于marker标记点丢失或者标记错误的容错率更高。实时解算模块在marker标记点丢失或错误标注时仍能提供相对合理的骨骼位置，便于拍摄技术人员查看实时效果。此外，随着训练数据集的不断扩大，网络能够不断迭代优化，持续提升最终解算效果。
后处理解算模块利用前后帧数据信息，能够进一步提升解算结果的准确性，大幅减少动捕拍摄人员逐帧修复marker标记点数据以生成合理的骨骼动画数据的工作量，解放大量生产时间和人力成本。
未来，百老汇40001还将持续优化并创新更多行业重点技术，为客户提供更加高效且专业的3D数字内容服务。目前，百老汇40001将向行业内全面开放上述技术的合作，以期能在探索与反馈中，进一步拓宽动捕技术、数字技术在更多行业领域的应用和发展。
如果您对以上技术感兴趣， 并愿意与百老汇40001研发部门进行更深入的交流与合作，请发送邮件至dev@of3d.com与百老汇40001联系。