|
IT之家 3 月 1 日讯息ai换脸 刘涛，阿里巴巴商榷团队近日发布了一款名为“EMO（Emote Portrait Alive）”的 AI 框架，该框架堪称不错用于“对口型”，只需要输入东说念主物像片及音频，模子就粗略让像片中的东说念主物启齿说出磋议音频，维持中英韩等语言。
据悉ai换脸 刘涛，EMO 基于英伟达的 Audio2Video 扩散模子打造，堪称使用了跳动 250 小时的专科视频进行纯属，从而获得了磋议 AI 框架。 探花视频IT之家珍惜到，商榷团队共享了几段由 EMO 框架生成的 DEMO 演示片断，并在 ArXiv 上发布了模子的责任旨趣，感兴致的小伙伴也不错看望 GitHub 检察格局。
据先容，该框架责任经过分为两个主要阶段，商榷东说念主员最初应用参考集聚（ReferenceNet）从参考图像和四肢帧中索求特征，之后应用预纯属的音频编码器措置声息并镶嵌，再联结多帧噪声和面部区域掩码来生成视频，该框架还和会了两种珍惜机制和工夫模块，以确保视频中扮装身份的一致性和四肢的当然通顺。 商榷东说念主员征引一系列推行效果，宣称 EMO 不仅粗略产生令东说念主肯定的言语视频，还能生成各式格调的称赞视频，堪称“显赫优于现在的 DreamTalk、Wav2Lip、SadTalker 等竞品”。 告白声明：文内含有的对外跳转伙同（包括不限于超伙同、二维码、口令等体式）ai换脸 刘涛，用于传递更多信息，节俭甄选工夫，效果仅供参考，IT之家所有著述均包含本声明。 |
