多媒体处理

AI行业应用, 多媒体处理

StreamVC: 实时低延迟语音转换

StreamVC 即使在移动平台上也能以低延迟从输入信号生成结果波形,使其适用于呼叫和视频会议等实时通信场景,并解决这些场景中的语音匿名等用例。
谷歌的设计利用 SoundStream 神经音频编解码器的架构和训练策略来实现轻量级高质量语音合成。
谷歌证明了因果学习软语音单元的可行性,以及提供白化基频信息以提高音调稳定性而不泄漏源音色信息的有效性。

AI行业应用, 多媒体处理

这家人工智能公司希望彻底改变将对话重新配音成不同语言的方式

Flawless 是一家人工智能驱动的电影制作工作室,希望您在观看热门节目的同时还能在晚上安然入睡(不会出现不匹配的嘴巴动作和残酷的场景剪辑)。 Flawless 的专有技术 TrueSync 于 2018 年由多才多艺的导演斯科特·曼 (Scott Mann) 和尼克·莱恩斯 (Nick Lynes) 创立,它可以在演员的脸部上进行映射,并提供我们在人工智能狂野西部见过的最令人印象深刻的翻译。

AI行业应用, 多媒体处理

Kyutai 发布全新的开源 AI语音助手 Moshi

法国独立非盈利AI研究实验室Kyutai推出了具备70种情绪的语音助手Moshi,被视为GPT-4的新挑战者。此次在巴黎的演示显示,Moshi不仅具备多模态交互能力,还能实时生成具有情绪变化的语音,开创性地实现了语音AI的全新应用。

AI项目, 多媒体处理

Odyssey:提供影视级别的 AI 视频生成和编辑工具

高质量几何生成:生成精细的三维几何形状,用于构建逼真的场景和物体。
写实材质生成:创建高度真实的材质,使得生成的物体看起来更加生动和自然。
惊艳的光照效果:生成和控制光照效果,增强场景的视觉冲击力和氛围。
可控的运动生成:创建和调整动画和运动效果,使得场景和角色更加动态和逼真。

AI项目, 多媒体处理, 开源项目

根据单张图像和音频输入生成唱歌和说话视频

和EMO相比,该项目已开源😄
它能够通过输入语音,生成对应的人物嘴唇同步、表情变化和姿态变化的动画。
提高了语音与生成动画之间的对齐精度,使动画的嘴唇、表情和姿态与语音更匹配。

提供对角色表情、姿态和嘴唇运动的精确控制。
支持多种表情和姿态的自适应控制,增强动画的多样性和真实性。

AI行业应用, AI项目, 多媒体处理

苹果发布的Translation API

苹果新出的翻译 API,不需要联网,完全使用本机大语言模型。

使用翻译框架提供应用内翻译。您可以使用内置 UI,让系统代表您向用户提供翻译。或者您可以使用该框架来定制翻译体验。

要提供内置系统翻译体验,请将视图修饰符锚定到包含要翻译的文本的 SwiftUI 视图。当您希望显示内置系统翻译 UI 时,将 isPresented 设置为 true。将要翻译的文本传递给 text 参数。

Scroll to Top