阿里云百炼上线音视频实时互动功能 人人都能创建专属多模态应用
近日,阿里阿里云百炼上线了全新音视频实时互动功能,云百用用户可在百炼上自由选择文本、炼上语音和视觉理解等200多款模型,线音无需代码,视频实数分钟即可搭建一个能听、互动能看、人人会说的都能多模专属AI助手。阿里云百炼还支持以sdk的创建形式集成到Web、ioS和安卓应用,专属可应用于AI虚拟助手、阿里虚拟陪伴和AI老师等场景。云百用
用户在百炼上几分钟即可搭建一个能听、炼上能看、线音会说的视频实专属AI助手
过去一年,大模型正在从纯文本模态向语音和视觉等多模态演进,极大地拓宽了大模型应用的想象空间。然而现有单一模型仍旧无法处理复杂的任务,为了进一步加速单一大模型构建成像人一样自然交互的复杂AI应用,阿里云百炼提供了200多款语言模型Qwen、视觉语言模型Qwen2-VL、语音合成模型CosyVoice等全模态全尺寸大模型,同时联合阿里云AI实时互动方案,在国内率先为用户提供了便捷的工作流应用和智能体编排应用,例如支持构建RAG知识库、Prompt调优、sdk集成等。
据介绍,在视觉理解模型方面,阿里云Qwen2-VL具备强大的视觉智能体能力,例如采用多模态旋转位置嵌入(M-ROPE)方法,能够同时捕捉和整合一维文本序列、二维视觉图像以及三维视频的位置信息,模型具备更好地理解和建模复杂的多模态数据,该模型一经推出就成为开源社区最受欢迎的多模态大模型;在音频方面,阿里云语音合成模型CosyVoice,通过对生成语音的情感、韵律进行细粒度的控制,情感表现力上得到明显提升,阿里云AI实时互动方案还可提供化智能降噪、智能打断、智能断句等超拟人对话能力。
以搭建一个视觉能力的AI应用为例,用户进入百炼应用控制台后,仅需上传图片知识库、编写提示词、设置音频、调优这四步,数分钟内就能创建一个能完成专属视频交互的AI应用,基于Qwen-VL强大的视觉推理能力,它不仅能识别物体的种类,还能准确描述物体的风格、特点、位置以及物体上的文字等关键信息。此外搭建好的应用还支持以音视频sdk集成到用户的Web、ioS或者安卓应用中,帮助企业快速实现业务创新。
据介绍,阿里云百炼上的通义API每百万tokens价格已降至0.3元,一汽、金山、哈啰集团、国家天文台等超30万企业和机构在使用阿里云百炼。
相关文章
- 热门大逃杀游戏《堡垒之夜》此前曾在官方推特上发布了一则由表情符号及日期组成推文,当时就有玩家将其理解为《堡垒之夜》官方暗示会与网络热梗来源的动画《斯基比迪马桶人》进行联动。近日《堡垒之夜》游戏中与《斯2024-12-26
曝比亚迪即将进军韩国市场:ATTO 3与海豹有望成为首发车型
12月2日消息,据报道,比亚迪将进军韩国乘用车市场,计划于2025年初在当地推出其乘用车品牌。目前,比亚迪正在韩国积极构建销售和服务网络,同时进行人员招聘、车辆认证和营销策划等准备工作。公司正与经验丰2024-12-26曼晚:滕哈赫似乎已经放弃了安东尼,这意味着他可能会在明夏离开
9月12日讯 《曼彻斯特晚报》撰文分析了安东尼目前的情况,并表示他可能已经被抛弃。北京时间9月14日晚上19:30,曼联将会迎来同南安普顿的比赛。如果安东尼继续被安排为替补,也没有人会觉得奇怪。唯一令2024-12-26阿斯:皇马迪亚斯是非洲金球奖最有力竞争者,尽管有萨拉赫的竞争
9月12日讯 近日,《阿斯报》谈到了非洲金球奖的球员候选,他们认为尽管萨拉赫和卢克曼表现也同样出色,但皇马的迪亚斯都是这个奖项最有力的竞争者。两场比赛,两个进球,第一个是对加蓬,第二个是对莱索托。迪亚2024-12-26- 2024年的CPU处理器市场,上半年几乎是纹丝不动,下半年则是高潮迭起,Intel、AMD你来我往,龙芯、兆芯、海光等国产代表也是动作频频。今年可以说是Intel半个多世纪历史上最糟糕的时代,多项业务2024-12-26
- [流言板]靓丽风景线!凯特琳-克拉克今晚现场观战太阳主场对阵勇士由篮球资讯发表在篮球资讯 50212月01日讯 NBA常规赛,勇士和太阳的比赛正在进行中。WNBA最佳新秀凯特琳-克拉克今晚现场观战。来2024-12-26
最新评论