「雷峰网(公众号:雷峰网)」在刚刚结束的商汤堪称「AI 界春晚」的世界机器智能大会(WAIC 2024)上,「中国版GPT-4o」亮相,大模它是互普何和高校门事件合集来自商汤科技发布的“日日新5o”——国内首个「流式交互」多模态大模型。
在商汤的通人演示下,日日新5o拥有像人一样的过天实时视觉能力,可以跟人进行流畅的商汤影片交互——能听、能说、大模能看、互普何和无延时,通人它可以通过摄像头+语音实现和客户的过天实时交互,并获知客户所在的商汤真实场景下的各种状态信息,打破了与AI交互的大模次元壁,实现了与AI的互普何和“影片通话”,已经具备真人聊天般的通人交互体验。
两个月前OpenAI推出了GPT-4o,过天以突破性的智能交互能力,彻底颠覆了我们对AI语音助手的认知,颠覆了过去的人机交互,给业界带来又一次震撼。
震撼之外,中国大模型界对GPT-4o的高校门事件合集认知似乎并不如GPT-4那么统一,有人认为「在实现AGI的路上,GPT-4o并不关键」、有人评价「在工艺突破上,GPT-4o没那么惊艳」;有人认为GPT-4o的发布是 AI 2.0 时代的标志性事件,会催生全新的应用平台和商业模式。
带来的共识是,多模态可能引领新的交互模式和产物创新,多模态大模型开始成为国内大模型竞争的下一个焦点。
然而,在国内GPT-4o似乎并未成为引领多模态竞争的产物形态时,两个月后商汤率先推出了「中国版GPT-4o」日日新5o大模型,商汤用行动力证明了对GPT-4o的判断。
正如商汤 CEO 徐立在WAIC 2024上所讲的:「行业要变化,交互模式一定是先行的」,解释了商汤为什么要做「中国版GPT-4o」,首创流式交互大模型。
如果你拥有一个能看(现实世界)、能听(读懂指令)、能说(回答问题)的贴身 AI 助手,将会是一种什么体验?
这位贴身助手,拥有丰富的多领域知识,包括生活、学习、工作各方面的知识,关键还能看懂现实世界——摄像头就是它获取现实世界影像的眼睛,而视觉触及到的信息,它能立马进行分析、总结,通过实时对话,像面对面聊天一样,立即告诉你问题的答案,没有延迟和拒绝。
早上起来,准备出门,你想知道现在外面的天气应该做哪些准备,日日新5o可以准确地描述出外面的天气状况,并给出外出准备的建议:
走到一处很美的地方,你想拍照,但是不知道用什么姿势拍出来好看,日日新5o开始充当一个摄影助手,它会指导你如何根据当前景色摆姿势动作、注意光线等等技巧:
晚饭是一顿烧烤,大家一起搭起炭火炉、燃起炭火准备烧烤,日日新5o能准确地知道影片里的人们正在干嘛,而且还能告诉详细的户外烧烤注意事项:
你想知道每种食材分别要如何烧烤才好吃,此时日日新5o化身为一名拥有多年烹饪经验的烧烤大师,它能分辨出每种食材、要如何烤:
回到酒店,你看到一袋咖啡,询问日日新5o后它能识别出这是咖啡粉而不是速溶咖啡,并告诉你咖啡粉对应的冲泡步骤,宛如一个咖啡师:
日日新5o不仅拥有大量、多领域的生活方面的知识,在日常生活场景中分别充当了发型助手、摄影师、烧烤大师、咖啡师……在职场工作环境中,也是一把好手,比如能迅速地总结出这本书该页讲了什么知识。比人的反应、分析、总结速度快多了:
面对一张手写的字条或诗句,它也能立马回答出它的意思和出处:
还能根据前三个字,准确预测出整个成语是什么:
从以上可以看到,日日新5o具备非常丰富的多领域知识,相比其他AI助手,它能看、能听、能读,首创的实时流式交互方式,使其具备真人般的交流对话;能精准地分析、辨别、总结出所「看到」的环境信息,在我们的生活、学习、工作中可以扮演多种助手角色,完全可以充当一款 AI 全能助手。
日日新5o能作为一款表现出色的 AI 全能助手,除了展示出了它对标GPT-4o的各种能力:能看到那个现实世界,包括人、物、文字等符号;能听懂客户的话语,并根据其中的指令对现实世界进行识别,再反馈给客户;能看书识字,概括总结所讲的内容……
最大的变革就是交互模式的变化:国内首个流式交互多模态大模型。商汤将流式交互融入到大模型中,给客户带来真人般的交流体验,让日日新5o系统更像人。
我们知道,在机器智能增长中,ChatGPT之所一炮而红,便是因为它开始展露出人类所具备的自主学习、分析、总结能力以及逻辑能力,而让大模型像人一样交流,正如引言所说,交互模式先行似乎并不是业界共识。
而商汤的日日新5o的发布,正是符合商汤对AI 2.0时代的判断,正如CEO徐立所说:行业要变化,交互模式一定是先行的。
在徐立看来,变化是指能定义AI 2.0时代的「超级时刻」,正如iPhone时刻定义了移动互联网的变化。而超级时刻需要一个超级应用,即便是像ChatGPT、Sora都还没有到超级时刻,是因为它们没有真正走进到一个行业的垂直应用中、引起广泛变化。
走向应用,商汤认为需要有几个核心的重点突破:
第一个就是实时的交互性能带来流畅的客户体验,这是推动超级时刻以及应用爆发的一个核心。
第二是构建高阶思维逻辑的合成信息,来提升模型的智力。
最后,不管是文本、图像、影片,如果对它没有可控性,那么它们作为一个工具,本身带来的效能提升就非常有限。
大模型本质上是做记忆的事情,记住世界的知识,就能回答的更准确,在徐立看来,它仅有的一点智力来自于对知识背后的高阶的思维逻辑的记忆,所以,在垂直行业里面怎么构造高阶思维逻辑的合成信息,往往是制胜的关键,并且是差异化的关键,也是中国机器智能之路的关键。
商汤最新发布的日日新5.5基座模型,便用了大量的合成、高阶思维链的信息,把模型能力平均提升了30%。
商汤CEO徐立认为,如果要推动机器智能超级时刻的到来,需要大模型可以展现出卓越的深度思考的能力。那么合成的人工信息,特别是高阶思维的信息往往是非常关键的。所以越是有应用的场景,才能形成更好的高质量的信息的一些核心。
过去垂直领域是依赖人去构建更加高级的思维链信息,但是商汤认为,往前一步,不应该依赖人,而是应该通过跟真实世界的交互形成执行信息,去做推理。
因此,基于基座模型日日新5.5,商汤研发了日日新5o流式交互多模态大模型,在摄像头不停地移动过程中、跟真实世界互动获取更多新的信息,去进行推理、再得出反馈。
日日新5o的各种功能离不开基座模型日日新5.5的支撑。今年4月发布的日日新5.0是国内首个对标GPT-4 Turbo的大模型,经过两个多月工艺迭代,日日新5.5实现了多项功能升级,在数学推理、英文能力、指令跟随等能力上明显增强,交互效果和多项核心指标可比肩GPT-4o。
徐立认为,如果能把这种流式交互多模态大模型置入眼镜、手机、电脑等端侧设备,可能会推动一些应用的爆发。
雷峰网原创文章,未经授权禁止转载。详情见转载须知。
老师因学生志愿未报清北解散群聊?校方通报
第五届“金豪笔编剧之夜”入围名单揭晓 183位优秀编剧携74部作品入围
数字戏剧让每位观众都有“最优座位”
砂砾与金ROCKRIDETaste空间重磅摄影首展即将启幕
《少年书院行》:用青春脚步丈量文明厚度
现实题材生活轻喜剧《蒸蒸日上》开机 高叶韩东君“澡堂律所”碰撞烟火气
纪念中国电影诞生120周年艺术展在沪举办
世界十佳环境保护城市评选揭晓 中国澳涞山庄见证绿色典范诞生
突发!俄罗斯发动大规模攻击
世界首富马斯克妈妈爽文大女主人生,扬言100岁再退休
网易云音乐推出“毕业福利季”活动 会员、iPad、游戏道具等丰富福利免费送
数字戏剧让每位观众都有“最优座位”
独家|前百度搜索老将赵世奇从华为离职,回归百度
岂止《长安的荔枝》?!百奥除湿全系产品,引领温湿度行业发展
技术为基、文化为骨、商业为帆,7部重磅VR电影在上影节官宣 未来影院瞄准文旅市场万亿级蓝海
《沙丘:觉醒》抢先体验开启,沙虫蠢蠢欲动
国际艺术家共绘中墨友谊壁画 艺术助力北京乡村振兴
电影《恋曲尘封》发布“光阴秘语”版预告片 打造高质感影像美学
直播电商激活非遗经济:“00后”“90后”撑起消费半壁江山
6月22日至27日亮相戏剧场 《风雪夜归人》再登国家大剧院舞台
《长安的荔枝》定档6月7日 打开另类古代职场视角
电影《恋曲尘封》今日上映 聚焦弄堂里的“生煎”人生
新时代工艺美术作品巡展昆明站启幕,百件匠心之作诠释文化传承与创新
阿里鱼与中央美术学院深度合作,助力中央美院毕业季IP开发创新