AI技术正在赋能千行百业实现新质发展,AI巡检、智能客服、智能运维都在各行业发挥着高效服务力。而与用户联结最紧密的手机产品,也正在因AI、大模型引发终端交互革命,跨越功能机、智能机进入AI手机时代。

在这场关乎行业、用户的变革中,OPPO作为AI手机的贡献与普及者之一,于10月17日的OPPO开发者大会(简称ODC)AI智能体生态分论坛上,以「探索AI技术实践 共建新生态」为主题,邀约了众多产业专家、技术专家、行业开发者等一起就智能体生态的建设、成功实践展开了积极分享与讨论。

以AI为主引擎,手机进入以场景为驱动的变革时代

手机作为覆盖用户最广泛、与用户交互最为紧密、使用时长占比较长的产品,早已从最初的通信工具转变为联结更多场景的用户身边的贴身助手。与此同时,在AI、大模型稳步发展的当下,除了各行业在业务端融合AI能力实现提质增效外,立足生活所需辐射多场景的手机,无疑也成了AI与用户沟通的最短路径。

从生活场景可知,现今,个人时间正在伴随繁杂的琐事、工作细节处理等等逐渐碎片化,生活越来越匆忙,个人时间被侵占已成为用户共识。通过AI技术解放精力与创造力,是AI与手机结合后,最迎合用户所需的能力。具备算力高效利用能力、真实世界感知能力、自学习能力、创作能力的AI手机,正契合了当下用户从碎片、繁杂中解放,回归自我价值的刚需。

支持生成式AI的智能终端硬件平台,具备多模态融合的全新交互和内嵌的专属智能体的随心、专属智慧OS,用户定义的开放服务生态,都是AI手机重塑产品效能的主要特征。对用户而言,AI手机要扮演的是自在交互、智能随心、专属陪伴、安全可信的个人化助理的角色。在这一具体要求下,只有AI手机具备不断理解用户习惯、不断自学习、构建直觉化交互的能力,才能为用户真正提供更聪明、个性化、贴心的服务。

结合AI手机的价值点和用户所需,各终端智能厂商协同一致,共建行业标准,构建零门槛开发平台,将用户需求与技术相互转化,为繁荣服务生态牵引好AI主引擎。

持续探索技术天花板,为AI时代手机智能化提质增效

经历多年发展和技术迭代,OPPO率先入局AI手机,梳理出了一套从硬件到交互再到业务的系统性实践能力。在今年的分论坛中,基于OPPO大语言模型、视觉大模型端侧部署能力,OPPO主要发力端侧轻量化部署,将端侧大模型朝着更快,功耗更低,占用资源更少,适用场景更多的方向演进。

在大语言模型迭代方面,OPPO提出了高效推理、内存管理、异构计算、加速等多种新方案。OPPO产品总监那柏林现场分享了通过多IP联合推理范式,OPPO大语言模型推理过程所需参数可按照活跃度分为活跃参数和不活跃参数两部分分批处理。高效的推理范式则专注模型初始化,为模型encoding进行加速处理,保证用户获得数据准确的同时,提高“首字上屏”时间。

OPPO 产品总监 那柏林

在语言大模型内存管理上,OPPO也通过功耗降低,保障用户使用不卡顿。在模型响应速度上,OPPO则针对于不同场景基于并行译码技术提出了多种并行加速方案。而基于异构计算方案,大模型推理速度进一步提升,计算资源更节约。在大模型多适性上,OPPO则通过share方式,节省不必要的计算量和内容占用。

在视觉大模型层面,OPPO通过自定义算子可有效提升算子推理时间,达到出图速度提升和计算功耗降低。在端侧部署过程中,OPPO通过block quantization的方式让量化的颗粒度更细,让推理精度更靠近云端也更快,最大程度的保证效果且不失速度。而基于LoRA的使用和不同的组合,也能让视觉大模型节省80%以上内存占用,拥有更快的反应速度,促使用户使用体验更迅捷。

会上,OPPO AI 基座模型负责人苏钿煌还详细解读了安第斯大模型Agent技术在planning、端云模型部署以及function call的能力。

OPPO AI 基座模型负责人 苏钿煌

具体而言,安第斯大模型Agent技术可通过规则路由+大小模型逐级处理,并且结合大模型的反思来修正小模型的不确定拆解;在端云协同上,该技术可通过端侧1+N Lora的架构来支持简单的任务拆解,而云端多种参数规模模型则用以支持复杂的任务编排;同时,该技术支持一方、三方应用,支持API等多种工具,通过多层级来拓展工具和 API 的层级关系,提升了模型对工具的理解,而基于手机系统上一方和三方的工具API完善多样性后,也能提升工具的泛化性和模型对工具的理解力。基于安第斯大模型Agent技术,大语言模型可更高效理解用户意图,更快检索并反馈用户需求,在语义理解,上下文连贯,专业性回复上更具效率。

在OPPO手机上的AI应用中,视觉文字信息提取技术作为一项基础能力被广泛应用于手机相册、小布识屏、小布扫一扫、自由翻译、便签等入口,赋能相关图片转文档、拍照翻译、图片文字提取等业务场景。

为解决视觉文字提取数据标注成本高、领域模型多、链路复杂、推理时间长、易出现丢字、幻觉、Box定位差等问题,OPPO从算法链路层、模型优化层、数据引擎层、文本RAG对应优化和改进策略,为用户带来了识别精准、高效提取的视觉文字信息提取新体验。OPPO AI 视觉模型优化负责人冯天鹏在分享中表示“随着VLM不断演进,视觉文字信息提取技术后续可在高精度手写体识别、手写体公式提取、复杂图表解析、以及图文自动关联等业务中发挥重要作用。”

OPPO AI视觉模型优化负责人 冯天鹏

回归产品、回归用户,让技术迭代有迹可循

丰富全面的技术终究要回到产品上,产品落地后是否能满足用户体验提升是衡量技术是否成熟的关键标准。作为OPPO覆盖手机、手表、平板等多种品类和系列设备的全局智能助理,小布助手在AI技术实践层面取得亮眼成绩——自2019年发布至今,小布助手已拥有3.5亿用户覆盖,月活用户达1.5亿。

在大模型时代下,小布已凭借OPPO的技术支撑获得了更强大的语言理解和图像生成能力。这其中既包含了OPPO大语言模型的能力,也结合了OPPO视觉大模型的优势。

在系统操控层面,小布可对复杂Query理解,并完成高效指令生成和编排。在通用问答上,流畅上下文对话知识增强的大模型技术使流畅的上下文对话和知识问答效果得到大幅度提升。在相对封闭的品牌问答领域,小布依托大模型强大的理解和遵循能力,获得了更专注的能力。同时,大模型序列生成天然擅长做内容创作,新小布也因此具备了文本、图像等多模态的生成能力。为保障创作内容无害,OPPO也秉承对社会和用户负责的态度,在内容安全方面做了大量对齐和过滤。

为进一步提升小布的服务能力,OPPO在规划、工具、知识、记忆、多智能体交互基础上,针对大量级API工具指令生产任务、实时性和时效性的幻觉问题、多模态下的复杂链路调优三大挑战,搭建了最适应小布架构演进的对话系统架构。

在高效支持千级别API的接入层面,小布可依靠单指令、多指令、嵌套指令支持用户的复杂说法。

在解决实时性和时效性的幻觉问题方面,小布采取高时效高精度的RAG和混合大模型调度的方式,分别对应垂域实现知识覆盖和通用场景解决长尾事实性和时效性。依托小布在流量调度上的精细化控制,在解决问题的同时也能兼顾成本ROI。

近期,小布发布的多模态能力下,技术团队采用多信源融合理解和决策,建立全面的感知表征信息,对多模态多信源做深度理解,并进行混合建模交叉验证的规划,最终优化多模态能力响应速度更快。而通过理解和交互的并行化、图像多级压缩、多步指令缓存等手段,小布也实现了复杂链路全链路耗时优化,为用户带来了更为顺畅高效的交互体验。

无论是询问、执行还是长尾沟通甚至是为用户画图、修片,一系列高效、精准的服务和体验,已让小布真正成为了用户身边随叫随到的AI助手。OPPO小布助手服务平台负责人莫骁分享到,“未来,基于记忆和个性化,复杂任务规划,端云协同优势,小布也将锚定为用户个人设备带来更懂我、更智能、更快捷的体验技术方向持续迭代。”

OPPO 小布助手服务平台负责人 莫骁

持续深挖AI价值,以智能体生态带动行业繁荣

诚然,AI正在基于大模型等技术能力不断更迭,但AI的价值并未被完全挖掘,同时更存在着数据偏差、幻觉、多模态的局限性等问题,也缺少使其高效运转、高效交互、完成复杂任务的运行框架。基于此,OPPO提出了基于LLM,能够自主感知环境、做出决策并执行行动的系统智能体框架。

智能体将围绕交互性、反应性、自主性、适应性,实现接收外界信息并给出及时合理的反应,且具备代理和有约束性的自主决策能力,可根据过程和结果不断优化策略提升效果的能力。手机,作为可承载各种物理感知能力和多模态能力并拥有一定算力的产品,也成为了智能体发展的沃土。

为推动智能体生态快速发展,OPPO在本次ODC上发布了OPPO智能体平台,OPPO智能体平台研发负责人张磊在分论坛上对该平台做了详细介绍。通过提供大模型应用开发能力以及丰富的工具库、插件库,为开发者适配多种业务场景,而可视化拖拽开发,也降低了应用开发门槛,让更多用户和开发者都能参与到智能体汇聚众智的过程中来。

OPPO 智能体平台研发负责人 张磊

针对智能体在手机上的分发能力,OPPO给出了应用场景的能力增强和问题解决方案,可在例如桌面、负一屏等OS系统级入口进行智能体推荐。通过小布亦可进行智能体专区、上下文精准推荐、启动时推荐等高效分发;在软件商店、浏览器等互联网全场景入口也能高效触达用户。最终实现优质的智能体和有需求的用户彼此发现,让服务和需求双向对接。

目前,OPPO智能体平台已完成整体建设,智能体已涵盖生活、娱乐、医疗、健康以及生产制造多个领域,通过开放接口与各领域业务实现了深度融合。开发平台基于OPPO云的弹性算力,实现了智能体模型开发调试、服务、数据的弹性支撑。基于资源层、开发层、应用层以及智能体运营层,平台对开发者开放了简洁的智能体全链路托管。通过对开发者提供创建智能体所需的快速构建、快速集成、插件工具和个性化定制能力,为开发者从开发到运营再到分发的全程护航。

【结语】

在圆桌论坛上,OPPO技术战略规划总监陈晓春组织来自阿里云智能、百度、火山引擎以及网易有道的专家们,就AI手机发展以及智能体生态建设展开了积极讨论。在深挖AI能力的过程中,无论是为用户构建更合理、可信、可靠的服务,还是基于千行百业塑造更加专注的智能体生态,其本身依旧是围绕“人”的需求进行的。在以人为本的服务理念中,更懂用户、更自然的交互,更顺畅丝滑的体验,是倒逼技术发展的刚需,而对于OPPO以及更多厂商而言,持续深挖AI能力,以AI为核心拓展更智能的生态体系,不仅是为AI与手机融合塑造了更具象化的目标,也是手机厂商依托自身用户基数优势放大在AI时代长久竞争力的良策。