導讀:在阿里云通義智能硬件展上,阿里云全新發布多模態交互開發套件。
1 月 8 日消息,在阿里云通義智能硬件展上,阿里云全新發布多模態交互開發套件。
該套件集成了千問、萬相、百聆三款通義基礎大模型,并預置十多款生活休閑、工作效率等領域的 Agent 和 MCP 工具,不僅能聽、會看,還能思考并且與物理世界交互,可應用于 AI 眼鏡、學習機、陪伴玩具、智能機器人等硬件設備。
阿里云多模態交互開發套件宣稱為硬件企業和解決方案商提供低開發門檻、響應速度快、場景豐富的平臺,IT之家附亮點如下:
適配 30 多款終端芯片,硬件可快速接入
在芯片層面,該套件適配了 30 多款主流 ARM、RISC-V 和 MIPS 架構終端芯片平臺,滿足市面上絕大多數硬件設備的快速接入需求。
未來,通義大模型還將與玄鐵 RISC-V 實現軟硬全鏈路的協同優化,實現通義大模型家族在 RISC-V 架構上的高效部署和推理性能。
集成通義大模型,搭配 AI 硬件交互專有模型
在模型優化層面,除通義模型家族外,阿里云還針對大量多模態交互場景進行分析,推出適合 AI 硬件交互的專有模型,全面支持全雙工語音、視頻、圖文等交互方式,端到端語音交互時延低至 1 秒,視頻交互時延低至 1.5 秒。
預置 MCP 工具與 Agent,接入百煉平臺生態
此外,該套件預置十多款 MCP 工具和 Agent,覆蓋生活、工作、娛樂、教育等多個場景。例如,基于預置的出行規劃 Agent,用戶可直接調用路線規劃、旅行攻略、吃喝玩樂探索等能力。
該套件還接入了阿里云百煉平臺生態,用戶不僅可以添加其他開發者提供的 MCP 和 Agent 模板,還能通過 A2A 協議兼容三方 Agent,擴展了應用的能力邊界,幫助企業靈活搭建業務場景。
阿里云還在現場展示了面向智能穿戴設備、陪伴機器人、具身智能等領域的解決方案。
例如,在 AI 眼鏡領域,基于千問 VL、百聆 CosyVoice 等模型,阿里云打造了感知層、規劃層、執行層以及長期記憶的完整交互鏈路,可一站式實現同聲傳譯、拍照翻譯、多模態備忘錄、錄音轉寫功能。
面向家庭陪伴機器人場景,基于千問模型和多模態交互套件,阿里云推出的解決方案不僅可實時監測異常狀況,并及時告警信息推送,用戶還能基于關鍵詞查找、定位視頻,與機器人進行對話交互和控制設備等。