近期，奧比中光研發(fā)團隊融合前沿多模態(tài)大模型技術(shù)，推出最新2.0版大模型機械臂演示方案。新方案搭載公司最新深度相機Gemini 335L和Femto Bolt，能夠基于語(yǔ)音指令，自動(dòng)執行沏茶、插花、滴香薰、播放音樂(lè )等一系列復雜任務(wù)。此前在2023年底，奧比中光成功發(fā)布大模型機械臂1.0，在業(yè)界引起廣泛關(guān)注。
（點(diǎn)擊播放視頻）
秒懂語(yǔ)音指令，絲滑沏茶、倒茶
奧比中光2.0版大模型機械臂結合多模態(tài)大模型技術(shù)（語(yǔ)音、文本、視覺(jué)）與機械臂控制技術(shù)，可以生成空間語(yǔ)義信息，幫助機械臂準確識別、理解生活中的常見(jiàn)物體并執行相應動(dòng)作，可識別物體包括日常用品、食品和工業(yè)零件等。
以最具挑戰性的沏茶任務(wù)為例，其難點(diǎn)在于流程長(cháng)、步驟多，需要保證動(dòng)作執行的準確性和多步驟之間的邏輯合理性。奧比中光研發(fā)團隊借助高精度Gemini 335L和Femto Bolt相機實(shí)現目標抓取位姿的精確定位，結合大模型的理解能力，經(jīng)過(guò)長(cháng)期算法優(yōu)化與仿真環(huán)境調試，最終實(shí)現對沏茶等復雜任務(wù)的理解、規劃與自動(dòng)執行。
相比1.0版本，2.0版大模型機械臂在以下幾個(gè)方面實(shí)現了升級：
● 語(yǔ)言模型：自然語(yǔ)言處理和理解能力顯著(zhù)提升，機械臂能夠更準確理解和執行抽象的語(yǔ)言指令。
● 規劃能力：復雜任務(wù)規劃能力顯著(zhù)提升，可以準確理解高階任務(wù)并精準執行。
● 響應速度：程序整體執行效率優(yōu)化，任務(wù)理解與規劃時(shí)間大大縮短。
● 抓取能力：升級為夾爪設計，能夠準確識別和分類(lèi)不同物體，適應更多樣化的任務(wù)和環(huán)境。
● 感知能力：配備Gemini 335L和Femto Bolt相機，雙目3D相機與ToF相機互補，提供更高分辨率和精度的3D視覺(jué)感知能力。
搭載先進(jìn)深度相機，感知更精確
奧比中光2.0版大模型機械臂通過(guò)搭載公司最新深度相機和AI算法，在識別、抓取和操作復雜物體時(shí)的精度和效率顯著(zhù)提升。相較于1.0版本采用的Gemini 2系列相機，2.0版本的Gemini 335L和Femto Bolt在深度精度和深度完整性方面具有更佳表現，捕捉更精致的物體細節，可重建玻璃、亞克力等透明材質(zhì)物體，從而讓機械臂能夠精準定位物體，高效執行動(dòng)作。此外，公司基于仿真與實(shí)際相結合的調試優(yōu)化方式，可快速實(shí)現AI算法驗證與迭代。
奧比中光Gemini 335L相機可重建香薰玻璃瓶、亞克力支架等透明物體
機器人要想具備更通用的能力，需要理解真實(shí)的物理世界。作為行業(yè)領(lǐng)先的機器人視覺(jué)及AI視覺(jué)公司，奧比中光長(cháng)期致力于3D視覺(jué)感知技術(shù)的研發(fā)，以促進(jìn)具身智能在感知技術(shù)層面的進(jìn)步。未來(lái)，團隊將進(jìn)一步提升大模型機械臂的理解能力，使其能夠處理更多復雜、抽象的任務(wù)；提升機械臂在復雜或動(dòng)態(tài)變化環(huán)境中的泛化能力，并加強人機交互與機器自我學(xué)習能力，加速其在生活服務(wù)、工業(yè)生產(chǎn)等實(shí)際場(chǎng)景中的落地應用。
分享到
