近期，全球領(lǐng)先的人工智能研究團隊，斯坦福大學(xué)李飛飛教授團隊發(fā)布了他們在“空間智能”領(lǐng)域的最新突破性成果——ReKep（Relational Keypoint Constraints，關(guān)系關(guān)鍵點(diǎn)約束），并通過(guò)試驗表明，ReKep在機器人操作、家務(wù)自動(dòng)化等領(lǐng)域具有廣泛的應用潛力。該研究中，團隊使用了奧比中光RGB-D相機Femto Bolt，精準有效捕捉實(shí)驗場(chǎng)景的彩色圖像及深度信息，幫助ReKep系統識別和定位場(chǎng)景中的物體及其關(guān)鍵點(diǎn)，為機器人動(dòng)作優(yōu)化和復雜交互提供了關(guān)鍵的3D視覺(jué)數據支撐。
↑ 點(diǎn)擊播放視頻 ↑
根據研究論文釋義，ReKep是將復雜任務(wù)轉換為一系列關(guān)系關(guān)鍵點(diǎn)的約束優(yōu)化框架，以Python函數的形式表現。這些函數將環(huán)境中的3D關(guān)鍵點(diǎn)映射為數值成本，通過(guò)捕捉具有任務(wù)語(yǔ)義和空間意義的3D關(guān)鍵點(diǎn)，賦予機器人自主決策能力，從而高效應對每個(gè)任務(wù)的核心挑戰?；贔emto Bolt提供的高質(zhì)量RGB和深度數據，ReKep系統能精準將環(huán)境中的3D關(guān)鍵點(diǎn)映射到數值成本來(lái)定義這些約束。
深度感知，精準規劃
Femto Bolt是一款基于微軟先進(jìn)的ToF（飛行時(shí)間）傳感技術(shù)設計的RGB-D相機。其中，RGB圖片的生成幫助ReKep系統進(jìn)行目標檢測和識別，深度圖像可以提供精確的3D信息，讓ReKep系統分辨目標的空間位置和距離關(guān)系，二者結合讓ReKep系統充分理解操作場(chǎng)景，生成引導機器人決策與執行關(guān)鍵點(diǎn)的3D坐標。
此外，3D關(guān)鍵點(diǎn)的準確提取對數據質(zhì)量提出了極高要求，包括深度精度和點(diǎn)云質(zhì)量。Femto Bolt 能輸出4K高分辨率圖像，有效減少誤識別并提升互動(dòng)可靠性，這對機器人執行精細、復雜的操作至關(guān)重要。
超低延時(shí)，流暢交互
在實(shí)驗研究中，ReKep系統對環(huán)境3D關(guān)鍵點(diǎn)的捕捉與傳輸需要具備足夠快的速度，以確保人機交互的流暢性。Femto Bolt 通過(guò)每秒30幀的高幀率捕捉深度數據，并集成了多模式的深度圖像、彩色圖像模塊及慣性傳感器，以超低延時(shí)實(shí)現實(shí)時(shí)反饋和互動(dòng)，確保機器人能夠迅速響應ReKep系統的指令。
多機同步，高效協(xié)作
李飛飛團隊在不同機器人平臺上搭建系統進(jìn)行多種任務(wù)實(shí)驗，包括單臂和雙臂機器人的多階段、雙手協(xié)作積極反應性的操作任務(wù)。Femto Bolt支持多機同步，通過(guò)構建更大范圍內的空間采集，幫助多臺機器人協(xié)作完成共同的任務(wù)。
在多機同步方面，Femto Bolt使用了通用性更強、功能擴展性更廣的8針GPIO接口，并配備相應的連接器材。同時(shí)，Femto Bolt還配備了帶鎖的USB-C接口，確保供電和數據傳輸的同時(shí)進(jìn)行，增強了系統的安全性和穩定性。
圖片來(lái)自于李飛飛團隊ReKep研究論文
深度融合大視覺(jué)模型
更值得關(guān)注的是，李飛飛團隊在該研究中結合了視覺(jué)模型與視覺(jué)-語(yǔ)言模型，當中包括GPT-4o（OpenAI為聊天機器人ChatGPT發(fā)布的語(yǔ)言模型），充分展示了視覺(jué)與機器人學(xué)習的深層次融合。在不提供特定任務(wù)數據或詳細環(huán)境模型的情況下，ReKep系統展示出在非結構化環(huán)境中完成任務(wù)的良好泛化能力，具備不同任務(wù)策略的適應性。
圖片來(lái)自于李飛飛團隊ReKep研究論文
在機器人視覺(jué)領(lǐng)域，奧比中光擁有超過(guò)8年的商用落地經(jīng)驗，致力于打造機器人的“眼睛”。今年3月，奧比中光與英偉達攜手，將Femto Bolt先進(jìn)的iToF技術(shù)與NVIDIA Orin AGX的人工智能計算能力結合，搭配Universal Robots UR5機械臂，實(shí)現了高精度的物品檢測、揀選和放置，為料倉揀選樹(shù)立了新的行業(yè)標桿。在多模態(tài)大模型技術(shù)（語(yǔ)音、文本、視覺(jué)）與機械臂控制技術(shù)的探索中，奧比中光研發(fā)團隊已推出2.0版大模型機械臂，具備精準識別日常物體并理解執行指令的能力。未來(lái)，奧比中光將繼續探索機器人視覺(jué)傳感技術(shù)的應用，助力空間智能系統發(fā)展，進(jìn)一步推動(dòng)機器人視覺(jué)與人工智能的技術(shù)突破，開(kāi)啟更廣泛的智能化應用場(chǎng)景。
奧比中光相機Femto Bolt及其大模型機械臂點(diǎn)云效果圖
*部分內容來(lái)源：
ReKep | Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation (https://rekep-robot.github.io/)
分享到
