目前跟蹤“手眼腦”協(xié)同的操作流程,主要包括手眼位置標定、基于圖像抓取位姿估計網(wǎng)絡(luò )模型、觸覺(jué)感知力反饋調節等技術(shù)難點(diǎn)。

1) 如何實(shí)時(shí)、準確跟蹤末端執行器與被操作物體之間的空間距離和位置信息?手眼位 置標定是通過(guò)建立機器人末端執行器坐標系與相機坐標系之間轉換關(guān)系,實(shí)現視覺(jué)引導 機器人操作的準確性和可靠性。根據機械臂與相機之間的裝配方式,手眼標定分為Eye to-Hand和Eye-in-Hand。早期的手眼標定技術(shù)主要依靠矩陣關(guān)系(旋轉矩陣和平移矩 陣)描述機器人和相機之間的空間關(guān)系。隨著(zhù)計算機視覺(jué)和優(yōu)化算法的發(fā)展,基于圖像 處理和數學(xué)優(yōu)化的手眼標定方法逐漸成為主流,利用標定板或特征點(diǎn)進(jìn)行相機標定,再 結合機器人末端執行器的位置數據進(jìn)行標定計算,以實(shí)現準確的手眼標定。

Eye-in-Hand;相機固定在末端執行器,相機所攝取場(chǎng)景數據隨著(zhù)機械臂移動(dòng)而發(fā) 生變化,適合對末端操作對象(比如零件)進(jìn)行G精度局部觀(guān)察,也可以靈活調整 視角,用于精密裝配等應用。

Eye-to-Hand:相機固定安裝在人形機器人某個(gè)位置(比如頭部),d立于機械臂 運動(dòng)。相機視角覆蓋整個(gè)工作空間,可實(shí)現全局觀(guān)測,適合監控機器人整體運動(dòng)軌 跡或大范圍場(chǎng)景,標定結果無(wú)需頻繁更新。

2) 如何正確選擇跟交互物體的操作位姿?機器人抓取檢測技術(shù)是機器人領(lǐng)域中的重要 研究方向之一,涉及到機器人在實(shí)際操作中獲取Z優(yōu)抓取姿態(tài)和位置的能力,從而實(shí)現 有效、穩定的抓取動(dòng)作。抓取檢測技術(shù)的發(fā)展可以分為傳統的解析方法和基于深度學(xué)習 的方法。傳統的解析法是基于機械手爪和目標物體的運動(dòng)學(xué)和動(dòng)力學(xué)關(guān)系進(jìn)行建模,計 算Z優(yōu)抓取位姿,適合非常準確場(chǎng)景控制需求,比如工業(yè)機器人對物體抓取和移動(dòng),但 受限于環(huán)境復雜性和泛化能力不足。傳統方法往往需要復雜的模型和參數調整,無(wú)法實(shí) 現對各種場(chǎng)景和物體的智能適應。

隨著(zhù)人工智能和機器學(xué)習技術(shù)的不斷發(fā)展,深度學(xué)習抓取策略持續導入�；�于深度學(xué)習 的抓取技術(shù)通過(guò)深度神經(jīng)網(wǎng)絡(luò )對大量圖像數據進(jìn)行訓練,從而學(xué)習抓取的正確位置和姿 態(tài),具有更好的泛化能力和適應性�；�于深度學(xué)習的抓取技術(shù)可以分為基于抓取候選框 和基于魯棒性函數兩類(lèi)。

基于抓取候選框的方法主要采用滑窗的方法預先在輸入圖像上生成若干個(gè)感興趣的區 域,通過(guò)卷積神經(jīng)網(wǎng)絡(luò )等模型提取圖像特征,預測抓取位置和姿態(tài)。該方法檢測精度較 G但因會(huì )產(chǎn)生大量的候選框而使得檢測算法耗時(shí)較長(cháng)。目前現存一些機器人抓取的任務(wù) 基準數據集可以用于抓取位置和姿態(tài)預測訓練優(yōu)化。比如康奈爾大學(xué)創(chuàng )建的Cornel Grasp數據集,即使用KinectV1相機在真實(shí)場(chǎng)景中采集,涉及240種生活中常見(jiàn)物體 的885張RGB-D圖像和相應的三維云點(diǎn)。數據特征涵蓋了多樣的對象形狀和大小及帶 有旋轉角度的抓取標注框。

基于魯棒性函數的方法主要通過(guò)學(xué)習抓取質(zhì)量函數,評估抓取質(zhì)量,進(jìn)而確定Z優(yōu)抓取 位置和姿態(tài)。該方法實(shí)現端到端訓練與預測,算法運行速度較快。典型地,智元機器人 發(fā)布開(kāi)源仿真數據集AgiBotDigitalWoHdDataset,涵蓋五大類(lèi)場(chǎng)景、180+品類(lèi)具體物 品等。平臺基于NVDlA1saac-Sim仿真平合開(kāi)發(fā)(Sim2Real),可以提供G度逼真的視 覺(jué)渲染和準確的物理模擬。仿真過(guò)程中,具身智能數據生成引擎可以進(jìn)行豐富的環(huán)境光 照、物體材質(zhì)、物理屬性等隨機變化,同時(shí)支持多種操作軌跡增強方式,以生成多樣性 和魯棒性的專(zhuān)家軌跡數據,增強模型泛化能力。目前AgiBotDigitalWord可建立貫穿 專(zhuān)家軌跡生成、模型訓練、基準測試、部署驗證的完整評估流程,支持對機器人的端到 端模型進(jìn)行多面測試。