基準測試和數據集對于研究和科學(xué)進(jìn)步非常重要，通過(guò)競技及可量化、可重復性結果推動(dòng)關(guān)鍵研究L域進(jìn)步。機器人操作目前缺乏在同等規模及重要L域被廣泛接受的基準，例如計算機視覺(jué)中的同步定位和映射（SLAM）和目標檢測。曾經(jīng)提出的操作基準和挑戰需要訪(fǎng)問(wèn)昂貴的平臺和專(zhuān)門(mén)的環(huán)境（即FetchIt、Amazon Picking Challenge等），使用特有對象來(lái)評估系統的能力，限制了整個(gè)研究L域的發(fā)展。機器人操作方面研究在仿真環(huán)境中進(jìn)行具備優(yōu)勢包括：（1）有助于獲得可重復的結果，（2）允許訪(fǎng)問(wèn)潛在的不可用平臺，（3）本質(zhì)上是安全的，（4）不會(huì )磨損或損壞物理系統，并且（5）除了并行運行許多實(shí)例之外，還可以比實(shí)時(shí)運行更快。然而，物理模擬的不足也很明顯，在仿真環(huán)境中生成的控制器在轉移到現實(shí)世界時(shí)往往是不可靠的�，F實(shí)差距的現象是眾所周知的，但很少有人能量化這一差距。  

近期IEEE ROBOTICS AND AUTOMATION LETTERS發(fā)表了“Benchmarking simulated robotic manipulation through a real worlddataset”, 提出的基準和附屬數據集旨在幫助研究人員和開(kāi)發(fā)人員量化現實(shí)差距，特別是與機械臂的物理交互任務(wù)，從而推動(dòng)仿真到現實(shí)（sim2real）的轉換，以及物理引擎，模擬器和它們的參數化方面的進(jìn)展。通過(guò)使用仿真和量化指標，使基準測試能夠通用于許多操作L域，但又足夠具體，能夠提供系統的有關(guān)信息。他們的主要貢獻包括：（1）開(kāi)發(fā)了一個(gè)將仿真與真實(shí)世界記錄進(jìn)行比較的程序；（2）一個(gè)由機械手執行的地面真實(shí)標記操作任務(wù)的數據集，該操作任務(wù)使用G精度的運動(dòng)捕捉系統進(jìn)行記錄；（3）在再現真實(shí)方面用于描述模擬器成功量的子集（圖1）。作者們希望隨著(zhù)時(shí)間的推移來(lái)擴展這個(gè)數據集，以覆蓋更多的任務(wù)，并應用于更多的機械手。

1、基準測試

操作基準由三個(gè)部分組成：運動(dòng)捕捉任務(wù)的真實(shí)世界數據集；定義在選定的模擬環(huán)境中要模擬的任務(wù)；評估地面真實(shí)性和模擬解決方案之間性能的指標。

A.  任務(wù)

該基準目前由10個(gè)簡(jiǎn)單的任務(wù)組成，這些任務(wù)被選中是因為它們提供了基本運動(dòng)和接觸的良好初始起點(diǎn)。這些任務(wù)演示了如何使用基準并充當更GJ任務(wù)的先驅。通過(guò)調整模擬器來(lái)準確地模擬簡(jiǎn)單的任務(wù)，推斷這些相同的參數將擴展到共享底層關(guān)聯(lián)的更復雜的場(chǎng)景�；鶞蕦⒈粩U展到包括更GJ的任務(wù)，這些任務(wù)與實(shí)際操作場(chǎng)景具有更G的相關(guān)性。表1列出了任務(wù)以及簡(jiǎn)短的描述以及它們包含的子組。

B、數據集

數據集是在CSIRO的Qualisys運動(dòng)捕捉系統中收集的，將其作為實(shí)時(shí)G精度地面真實(shí)數據提交。該系統包括24個(gè)攝像頭，安裝在8×8×4米的龍門(mén)架上。校準為<1 mm的殘余值，系統記錄頻率為100 Hz。系統的延遲取決于以下幾個(gè)變量：標記數、攝像機數和計算機設置。數據從主機PC（接收延遲小于6毫秒的數據）流到運行機器人操作系統（ROS）的第三方PC。手臂配備有Robotiq FT300力扭矩傳感器，安裝在手臂手腕和夾持器之間，使用兩個(gè)如圖2所示的3D打印底座（底座的網(wǎng)格文件可以在基準網(wǎng)站上找到）。安裝支架采用剛性和輕質(zhì)的ABS塑料進(jìn)行3D打印，這滿(mǎn)足了作為系統終環(huán)節的設計要求，包括重量小于1.2 kg的夾持器。在記錄數據集之前，Robotiq FT300用Kinova夾具進(jìn)行了校準。該數據集的目的是在未來(lái)通過(guò)一系列的機器人操作器完成額外的任務(wù)�；鶞蕼y試的用戶(hù)不必記錄任務(wù)，目的是用戶(hù)應用所提供的數據集對其模擬環(huán)境進(jìn)行基準測試。

C、模擬器設置

要使用文中的基準測試系統對模擬器進(jìn)行基準測試，需要遵循以下準則。任何未列為受控變量的參數都可以用來(lái)改進(jìn)仿真。一般來(lái)說(shuō)，場(chǎng)景、機器人和機器人的控制都設置為不可變，而大多數其他參數都是用戶(hù)可定義的。文中的基準適用于任何模擬器。制造商統一機器人描述格式（URDF）與網(wǎng)格文件可以一起在基準的網(wǎng)站上下載，作為機器人機械手的描述。如果模擬器本身不支持URDF，則機器人可以按照URDF或制造商規范導入剛體網(wǎng)格，在選定的仿真環(huán)境中進(jìn)行組裝。

D、性能指標

沒(méi)有一個(gè)指標能夠客觀(guān)地評估模擬器在所有任務(wù)中的性能，因此提出了一系列的指標。在推導合適的性能指標時(shí)，注意到平均一個(gè)具有相同起點(diǎn)和終點(diǎn)的對象的軌跡是可能的，特別是對于遵循相同控制軌跡的對象，如機械手。然而，對于具有不同末端姿態(tài)的物體，求其軌跡的平均值不是一個(gè)有效的計算方法，因此建議分析這些物體末端姿態(tài)的分布。由于在遵循物理原理的同時(shí)，由于從一個(gè)共同的開(kāi)始姿勢到結束姿勢的過(guò)程中，可行方法是有限的，通過(guò)分析可操縱物體的末端結構，我們發(fā)現這是一個(gè)有效的度量標準。此外，還使用進(jìn)一步的度量來(lái)表征這些對象的運動(dòng)。

圖3 二元正態(tài)分布概率密度函數的三維繪圖

E、報告績(jì)效

組合基準和數據集的網(wǎng)站旨在托管基準用戶(hù)的結果。由于包含可操作對象的任務(wù)有23個(gè)度量（不包含對象的任務(wù)有15個(gè)度量），因此有太多的度量無(wú)法公開(kāi)顯示和比較，因此可能會(huì )使用錯誤。任務(wù)根據主題劃分為多個(gè)子組，并報告子組的結果。子組的報告結果顯示更具有針對性比完成所有任務(wù)和只報告單個(gè)任務(wù)更有效率。

2、模擬器性能示例及結論

文中應用了兩個(gè)符合機器人性能的模擬器V-Rep和PyBullet。它們也是機器人L域常用的模擬器。運行此基線(xiàn)的代碼可以在基準網(wǎng)站上找到。V-Rep有一系列物理引擎，可以通過(guò)抽象層應用，因此能夠對以下模擬器和物理引擎組合進(jìn)行基準測試。仿真機器人操作基準通過(guò)在仿真和地面真實(shí)數據集之間繪制度量來(lái)驗證仿真環(huán)境。23個(gè)指標多面描述了現實(shí)差距造成的差異，并有助于對仿真環(huán)境的結果進(jìn)行基準測試。該數據集提供了有價(jià)值的信息，包括6自由度姿態(tài)的運動(dòng)捕捉、關(guān)節扭矩以及在機械手手腕處的力和力矩。同時(shí)比較了兩種常用的機器人模擬器V-Rep和PyBullet在一般參數設置下的性能，基于度量分析了模擬器在完成數據集任務(wù)時(shí)的精度，證明了所選度量的實(shí)用性。