英偉達開源HANDAL：一份真實世界可操作物體類別的數(shù)

2023-11-02 10:57 作者:計算機視覺life 0人讀過 | 我要投稿

以下內(nèi)容來自

小六的機器人SLAM學習圈

知識星球每日更新內(nèi)容

#論文# IROS2023｜英偉達開源HANDAL：一份包含姿態(tài)注釋、功能和重建的真實世界可操作物體類別的數(shù)據(jù)集

【HANDAL: A Dataset of Real-World Manipulable Object Categories with Pose Annotations, Affordances, and Reconstructions】

文章鏈接：https://arxiv.org/abs/2308.01477

開源代碼：https://nvlabs.github.io/HANDAL/

我們提出了用于類別級對象姿態(tài)估計和可供性預(yù)測的 HANDAL 數(shù)據(jù)集。與以前的數(shù)據(jù)集不同，我們的數(shù)據(jù)集專注于機器人可操縱的物體，這些物體具有適當?shù)某叽绾托螤睿晒C器人操縱器進行功能性抓取，例如鉗子、器皿和螺絲刀。

我們的注釋流程得到簡化，只需要一臺現(xiàn)成的相機和半自動處理，使我們能夠在無需眾包的情況下生成高質(zhì)量的 3D 注釋。該數(shù)據(jù)集由 308k 個帶注釋的圖像幀組成，這些圖像幀來自17 個類別的 212 個真實世界對象的 2200?個視頻。

我們專注于硬件和廚房工具對象，以促進實際場景中的研究，在這些場景中，機器人操縱器需要與環(huán)境交互，而不僅僅是簡單的推動或隨意抓取。我們概述了我們的數(shù)據(jù)集對于 6-DoF 類別級姿勢+尺度估計和相關(guān)任務(wù)的有用性。我們還提供所有對象的 3D 重建網(wǎng)格，并概述了一些需要解決的瓶頸，以使收集像這樣的數(shù)據(jù)集變得更加普及。