北大90後教授攻克機器人“亂衣堆取物”難題,進入家庭時間有望提速
機器人站在衣櫃前,急需找出那件藏在衣服堆裏的藍色襯衫。翻找間,剛疊好的衣服又散作一團。
由北大長聘副教授&上緯啓元首席科學家董豪老師帶領團隊正讓服務機器人獲得一項“管家級”技能:面對雜亂堆疊的衣物,它能聽懂你的指令,精準抽出目標衣物,且不碰亂其他衣服。這項研究成果已被機器人領域國際頂會ICRA 2026接收,在不久前《EAI-100 具身智能領域2025年度百項代表性成果與人物》中,“柔性物體仿真與操作”專題獲得 10大Demo項目獎,而董豪團隊成果GarmentPile++ 是其重要的組成部分之一。
爲什麼“取一件衣服”比想象中更難?因爲機器人面對的是柔軟、易變形、互相纏繞的“活”物體。想要把這活幹好,首先要“分得清”。 當多件衣物顏色相近、堆疊遮擋時,機器人必須透過表層判斷底下那件衣服的準確邊界,而非將兩件衣服誤認爲一件。其次要“聽得懂”。 當你說“拿那件紅色的”,機器人不僅要識別顏色,還需結合語境判斷:是拿最上面的,還是壓在最下面但最容易完整抽出的那一件?其三要“取得穩”。衣物柔軟易變形,抓取點的選擇直接決定成敗——抓領口可能撕扯變形,抓下襬可能一次拽出三件。遇到牀單、長裙等大件,單手操作更易導致衣物拖地或纏繞。
過去的機器人往往只能完成其中某一環節,要麼只能在衣服單獨懸掛時工作,要麼在雜亂場景中頻頻“失手”牽連其他衣物。
GarmentPile++ 的創新在於賦予機器人一套完整的“認知-決策-執行”邏輯,模擬人類面對衣堆時的自然反應:系統首先利用先進的視覺分割技術(SAM2),爲衣堆中的每件衣物繪製精確輪廓。即便面對嚴重遮擋,它也能通過顏色、紋理和邊緣特徵區分個體。若遇到衣物粘連導致邊界模糊,機器人會啓動“微調觀察”:它輕輕提起可疑區域的衣物,通過攝像頭追蹤衣物舒展後的形態變化。
確定目標後,系統進入分析階段。基於對衣物三維形態的理解,它會在腦海中生成一張“熱力圖”:顏色越暖的區域表示越適合抓取(如平整的衣身中部),顏色越冷的區域則代表高風險區(如易滑的絲綢邊緣或易變形的袖口)。這確保機器人始終選擇既能穩定提起、又不會破壞衣物形態的最佳着力點。
對於T恤等小型衣物,單臂精準捏取即可;但當系統識別到牀單、長褲等大件,或感知到單臂提起時衣物下垂可能觸碰桌面引發拖拽時,它會啓動雙臂協作策略。主臂負責提起衣物主要部分,副臂則在下方適時托住或夾持另一處,像經驗豐富的管家那樣“捧”出衣物,確保過程中不牽扯、不擾動周圍其他衣物。
實驗數據顯示,在模擬家庭環境的“開放衣堆”與“收納筐(封閉邊界)”兩種場景中,GarmentPile++ 的任務成功率顯著優於現有方法,且平均抓取步數更少,動作更爲高效優雅。
這項技術突破的現實意義在於,它首次讓機器人具備了處理“真實凌亂”的能力。這不僅是算法的進步,更是讓科技真正懂得生活、尊重細節的重要一步。