2025世界機器人大會8月8日至12日在北京經(jīng)濟技術(shù)開發(fā)區(qū)北人亦創(chuàng)國際會展中心舉行。本屆大會設置3天主論壇和31場系列活動，邀請416位國內(nèi)外專家學者、企業(yè)家、國際機構(gòu)代表，分享新技術(shù)、新產(chǎn)品、新應用。

捷克技術(shù)大學教授瓦賽克·赫拉瓦茨發(fā)表題為《工業(yè)機器人的智能視覺引導與柔性裝配》的演講。

以下是演講內(nèi)容實錄
                          

       大家好！我將從產(chǎn)業(yè)鏈最底層的角度出發(fā)進行分享。我們所從事的是“物理智能”的研究，這是在實際執(zhí)行之前最令人印象深刻的一個階段。
       機器人作為一種工具，能夠與物理世界進行互動。正如牛津大學教授 Michael Brady 所提出的比喻，他曾專注于機器人感知與智能領(lǐng)域的教學與研究，1989年，我曾跟隨他學習。而在此之前，我的另一位教授也在1988年就已提及類似的理念。如今，這一理念被稱為“互動與感知”，我也是在此基礎上展開相關(guān)研究與實踐的。
       我來為大家展示一下我們的實踐經(jīng)驗。這是一個歐洲的項目，主要研究柔性材料的處理，特別是布料的觸覺感知。在該項目中，機器人配備了專門設計的抓取裝置，專門用于處理柔性物質(zhì)。這款機器人能夠完成折疊和展開等操作，例如對T恤進行兩次折疊。為了讓大家更清楚地看到操作過程，我們以兩倍慢速播放。該機器人并非按照固定的扭矩施加力量，而是通過自身的傳感器實時感知環(huán)境，并選擇合適的扭矩和力度進行操作，從而更好地適應柔軟材質(zhì)。這也是當時我們所達到的技術(shù)水平。
       接下來我要介紹的是一項由日本東京農(nóng)工大學的一名學生與捷克技術(shù)大學合作完成的研究成果。該項目實現(xiàn)了機器人學習穿襪子的操作原理。在視頻中可以看到，機器人能夠一次性完成一只襪子的穿戴。后來，這位學生也成為了我們的博士研究生。通過機器人身上的傳感器，我們可以獲取合適的扭矩參數(shù)，從而進行精確的操作嘗試。今天我要分享的是一個更具挑戰(zhàn)性的任務——處理纏繞在一起的線纜，例如服務器中常見的線纜纏繞問題。要解開這些線并不容易，如果沒有良好的交互能力，幾乎無法完成。我們都曾有過這樣的經(jīng)歷：面對一堆纏在一起的繩子或電線，想要解開它們，就必須先理清它們的位置，并觀察它們與其他線纜之間的關(guān)系。機器人也正是基于同樣的原理來進行操作的。在視頻演示中，當機器人開始移動線纜時，它能夠判斷線纜的走向，并找到合適的抓取點，這是完成任務的第一步。通過這一過程，機器人成功實現(xiàn)了對復雜線纜纏繞問題的處理，攻克了這一技術(shù)難題。
       我們所采用的方法基于一系列給定的圖像，其原理是利用不同的視覺差異以及圖像中像素的運動信息。如果在訓練階段使用機器學習的方法，由于沒有現(xiàn)成的數(shù)據(jù)集可供下載，我們必須自行構(gòu)建一個數(shù)據(jù)集，這是一項非常具有挑戰(zhàn)性的任務。接下來我為大家展示我們是如何實現(xiàn)的。這是該系統(tǒng)的外觀結(jié)構(gòu)，在展示圖的左側(cè)，我們列出了兩種線纜的移動方式：一種是垂直方向的移動，另一種是沿著線纜自身方向的移動。為了能夠捕捉這兩種運動形式，我們需要構(gòu)建一個特定的實驗環(huán)境，在該環(huán)境中可以實時獲取運動數(shù)據(jù)以及目標線纜的圖像信息。這些數(shù)據(jù)是通過攝像機捕捉得到的，并采用了光流分析和圖像分段技術(shù)來處理。我們在線纜上設置了熒光標記，并通過交替使用白光和紫外線照明的方式，使得每一幀圖像中熒光的移動與線纜本身的運動能夠一一對應。通過這種方式，我們首先實現(xiàn)了對線纜的抓取，然后將其運動軌跡劃分為若干個連續(xù)的片段。再通過分析各片段之間的運動相關(guān)性，最終實現(xiàn)了機器人對線纜的交互式分割操作。
        關(guān)于抓取點的識別，我們能夠從背景中清晰地分離出目標線纜，這是因為實驗背景采用了藍幕設計，從而更有利于將目標線纜的熒光信號與背景環(huán)境區(qū)分開來。目前，許多研究者也在使用類似的方法，我們也已經(jīng)為此準備了相關(guān)論文，并從去年開始著手撰寫。在數(shù)據(jù)收集階段，我們構(gòu)建了一個名為“移動線纜數(shù)據(jù)集”的數(shù)據(jù)集，并對其進行了后處理，包括色度鍵控、標記檢測與跟蹤、光流計算等步驟，最終完成數(shù)據(jù)的合成。通過這些處理步驟，我們可以進行進一步的計算，并構(gòu)建出人工模擬場景。在實際測試中，我們將真實的線纜放置在系統(tǒng)中，無論背景多么復雜，系統(tǒng)都能夠準確識別并處理。因此，其他研究人員如果希望采用這種方法，也可以在此基礎上進行優(yōu)化或擴展。這正是我們研究成果的一部分。
       右側(cè)的彩色圖盤展示的是移動線纜數(shù)據(jù)集的視頻示例。與現(xiàn)有其他方法相比，我們的方法和數(shù)據(jù)在表現(xiàn)上具有明顯優(yōu)勢。這張圖片清晰地展示了我們方法的優(yōu)勢。在這八張對比圖像中，最后一張是我們提出的方案結(jié)果?？梢钥吹?，在白色小框標記的區(qū)域，場景非常復雜；如果仔細觀察，就能發(fā)現(xiàn)我們的方法與以往研究成果有顯著不同。我們使用這些方法進行了實際場景下的視頻記錄，結(jié)果顯示在最下方一行，從右側(cè)數(shù)第二個圖像展示了我們方法的最佳效果。由此可見，即便在如此復雜的環(huán)境下，我們的系統(tǒng)依然能夠穩(wěn)定運行并取得良好的效果。
       我們即將發(fā)表的第二篇論文的目標，是探索如何利用這一技術(shù)來抓取現(xiàn)場視覺圖像。例如，我們將繩子作為演示對象，展示整個操作過程。這四張圖像展示了數(shù)據(jù)采集的過程，而下方的兩張照片則代表了動作的分段情況。我們使用特定的顏色對這些分段進行了可視化標注。當動作關(guān)聯(lián)性分析啟動后，我們可以非常清晰地捕捉到每一個動作階段。整個過程共分為五個步驟。
       其中，第一步是由人工標注的，并非自動生成。基于這些初始標注，第二步到第五步均由系統(tǒng)自動建議完成。整體效果已經(jīng)相當不錯，特別是考慮到實際電纜操作的復雜性遠高于當前實驗環(huán)境。這些實驗工作主要由學生完成，相關(guān)成果將在今年6月的博士論文答辯中進行展示。
       最后，我想用一個類比來總結(jié)。就像標準的內(nèi)燃機一樣，我們的動作分段技術(shù)目前仍處于實驗室階段，類似于操控電纜這樣的任務。下一步，我們將探索雙臂協(xié)同操作，以進一步完善和提升該方法。距離真正實現(xiàn)工業(yè)級的應用部署，我們還有一定的距離。但正如內(nèi)燃機的發(fā)展歷程一樣，我們相信這項技術(shù)也將逐步走向成熟。
       謝謝！