六月婷婷导航福利在线|国产日产欧产精品网站|欧美亚洲日韩国产综合网|亚洲中字幕永久在线观看|精品四虎免费观看国产高清|亚洲日本欧美一区二区三区|91国自产精品中文字幕亚洲|无码欧精品亚洲日韩一区app

首頁 > 資訊 > 要聞 > 正文

這只機器狗愛學習會“推理” 騰訊Max能靈活應對環(huán)境并聰明預判

2023-06-15 09:14:01來源：深圳商報

機器狗通過深度強化學習，已具備一定的推理和決策能力。騰訊供圖深圳新

機器狗通過深度強化學習，已具備一定的推理和決策能力。騰訊供圖


(資料圖片僅供參考)

深圳新聞網2023年6月15日訊（深圳商報記者 陳姝）6月14日，騰訊Robotics X機器人實驗室公布了智能體研究的最新進展，通過將前沿的預訓練AI模型和強化學習技術應用到機器人控制領域，讓機器狗Max的靈活性和自主決策能力得到大幅提升。

讓機器狗像人和動物一樣靈活且穩(wěn)定地運動，是機器人研究領域長期追求的目標，深度學習技術的不斷進步，使得讓機器通過“學習”來掌握相關能力，學會應對復雜多變的環(huán)境變得可行。

預訓練和強化學習

靈活應對復雜環(huán)境

騰訊Robotics X機器人實驗室通過引入預訓練AI模型和強化學習技術，可以讓機器狗分階段進行學習，靈活應對復雜環(huán)境。

第一階段通過游戲技術中常使用動作捕捉系統(tǒng)，研究員收集真狗的運動姿態(tài)數據，包括走、跑、跳、站立等動作，并利用這些數據，在仿真器中構建了一個模仿學習任務，再將這些數據中的信息抽象并壓縮到深度神經網絡模型中。

在模仿學習的過程中，神經網絡模型僅接收機器狗本體感知信息作為輸入，例如機器狗身上電機狀態(tài)等。再下一步，模型引入周邊環(huán)境的感知數據，例如可以通過其他傳感器“看到”腳下的障礙物。

第二階段，通過額外的網絡參數來將第一階段掌握的機器狗靈動姿態(tài)與外界感知聯(lián)系在一起，使得機器狗能夠通過已經學會的靈動姿態(tài)來應對外界環(huán)境。當機器狗適應了多種復雜的環(huán)境后，這些將靈動姿態(tài)與外界感知聯(lián)系在一起的知識也會被固化下來，存在神經網絡結構中。

第三階段，利用上述兩個預訓練階段獲取的神經網絡，機器狗才有前提和機會來聚焦解決最上層的策略學習問題，最終具備端到端解決復雜的任務的能力。

障礙追逐游戲

模擬人類的推理方式

為了測試Max所掌握的這些新技能，研究員受到障礙追逐比賽“World Chase Tag”的啟發(fā)，設計了一個雙狗障礙追逐的游戲。

在機器狗障礙追逐比賽中，游戲場地大小為4.5米×4.5米，其中散落著一些障礙物。游戲起始，兩個MAX機器狗會被放置在場地中的隨機位置，且隨機一個機器狗被賦予追擊者的角色，另一個為躲避者，同時，場地中會在隨機位置擺放一個旗子。

追擊者的任務是抓住躲避者，躲避者的目的則是在保證不被抓到的前提下去接近旗子。如果躲避者在被抓到之前成功觸碰到旗子，則兩個機器狗的角色會瞬間發(fā)生互換，同時旗子會重新出現(xiàn)在另一個隨機的位置。

從這個游戲看來，在基于預訓練好的模型下，機器狗通過深度強化學習，已經具備一定的推理和決策能力：

比如，當追擊者意識到自己在躲避者碰到旗子之前已經無法追上它的時候，追擊者就會放棄追擊，而是在遠離躲避者的位置徘徊，目的是為了等待下一個重置的旗子出現(xiàn)。

據介紹，游戲中機器狗的所有控制策略都是神經網絡策略，在仿真中進行學習并通過zero-shot transfer(零調整遷移），讓神經網絡模擬人類的推理方式，來識別從未見過的新事物，并把這些知識部署到真實機器狗上。

騰訊Robotics X機器人實驗室長期致力于機器人前沿技術的研究，以此前在機器人本體、運動、控制領域等領先技術和積累為基礎，研究員們也在嘗試將前沿的預訓練模型和深度強化學習技術引入到機器人領域，提升機器人的控制能力，讓其更具靈活性，這也為機器人走入現(xiàn)實生活，服務人類打下了堅實的基礎。

關鍵詞：

責任編輯：hnmd004

最新資訊