站長之家（ChinaZ.com）6月20日 消息:日前，Deepmind的一個名為 "Bigger， Better， Faster" 的 AI 算法，在只用了兩小時的時間內(nèi)掌握了26個 Atari 游戲，與人類效率水平相當(dāng)。

(相關(guān)資料圖)

強化學(xué)習(xí)是谷歌深度學(xué)習(xí)中心研究的核心領(lǐng)域之一，它可能有朝一日用 AI 解決許多現(xiàn)實世界的問題。然而，一個大問題是可能會非常低效:強化學(xué)習(xí)算法需要大量的訓(xùn)練數(shù)據(jù)和大量的計算能力。在他們的最新研究中，谷歌深度學(xué)習(xí)中心和米拉大學(xué)和蒙特利爾大學(xué)的研究人員展示了另一種可行的方法。

"Bigger， Better， Faster"的模型（簡稱BBF）在Atari基準(zhǔn)測試中平均表現(xiàn)超出了人類的表現(xiàn)水平。這并不是新鮮事，其他強化學(xué)習(xí)算法也曾在 Atari 游戲中擊敗了人類。

然而，BBF模型只需要兩個小時的游戲時間，這與人類在基準(zhǔn)測試中使用的實踐時間是相同的。因此，這個不需要預(yù)先訓(xùn)練模型的算法達(dá)到了人類學(xué)習(xí)的效率，并且需要的計算能力比舊方法少得多。無模型代理直接從與游戲世界的交互中獲得獎勵和懲罰的信息，并學(xué)習(xí)到最佳的策略。

該團隊通過使用更大的神經(jīng)網(wǎng)絡(luò)、自我監(jiān)控訓(xùn)練方法和其他方法來提高效率。例如，BBF可以在單個Nvidia A100GPU上進(jìn)行訓(xùn)練，而其他方法需要更多的計算能力。

雖然還有29個常用于強化學(xué)習(xí)的游戲尚待測試，但研究團隊指出，BBF 還沒有能夠在所有基準(zhǔn)測試游戲中超過人類的表現(xiàn)水平。然而，將 BFF 與其他模型在55個游戲中進(jìn)行比較，表明這種高效算法在55個游戲中大致與使用500倍更多數(shù)據(jù)的系統(tǒng)持平。

該團隊認(rèn)為，這還表明 Atari 基準(zhǔn)測試仍然是強化學(xué)習(xí)的好的基準(zhǔn)測試，這使得該研究可以為小型研究團隊提供資金支持。

過去的高效強化學(xué)習(xí)算法對擴展方面也顯示出了弱點，而 BFF 沒有限制，并且繼續(xù)能夠通過更多的訓(xùn)練數(shù)據(jù)獲得更高的性能。

該團隊總結(jié)道:“總體來說，我們希望我們的工作能夠激勵其他研究人員繼續(xù)推進(jìn)深度強化學(xué)習(xí)的樣本效率前沿，以最終達(dá)到人類水平的效率表現(xiàn)在所有任務(wù)中。”

更有效率的強化學(xué)習(xí)算法可能會重新確立目前由自我監(jiān)督模型主導(dǎo)的 AI 技術(shù)的局面。

BBF算法相關(guān)論文:https://arxiv.org/pdf/2305.19452.pdf

（舉報）

關(guān)鍵詞：