世界上最大的工業(yè)機(jī)器人公司發(fā)那科，正在開發(fā)可以通過“強(qiáng)化學(xué)習(xí)”訓(xùn)練的新一代機(jī)器人。

　　發(fā)那科東京辦公室里有一臺極聰明的工業(yè)機(jī)器人。給它一份簡單的工作，比如從一個箱子里拿出某種零件并放入另一個箱子里，它將會花一晚上的時間來學(xué)習(xí)如何把這份工作做的更好。第二天，它就能成為這份工作的熟手，就像曾有個專家給它編寫控制程序一樣。

　　去年12月，在東京舉辦的2015國際機(jī)器人展中，發(fā)那科展示了通過強(qiáng)化學(xué)習(xí)來訓(xùn)練的機(jī)器人

　　工業(yè)機(jī)器人可以實現(xiàn)無比精準(zhǔn)且快速的動作，例如抓取，這都是通過非常復(fù)雜的編程來實現(xiàn)的。編寫機(jī)器人的控制程序是非常困難并且費(fèi)時的，所以工業(yè)機(jī)器人只能在嚴(yán)格控制的環(huán)境下使用。

　　發(fā)那科意圖改變這一事實。

　　發(fā)那科的新一代機(jī)器人將使用“深度強(qiáng)化學(xué)習(xí)”的技巧來訓(xùn)練自己。當(dāng)這臺機(jī)器人執(zhí)行的動作時，比如拿起零件，它會同時對此錄像。不論成功還是失敗，這都可以讓它記住這個零件的模樣。這些數(shù)據(jù)會被用來優(yōu)化它的深度學(xué)習(xí)模型。而深度學(xué)習(xí)模型，是一個用來控制機(jī)器人的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。近幾年，深度強(qiáng)化學(xué)習(xí)用于模式識別是一個非常有效的工具。

　　“在8個小時的自學(xué)之后，它可以達(dá)到90%的準(zhǔn)確率。這幾乎和一臺專家編寫控制程序的機(jī)器人一樣”，東京人工智能公司Preferred Networks的 CRO Shohei Hido解釋說，“它可以通宵工作，當(dāng)?shù)诙靵淼綍r，它已經(jīng)把自己調(diào)整好了?！?BR>
　　機(jī)器人研究人員正在測試，強(qiáng)化學(xué)習(xí)是否可以加速并簡化工業(yè)機(jī)器人的編程問題。本月初，谷歌公司發(fā)表了他們使用強(qiáng)化學(xué)習(xí)來訓(xùn)練機(jī)器人拿放物體的研究報告。發(fā)那科的機(jī)器人使用的則是Preferred Networks所編寫的程序。

　　去年8月，作為全世界最大的工業(yè)機(jī)器人公司，發(fā)那科對Preferred Networks投資730萬美金后，這兩家公司在12月東京舉辦的2015國際機(jī)器人展中展示了他們“自學(xué)機(jī)器人”的厲害。

　　Hido表示，使用“學(xué)習(xí)”來編寫控制程序的好處之一就是當(dāng)幾個機(jī)器人協(xié)同工作時，他們可以通過分享各自的數(shù)據(jù)以及學(xué)到的知識來加速學(xué)習(xí)（2016年十大突破技術(shù)之一）。所以，八臺機(jī)器人協(xié)同工作一小時后的表現(xiàn)和一臺機(jī)器人工作八小時后的表現(xiàn)是極其相似的。“我們的目標(biāo)是分散學(xué)習(xí)”，Hido說，“你可以想象一下，在一家工廠里，有數(shù)百個機(jī)器人相互分享信息”。

　　這種分散學(xué)習(xí)的技巧被稱為“云機(jī)器人”，是目前機(jī)器人行業(yè)中最火的潮流。

　　“以發(fā)那科在行業(yè)中的地位，他們考慮強(qiáng)化學(xué)習(xí)技術(shù)是非常合適的”，加州大學(xué)伯克利分校的機(jī)器人學(xué)教授肯-戈德堡（KenGoldberg）說。因為發(fā)那科在全世界出售并安裝過數(shù)量龐大的工業(yè)機(jī)器人，云機(jī)器人將會改變他們對機(jī)器人的使用方式。

　　戈德堡與同事們（包括谷歌的幾位研究員）將這一技術(shù)提升到了一個新高度，他們教機(jī)器人如何通過某種動作去抓取某種形狀的物體，而不僅限于抓取特定物品。他們將在今年5月舉辦的IEEE機(jī)器人及自動控制學(xué)國際大會上發(fā)表相關(guān)的論文。

　　但是，戈德堡表示在機(jī)器人上實現(xiàn)機(jī)器學(xué)習(xí)比一般的電腦系統(tǒng)要難很多。因為控制行動比在圖像中識別圖形復(fù)雜很多。“深度學(xué)習(xí)在模式識別方面得到了非常成功的發(fā)展”，戈德堡說，“你做的遠(yuǎn)遠(yuǎn)不止是機(jī)器人，在大量輸入的情況下，你要能為機(jī)器人設(shè)計相符的行為”。

　　發(fā)那科不是唯一一家正在開發(fā)使用機(jī)器學(xué)習(xí)的機(jī)器人公司。在2014年，瑞士的機(jī)器人公司ABB投資了一家叫Vicarious的人工智能創(chuàng)業(yè)公司。不過，這項投資還沒有任何結(jié)果。