酷播亮新聞
機器之心報道
參與：張倩、李澤南
在OpenAI 推出強化學習課程 Spinning Up後不久。昨天，DeepMind 與 UCL 合作推出了一門深度學習與強化學習進階課程，以在線視頻形式呈現。該課程共有 18 節課，每節課都長達 1 小時 40 分鐘，內容從深度學習框架 TensoFlow 的介紹到構建遊戲智能體，可謂全面。
課程地址：https://www.youtube.com/playlist?list=PLqYmG7hTraZDNJre23vqCGIVpfZ_K2RZs
該課程最初在倫敦大學學院（UCL）進行，為方便在線觀看進行了錄像。多位 DeepMind 的研究人員、UCL 教師參與了課程的設計。
參與課程製作的 DeepMind/UCL 團隊
課程由兩部分組成，一是包含深度神經網路的機器學習，二是利用強化學習進行預測和控制，兩個部分相互穿插。在探討深度學習的過程中，這兩條線交匯在一起，其中的深度神經網路被訓練為強化學習背景下的函數逼近器。
課程中的深度學習部分首先介紹了神經網路及使用 TensorFlow 的監督學習，接下來探討了卷積神經網路、循環神經網路、端到端及基於能量的學習、優化方法、無監督學習、注意力及記憶。涉及的應用領域包括目標識別和自然語言處理。
第一課視頻截圖
深度強化學習部分介紹了馬爾科夫決策過程、動態規劃、無模型預測與控制、值函數近似、策略梯度方法、學習與規劃整合、探索/利用困境等。涉及的應用領域包括學習玩經典棋盤遊戲或電子遊戲等。
第一課視頻：
從第一課來看，本課程將講解 DeepMind 的 AI 方法，深度強化學習在雅達利、AIphaGo 等遊戲中的應用。
課程目錄
深度學習 1：基於機器學習的人工智慧簡介
深度學習 2：TensorFlow 簡介
深度學習 3：神經網路基礎
強化學習 1：強化學習簡介
強化學習 2：探索和利用
強化學習 3：馬爾科夫決策過程及動態規劃
強化學習 4：無模型預測與控制
深度學習 4：圖像識別之外、端到端學習、嵌入
強化學習 5：函數逼近及深度強化學習
強化學習 6：策略梯度及 Actor Critic 演算法
深度學習 5：用於機器學習的優化
強化學習 7：規劃與模型
深度學習 6：用於自然語言處理的深度學習
強化學習 8：深度強化學習進階主題
深度學習 7：深度學習中的注意力與記憶
強化學習 9：深度強化學習智能體概覽
深度學習 8：無監督學習和生成模型
強化學習 10：經典遊戲案例學習
課程門檻
當然，這樣一門進階課程也是有一定門檻的。授課者提到，去年就有很多人抱怨課程負擔太重。選這門課程的人需要懂 Python，還要有很多其他知識儲備。另外，由於授課者都是活躍在學界的頂級研究者，課程會直接延伸到當前的研究前沿。
教師寄語：做好準備，迎接挑戰！（brace yourselves！）
今天有哪些論文值得一讀？掃碼開啟訂閱，每天15:00及時速遞。
