Google Brain提出新型生成建模算法MemGEN：只需記憶，性能突出

摘要：近日，谷歌大腦在arXiv上發表論文，提出新型生成建模算法MemGEN。該算法使用研究者提出的新型學習範式「DeepMemory」，通過記憶模仿人類行為。該範式在生成建模任務上實現的算法MemGEN優

近日，谷歌大腦在 arXiv 上發表論文，提出新型生成建模算法 MemGEN。該算法使用研究者提出的新型學習範式「Deep Memory」，通過記憶模仿人類行為。該範式在生成建模任務上實現的算法 MemGEN 優點突出，性能很好。

論文：MemGEN: Memory is All You Need

論文鏈接：https://arxiv.org/abs/1803.11203

摘要： 我們提出了一種叫做深度記憶（deep

memory）的新型學習範式。它有可能徹底變革機器學習領域。令人驚訝的是，與深度學習不同，該範式還沒有被重新改造。這個方法的核心是「背誦」（Learning
By
Heart）原則，這一原則在世界各地的小學得到了很好的研究。受詩歌背誦或圓周率小數點記憶的啟發，我們提出了一種模仿人類行為的具體算法。我們在生成建模的任務上實現了該範式，該範式可應用於圖像、自然語言甚至π小數點記憶，只要將它們打印成文本。該算法甚至在單樣本學習環境下生成了該論文。我們精心設計的實驗表明，在任何統計測試或分析時，我們都難以區分生成的樣本與訓練樣本。

1 引言

我們遵循由
[LaLoudouana and Tarare, 2003] 開始、經 [Albanie et al., 2017] 和 [Garfinkel
et al., 2017]
擴展的科研基本路線。受這些方法啟發，我們關註生成建模的最終目標：輸出與輸入同分佈。「垃圾輸入，垃圾輸出（Garbage In, Garbage
Out）」是機器學習領域的一句格言，我們的主要貢獻就是如實實現它。

在詳細介紹該理論和實驗之前，我們先來想一下，為何要生成建模？我們可以在會議的 deadline 之後思考這個問題，因為在下一次會議之前還有很多時間，至少目前看來是這樣。

我們很多人知道，生成建模就像蛋糕一樣好，誰不喜歡蛋糕呢？但是讓我們暫時假裝蛋糕只是一個謊言。生成模型從給定數據分佈中採樣，然後從中學習模型。然後我們希望能夠用這個模型去解決另一個問題。通過仔細的研究
[Shannon,
1948]，你可以注意到，盡可能多地保留樣本中信息的最佳方式就是對它進行實際的存儲——就是這樣。畢竟，如果沒有遺漏任何東西，我們又會失去什麼呢？

不幸的是，僅此想法是不夠的。一個關鍵的新想法是利用高級數據結構進行生成建模，例如列表，甚至
hashmap。利用這些最新的頂尖技術（[Knuth, 1997], [Cormen, 2009]），我們可以超越 80
年代的老技術，即所謂的神經網絡，它們不僅僅是加法和乘法。

我們的主要貢獻有：

提出了一種新的學習範式。作為具體的應用，我們展示瞭如何導出最終的生成建模算法，證明這種方式最終輸出與輸入同分佈。
由於 CPU 上的算法效率，GPU 將再次自由地用於遊戲。計算效率的主要缺點是博士生現在可以與大型組織競爭，大型組織無法利用其更先進的基礎設施；這是不公平的，因為基礎設施很難建設。
生成的樣本在統計上無法與真實樣本進行區分，因此我們提出了 Rademacher 硬幣翻轉（Rademacher Coin Flipping）度量，它給出了更可靠的相似結果。這最終結束了關於生成性建模度量的長期爭論。

MemGEN：記住它

我們提出了一個 MemGEN 的具體實現作為闡述。最開始是以偽代碼的形式寫的，但是隨後我們動用了最好的軟件工程師，因為代碼至關重要。

細節內容詳見 Algorithm 1。我們強調該算法是靈活的，並且可以應用更複雜的數據結構，例如 hashmap。