用GAN自動生成法線貼圖，讓圖形設計更輕鬆

摘要：如果設計工具能根據簡單的素描自動生成法線貼圖，那將能夠為圖形設計師提供很大的幫助。 近日，香港城市大學、中國科學技術大學、大連理工大學和湖南大學四所高校的研究者提出了一種使用生成對抗網絡的法線貼圖生成方

如果設計工具能根據簡單的素描自動生成法線貼圖，那將能夠為圖形設計師提供很大的幫助。 近日，香港城市大學、中國科學技術大學、大連理工大學和湖南大學四所高校的研究者提出了一種使用生成對抗網絡的法線貼圖生成方法。 該研究的論文已被將於
  5 月 15-18 日在加拿大蒙特利爾舉辦的 ACM SIGGRAPH 交互式 3D 圖形和遊戲研討會（i3D）接收。

法線貼圖（normal map）在學術研究和商業生產中都有至關重要作用。 對於形狀重建、表面編輯、紋理貼圖和擬真表面渲染等很多圖形應用而言，法線貼圖非常重要。 表面法線貼圖是形狀的高階差分信息，因此在設計流程的早期階段，人類不易準確推理得到。

在各種表示方法中，素描（sketch）能讓設計師比較直觀地傳達自己的設計概念，因為這種方式有很好的多樣性、靈活性、簡潔性和效率。 這也是一種用於展現形狀和其它幾何信息的常用媒介。 使用素描將
  3D 信息傳遞到 2D 域中是人們常常使用的自然方法。 因為表面法線是編碼 3D 信息的最直接的方法之一，所以「素描到法線」是將 2D
概念投射到 3D
空間的主要釋義方法，這在卡通著色、數字表面建模、遊戲場景增強等方面有廣泛的應用。 根據素描自動推導法線貼圖有望成為圖形設計師的有用工具。

近些年來，研究界已經見證了深度神經網絡在各種不同領域的優良能力。 深度神經網絡已經成為了很多問題背後的常用解決方案，尤其是與圖像相關的難題。 具體而言，基於
  GAN 的方法已經在一系列圖像生成問題上取得了出色的表現。 更具體來說，對於基於引導的（guidance-based）圖像生成，GAN
在傳統的深度學習方法的基礎上表現出了顯著的提升。 因為法線信息和素描曲線在圖像域中都有良好的表徵，所以根據素描推導法線貼圖可以使用深度神經網絡來實現。

在本論文中，我們提出了一種交互式的生成系統，其使用了一個深度神經網絡框架來根據輸入素描生成法線貼圖。 在我們的系統中，素描到法線貼圖生成問題被當作了一個圖像轉譯問題——使用一個基於
  GAN 的框架將素描圖像「轉譯」成法線貼圖圖像。 為了增強輸入素描和所生成的法線貼圖之間的對應關係，我們整合了一種條件 GAN
框架，其可以根據條件引導（conditional guidance）[20] 來生成和鑑別圖像。 我們在生成器中使用了 U-net [24]
架構來在生成過程中傳遞平滑的信息流，從而進一步提升像素層面的對應關係。 我們在我們的實現中使用了 Wasserstein
距離，以為網絡更新提供更有效的引導和降低訓練過程的不穩定性。

因為素描是形狀的高度簡化的表示，所以對於單張輸入素描，可能會有多種形狀釋義或可能的法線貼圖。 我們依靠用戶來解決這種模糊性問題。 為了做到這一點，我們提供了一個用戶界面，讓用戶可以直接在輸入素描中提供特定點的法線信息，從而引導法線貼圖生成。 這樣的界面也能擴大法線貼圖的設計選擇範圍。 我們的系統非常高效，可以根據輸入素描和點提示信息實時地生成法線貼圖。

我們進行了廣泛的定量和定性實驗並與其它方法進行了比較，結果表明了我們的方法的有效性。 我們在三種類別的數據上進行了評估，並與 pix2pix
[14] 和 Lun et al. [19]
等其它方法進行了比較，結果表明我們的方法在生成低誤差法線貼圖方面能力出色。 在輸入素描的變化不斷增多的實驗中，通過逐步增多提示點並評估我們方法的穩健性，我們驗證了該方法的用戶交互能力。 我們的方法也可以根據全新的人工繪製的素描而得到看起來合理的結果。 用戶研究進一步證明了我們的方法在用戶感知方面的優勢。

圖
  1：我們的方法的整體工作流程。 我們提出的生成器網絡將單張輸入素描轉換成法線貼圖，其中僅使用很少或不使用用戶干預。 這裡我們使用了 RGB
通道來表示 3D 法線分量。 所生成的法線貼圖可用於多種應用，比如重設表面光照、紋理貼圖等。 比如這裡我們將法線貼圖用於馮氏著色（Phong
shading）。

圖
  2：我們的方法的網絡結構。 在圖左邊是一個訓練數據樣本，其包含一張素描輸入圖像、一個點掩模（point
mask）和基本真值的法線貼圖。 對於被選擇的點，我們將其在掩模 (2) 中對應的值設為 1，並將來自法線貼圖 (3) 的對應點法線複製到素描
(1) 中。 我們將素描輸入 (1) 和點掩模 (2) 連接起來作為生成器 G 的輸入，以求取中間的法線貼圖
(4)；然後再將該中間法線貼圖與素描和掩模一起作為鑑別器 D 的輸入，以驗證中間法線貼圖 (4) 與基本真值 (3)
相比在像素層面上的「真實性」。 這個鑑別信息可在訓練階段引導生成器 G 更新自己的參數。 在測試階段，素描輸入和點掩模只作為生成器 G
的輸入，其輸出會被導出為最終所生成的法線貼圖。 每個層模塊之上或之下的數字表示層的數量，每個模塊左側的數字表示相應網絡層的空間大小。

圖 3：我們的用戶界面。 用戶可以在畫板（右側）選擇位置，然後使用法線空間（左側）為它們分配所需的法線。

表 1：不同方法的誤差情況。 我們將 pix2pix [14]、Lun et al. [19] 和我們的方法的結果與基本真值法線貼圖進行了比較。 這裡給出的值是生成圖像（256×256 像素）中法線區域在像素層面上的平均差異。

圖 4：使用我們的方法生成的法線貼圖示例。 每組的右上角是素描輸入，每組的右下角是與基本真值比較所得到的對應誤差圖。 我們可視化了所生成的法線貼圖的角損失（angular loss），其中紅色通道對應所生成的法線貼圖的誤差，白色是零誤差。

論文：使用深度神經網絡的交互式的基於素描的法線貼圖生成（Interactive Sketch-Based Normal Map Generation with Deep Neural Networks）

論文地址：http://sweb.cityu.edu.hk/hongbofu/doc/sketch2normal_i3D2018.pdf

高質量法線貼圖（normal
 
map）是用於表示複雜形狀的重要媒介。 在本論文中，我們提出了一種使用深度學習技術生成法線貼圖的交互式系統。 我們的方法使用了生成對抗網絡（GAN），能為素描輸入生成高質量的法線貼圖。 此外，我們還能通過整合用戶在所選擇的點上指定的法線來提升我們系統的交互能力。 我們的方法可以實時生成高質量法線貼圖。 我們進行了全面的實驗，結果表明了我們的方法的有效性和穩健性。 我們還進行了全面的用戶研究，結果表明：在用戶感知方面，與其它方法相比，我們的方法所生成的法線貼圖與基本真值（ground
  truth）之間的差異更小。