浙江大學周昆:人工智能計算平台加速科研成果轉化進程

　　“在新計算平台上，比如智能手機和人工智能，應用基礎研究成果的産業化落地周期大幅縮減，很多不超過五年”。近日，IEEE Fellow、教育部長江學者、浙江大學CAD&CG國家重點實驗室主任和“浙江大學—相芯科技智能圖形計算聯合實驗室”主任周昆教授，在普華資本主辦的科技創新高峰論壇上表示。

　　在題為《虛拟現實與腦科學》的主題演講中，周昆教授回顧了他和團隊過去幾年在虛拟化身和彩色3D打印方向取得的研究成果，剖析了從現實世界到虛拟世界(虛拟現實)和從虛拟世界到現實世界(智能制造)應用中的技術挑戰和解決思路，進而介紹了團隊即将開展的腦信息學方向的研究課題，表示腦科學和人工智能理論基礎研究還有待時日取得突破。在最後總結中，周昆教授表示，人工智能計算平台大大加速了應用基礎研究成果的産業化進程，同時也有效推動了相關領域的理論基礎研究。

　　以下為演講主要内容(有删減)：

　　周昆：各位領導、各位朋友，上午好。很高興受邀來普華資本主辦的科技論壇分享我的科研工作和一些思考。我的演講題目是《虛拟現實與腦科學》。

　　主要包括三部分内容，第一部分是一個關于從現實世界到虛拟世界的課題，即通常所說虛拟現實，是六年前開展的課題;第二部分是一個從虛拟或者數字世界到現實世界的課題，與智能制造有關，是三年前做的;最後是我們即将要開展的研究課題，與腦科學有關。

　　一、從現實到虛拟

　　舉個例子——虛拟化身。

　　在現實世界裡，我們每一個人都有音容笑貌，有穿着打扮，這些構成了我們的形象。通過這樣的形象，親朋好友會對我們有一個印象和認知。在現實世界如此，那在數字世界或網絡空間裡，又是如何?

　　其實，在微信、QQ等社交網絡中，我們也有一個形象。但這個形象具體是什麼?一個ID字符串還是一張頭像圖片?這就是我們這個課題想要解決的問題——為每個人構造出一個具有“音容笑貌”的、可以互動的虛拟形象，并讓其可以應用到多個領域中，我們稱之為虛拟化身。

　　這裡涉及到兩方面的核心技術。首先是虛拟化身的創建。經過大量用戶調查和研究，我們發現，大多數用戶想要的虛拟形象必須一眼看過去“像本人”，同時又要比本人漂亮，因為愛美之心人皆有之，每個人都想要一個更好的自己。怎麼樣高效快捷地為用戶創建出這樣的形象是個難題。其次是虛拟化身的互動。在當前廣泛普及的智能手機上，我們希望能夠支持包括視頻、語音和文本在内的三種虛拟化身互動方式。

　　在虛拟化身創建方面，經過幾年時間，我們研制了一項通過單張肖像照片就能全自動創建出三維虛拟形象的技術。我們設計了一種深度學習算法，采用大量圖像數據訓練了一個端對端神經網絡模型，能夠從單張照片中提取出用戶的臉型、五官、頭發等特征，進行全自動生成與照片相對應的三維虛拟形象。同時還提供了多種方式使得用戶可以對三維形象的臉型、膚色、服飾等進行修改和定制。

　　有了這項技術，任何用戶都可以通過提交一張圖片來生成一個虛拟化身，構成一個虛拟化身世界。在這個世界中，每個人都有一個獨屬于自己的數字形象，千人千面。

　　在虛拟化身互動方面，第一種交互方式是基于視頻。通過智能手機拍攝的用戶視頻，我們可以自動計算出用戶的頭部運動和臉部表情運動，并把這些運動參數作用在一個虛拟化身上，從而實現虛拟化身的實時動畫。第二種方式是語音，通過輸入一段語音，可以是唱歌、朗誦或者聊天語音，就能生成虛拟化身動畫，實現真正具有“音容笑貌”的虛拟化身。最後一種方式是文本，通過輸入一段文字，可以同時生成與文字相對應的語音和虛拟化身動畫。這項技術在智能助手、智能客服、聊天機器人方向有很多應用。

　　前面演示的虛拟化身看上去都很漂亮很可愛，但是和現實世界中的真人形象相比較還遠不夠真實。有些用戶更想要一個非常接近真實自己的虛拟化身，就像照片一樣。我們在這方面也研究了一些技術，例如隻需要一張用戶的肖像照片，我們可以直接生成照片中人物的表情動畫，看上去就像是真實的人物動畫一樣。這就是虛拟化身的進一步發展，我們稱之為虛拟替身。

　　我們在虛拟化身方向已經做了六年的工作，在國際期刊和會議上發表了20多篇論文，在國際上引領了這個方向的研究。這些技術也已經廣泛應用到視頻直播、短視頻、社交、在線教育等多個領域，在包括美國迪士尼、法國歐萊雅和中國華為在内的400餘家企業得到應用，SDK月均訪問量超過8億人次。

　　二、從虛拟到現實

　　舉個例子——3D彩色打印。

　　這個課題研究如何把設計師設計出來的三維數字模型在現實世界中生産制造出來，得到與數字模型完全一樣的真實物體。注意，數字模型外表面具有五顔六色的圖案，因此我們也需要在真實物體表面生成同樣的彩色圖案。

　　與這個課題緊密相關的技術就是3D打印。大家知道，3D打印技術發展很快，是個性化産品定制的賦能技術，已經在機械制造、醫療、文化創意等衆多行業得到應用。3D打印技術的一個最重要優勢是能夠生産出形狀和拓撲高度複雜的産品。

　　另一方面，當前3D彩色打印技術還非常不成熟。打印成本很高，更重要是打印出來的色彩很不真實，完全達不到目前二維噴墨或激光彩色打印機的彩色效果。

　　那在現實生活中，表面色彩豐富的商品和實物是怎樣制造出來的呢?這裡有很多傳統工藝，包括貼花紙、電鍍、上釉等。但這些傳統工藝都嚴重依賴手工操作或一些特殊設備。如何給一個複雜的三維物體表面地上顔料，這是一個沒有解決的難題。以瓷器生産為例，目前大多數生産流程都已實現半自動或全自動的批量生産，但“貼花紙”這一步還要全部依賴手工。

　　2015年，我們發明了一項新技術——計算水轉印，用普通二維彩色噴墨打印實現全彩色3D打印。具體的做法是：給一個設計師設計的3D彩色模型，用單色3D打印機打印出表面沒有彩色圖案的素模，然後通過我們發明的水轉印模拟計算得到對應于彩色模型的二維圖案，再用普通二維噴墨彩色打印機把這個圖案打印在水轉印膜上，最後通過水轉印操作，把這個二維圖案轉移到三維素模表面，最終得到表面具有彩色圖案的實物。

　　水轉印這項工藝已經有幾十年曆史了。将一張塗滿顔料的水轉印高分子膜放置在水面上，然後将需要上色的物體浸入水裡，在水壓力的作用下，高分子膜上的顔料就會附着在物體表面上，這就是水轉印上色的全過程。這項工藝在汽車、電子産品、家具等各領域有大量應用。

　　但目前這一工藝還隻能處理像大理石、迷彩色等重複性圖案，無法進行複雜圖案的精準上色。我們發明的技術為整個水轉印過程建立了一個可計算的模型。通過計算和控制水轉印的每一道工序，來最終實現3D全彩打印的效果。

　　這項成果2015年公布後，成果視頻在Youtube上被觀看了100萬餘次。國内外各大媒體包括中央電視台、新華社、美國的《Wired》等都進行了專題報道。

　　三、腦信息學

　　這是我們接下來将要開展的一個研究課題。前不久，華中科技大學牽頭聯合浙江大學和幾家科研院所一起申請到國家自然科學基金委信息科學部的一個重大項目。

　　這個項目旨在研究腦空間信息中腦連接的高分辨光學成像與可視化，實際上就是研究腦組織中神經元形态和神經元連接結構。整個項目包含四個課題，第一和第二課題是做測量，通過光學或其他測量手段來獲得腦連接結構和動态數據。這些數據提供給第三課題來進行信息處理和可視化。最終，第四課題會形成腦連接數據庫并繪制腦圖譜。浙江大學負責第三課題研究。

　　為什麼要做這方面研究?這裡借用北京大學黃鐵軍教授的一張PPT來說明。把大腦的工作機理搞清楚是一個非常長期的目标，但是現在我們已經有很好的手段可以測量大腦的結構。如果能弄清楚腦神經元連接結構，計算機科學家就可以構造和模拟出具有類似于腦神經元網絡結構的計算機，一方面可以在一些特定功能上使得計算機像大腦一樣工作，另一方面也能反過來推動對大腦工作機理的研究。

　　因此，搞清楚腦連接結構是一個很重要的問題。

　　要搞清楚腦連接結構需要非常高精度的測量，會産生大量的數據。以小鼠為例，一立方厘米腦容量，測量得到的原始數據量可以達到8TB。而人腦數據量會超過10PB，相當于20萬部4K高清電影。

　　如此大量的數據必然帶來很多挑戰，例如标準化、知識化和可視化。首先，隻有建立标準化的處理流程才能支持工業化大科學研究，才能支持科研機構和國家間的數據共享和合作;其次，要通過AI技術從原始數據中抽取出特征，将數據知識化;最後，還需借助可視化工具或軟件來輔助數據分析。這些内容也就是我們第三課題将要開展的研究工作。

　　四、總結

　　最後總結一下在這三項課題研究中我學習到的幾點體會。從計算機技術發展的角度看，我們所經曆的計算平台在過去幾十年已經發生多次演化，從最早的大型計算機，到個人計算機、互聯網、雲計算、智能手機，再到今天如火如荼的AI平台，每一次計算平台的演化，都帶來了新的機遇和挑戰，推動了産業發展。

　　我的第一點體會是AI作為新的計算平台将會比過去計算平台帶來更廣泛和更深入的影響，會賦能到很多行業和産業，也将促進相關學科的研究。前面我們談到的虛拟現實、智能制造和腦信息學都是很好的例子。

　　第二點體會，在新的計算平台上，應用基礎研究成果的産業化落地周期将會大幅縮短。二十年前我們研究出來的一些技術可能要經過10年甚至15年時間才能真正在産業界得到廣泛應用。在今天，很多應用基礎研究成果，特别是AI應用研究成果，都能快速在産業界落地。近幾年湧現的大批技術驅動型初創企業很好地說明了這一點。如果說在雲計算平台上，以阿裡雲為代表中國企業已經在全球市場上做到了幾分天下，那麼在智能手機和AI計算平台上，中國科技企業可能具有更大的機會。

　　最後一點體會，盡管新計算平台極大地促進了理論基礎研究，但要實現重大突破還需要耐心。例如前面提到的要造出真正像大腦一樣工作的計算機還需要很長時間，也需要國家和社會各界的長期支持。