中國·濟南
山東產業技術研究院智能計算研究院
2022
05 / 24
智研簡報
智/能/計/算? ? ? 計/算/未/來
我院成功召開第一屆理事會第三次會議
聯邦學習前路如何？楊強：已到“合久
必分”的狀態
12 / 02
英偉達讓AI“演技”再上臺階：
僅靠語音驅動1張照片說話，驚訝恐懼表情狠狠拿捏
CONTENTS
目錄
面向“政產學研金服用”，打造研究機構與企業間體系化、標桿化及標準化合作模式
01
智研快訊
《關于開展科技人才評價改革試點的工作方案》政策解讀
智研院成功召開第一屆理事會第三次會議
04
05
02
AI為人類開藥方：準確預測
9000名癌癥患者適用藥物！
智研院成功召開
第一屆理事會第三次會議
? ? ? ?2022年11月21日，山東產業技術研究院智能計算研究院（以下簡稱“智研院”）第一屆理事會第三次會議圓滿召開。本次會議積極落實新冠肺炎疫情防控的有關要求與號召，采取線上分會場的形式開展，分別在山東產業技術研究院、濟南市科技局、中國科學院計算技術研究所、智研院設立了分會場。產研院院長孫殿義、副院長雷斌、院長助理王慧濤、技術經濟部部長丁華，濟南市科技局吳琳，智研院院長陳益強、副院長楊曉東及各部門負責人參加了會議，產研院副院長、智研院理事長雷斌主持了會議。
? ? ? 會議審議通過了調整智研院理事會成員的提議，第二屆理事會成員調整為：產研院副院長雷斌擔任理事長，智研院院長陳益強擔任副理事長，濟南市科技局吳琳、產研院技術經濟部部長丁華，智研院副院長楊曉東擔任理事。
? ? ? ?陳益強院長從團隊建設、學術委員會成立、橫縱向課題、知識產權、產學研合作、創新園建設、重點項目開展情況等方面進行了智研院2022年工作匯報，得到了理事會的充分認可。
智研快訊
NEWSLETTERS
政策導讀
06
聯邦學習前路如何？楊強：已到“合久必分”的狀態
03
智慧建筑平臺成功開發案例——門與五金綜合智能平臺
行業資訊
技術前沿
英偉達讓AI“演技”再上臺階：僅靠語音驅動1張照片說話，驚訝恐懼表情狠狠拿捏
項目進展
?? ? ? ?孫殿義院長表示，智研院將繼續發揮在智能計算產業的人才、技術、資源優勢，加強與新加坡南洋理工大學的合作，推動NTU項目在山東落地；加速RISC-V SoC芯片與山東高速、濰柴動力等龍頭企業的產業對接；在智慧醫療和智慧農業兩個重點應用方向，以示范應用為牽引，推動底層技術的不斷創新。
? ? ? ?雷斌理事長表示，智研院要不斷集聚科技人才，推動科教融合，激發創新活力，引領產業發展，為山東省人工智能產業做大做強提供支撐。吳琳理事表示濟南市科技局高新處將繼續推進智研院舉辦單位調整的相關事項，期待智研院在智能計算領域取得更大的突破。
? ? ? ?接下來，智研院將在第二屆理事會的帶領下，在全體職工的共同努力下，按照新的戰略部署和發展規劃，砥礪奮進，戮力前行，煥發新活力，再創新輝煌！
? ? ? ?建筑業是中國國民經濟重要支柱，然而建筑行業整體數字化水平相較落后，傳統建筑業產值高、盈利能力低、運營效率低嚴重制約了建筑業高質量發展。在建筑行業，門與五金對建筑結構的功能實現發揮著重要的作用，但行業集中度低，專業水平不足是該領域存在的突出問題，導致在建筑建造過程中，常常出現功能缺失或錯誤，產品品質無法保證，安裝施工不標準不規范等后果，因此，亟需通過一種智能信息化平臺，打通數據孤島，流程孤島，決策孤島，實現對門與五金工程的智能化項目管理，τ提升行業整體水平。
? ? ? ?我院開發的門與五金綜合智能平臺，通過AI+BIM智能設計模塊，智能決策模塊，B2B交易系統，提供高度專業精準的門控五金方案，保證門與五金產品的可靠性和準確性，改變門與五金工程建造及供給模式。
? ? ? ?通過門與五金綜合智能平臺的成功應用，加速打造全建筑生命周期般若平臺，通過智能設計、數字孿生、智能決策功能，實現建筑項目全過程的工期可控、造價可控、品質可控，推動山東省智能建筑行業快速發展。
項目進展
PROJECT PROGRESS
智慧建筑平臺成功開發案例--
門與五金綜合智能平臺
第一屆理事會第三次會議
2022
政策導讀
《關于開展科技人才評價改革試點的工作方案》政策解讀
“
”
? ? ? ?近日，中央全面深化改革委員會第二十六次會議審議通過《關于開展科技人才評價改革試點的工作方案》（以下簡稱《試點方案》）。科技部等八部門聯合印發《試點方案》（國科發才〔2022〕255號）。科技人才與科學普及司相關負責同志對《試點方案》的制定背景、基本考慮、試點任務和組織實施等進行了解讀。
? ? ???1.請簡要介紹開展科技人才評價改革試點的背景？
? ? ? ?科技人才評價是人才發展的基礎性制度和深化科技體制改革的重要內容，對培育高水平科技人才隊伍、產出高質量科研成果、營造良好創新環境至關重要。
? ? ? ?黨中央、國務院高度重視科技人才評價工作。習近平總書記在2021年兩院院士大會上的重要講話中指出，要“破四唯”和“立新標”并舉，加快建立以創新價值、能力、貢獻為導向的科技人才評價體系；在中央人才工作會議上的重要講話指出，要完善人才評價體系，加快建立以創新價值、能力、貢獻為導向的人才評價體系，為進一步深化科技人才評價改革指明了方向、明確了要求。
? ? ? ?2018年，中央辦公廳、國務院辦公廳分別印發《關于分類推進人才評價機制改革的指導意見》、《關于深化項目評審、人才評價、機構評估改革的意見》，對分類健全評價標準、改進創新評價方式、加快推進重點領域評價改革、健全完善評價管理制度、推進“三評”改革等作出系統部署。各地方和相關部門認真落實中央要求，出臺破“四唯”等一系列相關改革舉措，科技人才評價改革取得積極進展。但與廣大科研人員的訴求和實現高水平科技自立自強相比，科技人才評價改革還存在落實難、落實不到位的問題，科技人才“獲得感”不強。
? ? ? ?為深入貫徹黨中央關于科技人才評價改革要求，中央深改委把開展科技人才評價改革試點工作作為重點改革任務，由科技部牽頭負責推進。科技部會同有關部門認真落實中央深改委部署和中央人才工作會議精神，研究形成《關于開展科技人才評價改革試點的工作方案》，擬通過改革試點，聚焦國家重大科技創新活動，探索科技人才分類評價的新標準、新方式、新機制，突出國家使命導向，形成可復制可推廣可落實的經驗，推動構建以創新價值、能力、貢獻為導向的科技人才評價體系。
? ? ? ?2.試點工作的基本考慮是什么？
? ? ? ?本次試點工作的思路是，聚焦“四個面向”，圍繞國家科技任務用好用活人才，創新科技人才評價機制，以激發科技人才創新活力為目的，以“評什么、誰來評、怎么評、怎么用”為著力點，以“破四唯”和“立新標”為突破口，以深化改革和政策協同為保障，按照創新活動類型構建以創新價值、能力、貢獻為導向的科技人才評價體系，引導各類科技人才人盡其才、才盡其用、用有所成，為實現高水平科技自立自強和建設世界科技強國提供有力人才支撐。
? ? ? ?本次試點工作的改革路徑是，著眼更好支撐實現高水平科技自立自強，堅持問題導向、分類推進、使用牽引、協同實施的基本原則，從單位內部和外部環境兩個方面進行系統部署，推進改革試點任務。單位內部主要從根據不同科技創新活動類型探索新的評價指
標、方式、周期、內部制度等進行系統設計；外部環境主要從有關部門推動“三評”改革聯
動、構建行業特色的人才評價體系、調整機構績效評估指標、推動落實科研相關自主權等方面部署任務，通過內外協同聯動，探索形成有利于潛心研究的科技人才評價體系。
? ? ? ?本次試點工作的目標是，通過2年的試點，探索形成不同創新活動類型的科技人才分類評價指標和評價方式，科技人才發現、培養、使用、激勵的評價機制更加完善，有利于科技人才成長和更好服務國家科技任務的創新環境不斷優化，形成可操作可復制可推廣的經驗做法。
? ? ? ?3.試點工作的主要著力點有哪些？
? ? ? ?本次試點工作中著力把握以下幾點：
? ? ? ?一是牢牢把握“立新標”的試點目標。進一步明確不同創新活動類型的人才評價導向，結合實際研究提出具體的人才評價指標，并配套實施有利于評價指標落地的評價方式、評價周期、單位內部制度和外部保障機制。
? ? ? ?二是強化國家使命導向。把“國家重大攻關任務”納入創新活動類型，從加大承擔國家重大任務考核評價權重、把完成國家任務納入單位評估重要內容等方面提出試點任務，引導激勵科研單位和科研人員積極承擔國家重大任務。
? ? ? ?三是突出“三評”改革聯動。落實科技人才分類評價改革要求，推進項目評審、機構評估聯動，在科技計劃項目評審、科研機構創新績效評估、科技人才計劃評選中破除“四唯”，完善科技計劃項目管理中的人才評價機制，推動落實試點單位科研自主權。
? ? ? ?四是強化改革協同推進。結合試點單位主管部門的行業特點和主體工作，部署體現行業特色和部門主責主業的試點任務；同步部署地方科技人才評價改革綜合試點任務，為區域科技人才評價改革推進探索經驗路徑。充分集成現有改革政策，強化政策創新。
? ? ? ?4.試點工作主要有哪些重點任務？
? ? ? ?本次試點堅持德才兼備，在加強對科技人才科學精神、學術道德等評價的基礎上，按照承擔國家重大攻關任務、基礎研究、應用研究和技術開發、社會公益研究4類創新活動部署試點任務。其中，承擔國家重大攻關任務的科技人才的評價以支撐服務國家重大戰略
POLICY INTERPRETATION
需求為導向，基礎研究類人才的評價以學術貢獻和創新價值為導向，應用研究和技術開發類人才的評價以技術突破和產業貢獻為導向，社會公益研究類人才的評價主要以服務支撐能力和社會貢獻為導向。針對每一類創新活動，從構建符合科研活動特點的評價指標、創新評價方式、完善用人單位內部制度建設等方面提出相應試點任務。同時，強調要樹立國家使命導向，對承擔和支撐國家科研任務，特別是急難險重科研攻關任務、國家重大科技基礎設施建設任務并作出貢獻的科研人員在考核評價上加大傾斜力度。對地方科技人才評價改革部署綜合試點任務，要求試點地方聚焦本次改革試點重點任務，結合本地區實際，突出區域科技創新和人才發展特色，加強體制機制改革、政策創新和資源集成，對地方人才評價改革進行系統設計，推進綜合改革試驗。
? ? ? ?5.如何推動試點落地見效？
? ? ? ?科技人才評價改革是一項系統工程，復雜程度高、改革難度大，關乎科研人員切身利益。本次試點工作中央高度重視、社會普遍關注、科研人員熱切期盼。試點工作的順利開展和取得實效需試點有關部門、地方和單位積極推動、狠抓落實、形成合力。
? ? ? ?為確保本次試點取得實效，試點工作建立完善的工作體系，明確工作機制、責任分工、進度安排，共同推動試點任務落地落實。科技部作為主責部門，要肩負起組織推動責任并率先改革。試點單位主管部門要探索完善具有行業特色、突出主責主業的人才評價體系，加強對試點單位指導、服務和政策支持。試點地方要突出區域特色，進行改革系統設計，加強試點工作的指導監督、政策支持和服務保障，形成支撐區域創新發展的地區經驗。試點單位要結合單位使命宗旨和國家創新需求，明確改革試點的具體內容，完善人才評價相關制度，打通“最后一公里”，保障試點工作順利推進。
? ? ? ?根據試點工作安排，科技部會同有關部門和試點地方建立了試點工作推進機制，將加強對試點工作的指導監督、跟蹤推進和驗收評估，做到邊試點、邊總結、邊提升，為形成以創新價值、能力、貢獻為導向的科技人才評價制度積累經驗、探索路徑。
技術前沿
ADVABCED TECHNONLGY
AI為人類開藥方：準確預測
9000名癌癥患者適用藥物！
? ? ? ?只需一個AI，9808名癌癥患者對藥物的臨床反應，全能預測。
? ? ? ?而且結果和臨床觀察表現一致。
? ? ?這就是由紐約市立大學Lei Xie團隊帶來的最新成果CODE-AE（context-aware deconfounding autoencoder）。
? ? ? ? 它提出一種新型的上下文自編碼模型，可以預測不同患者對藥物的特異性反應。
? ? ? ?這將對新藥開發和臨床試驗產生重大影響。
? ? ? ?要知道，傳統模式下一種新藥開發、試驗、完全上市，中間需要近10年的時間，消耗的資金也空前龐大，動輒就是10億美元。
? ? ? ?周期會如此之長，是因為新藥在人體內的反應難以預測，往往需要反復試驗進行測試。
? ? ? ?而如果AI能夠利用數據進行預測，將大幅縮短新藥上市時間，降低成本。
? ? ? ?目前，該研究登上Nature子刊《Nature Machine Intelligence》。
? ? ? ?簡單來說，CODE-AE是利用新藥在體外細胞驗證上的數據，來預測藥物在人體身上會產生的反應。
? ? ? ?預訓練主要用了自監督學習，構建一個特征編碼模塊，將體外細胞數據和患者數據的未標記基因表達譜，映射到嵌入空間中。這樣一來可以把一些混雜因素排除掉，讓兩種數據的潛入分布一致，以消除系統偏差。
? ? ? ?這樣就避免了AI模型訓練對患者臨床數據的依賴。
? ? ? ?過去AI在臨床反應預測上效果一直不算好的最大原因，便是想要收集海量、連續臨床反應數據實在是太難了。
? ? ? ?從機制上來看，研究人員將藥物生物標志物分為了源域（source domain）和目標域（target domain）。
? ? ? ?源域表示和測試樣本不同的領域，但是有豐富的監督信息，在這里可以理解為體外細胞驗證的數據。
? ? ? ?目標域是測試樣本所在的領域，無標簽或只有少量標簽，也就是患者數據。
? ? ? ?將不同領域的數據特征映射到同一個特征空間，使其在該空間中的距離盡可能近。
? ? ? ?于是在特征空間中對源域訓練的目標函數，就可以遷移到目標域，提高目標域上的準確率。
? ? ? ?放在該研究背景下，源域和目標域都是藥物生物標志物的數據特征，即藥物靶標的數據特征。
? ? ? ?具體來看模型框架，主要分為三個部分：預訓練、微調和推理。
? ? ? ?預訓練主要用了自監督學習，構建一個特征編碼模塊，將體外細胞數據和患者數據的未標記基因表達譜，映射到嵌入空間中。這樣一來可以把一些混雜因素排除掉，讓兩種數據的潛入分布一致，以消除系統偏差。
? ? ? ?微調階段，是在預訓練的基礎上再加一個監督模型，并利用已經標記的體外細胞數據來進行訓練。
? ? ? ?最后在推理階段，先從預訓練中獲得的患者去歧對其嵌入，然后再利用調優后的模型，來預測患者對藥物的反應。
? ? ? ?
? ? ? ?在這種模式下，CODE-AE具備兩個特點。
? ? ? ?第一，它可以提取不連貫樣本中的常見生物信號和私有表示，從而排除掉由于數據模式不同帶來的干擾。
? ? ? ?第二，將藥物響應信號和混雜因素分離后，還可以實現局部對齊。
? ? ? ?總結來看，CODE-AE可以理解為在標記和無標記數據的非相干數據模式嵌入空間中，選擇唯一特征的過程。
? ? ? ?為了論證模型的有效性，研究人員對9808位癌癥患者的藥物適用情況進行預測。
? ? ? ?如果模型對患者情況預測出的位點結果，和他使用的藥物靶點有關，就證明預測是正確的。
? ? ? ?然后，研究人員將患者分為100個聚類，將59種藥物也分為30個聚類。
? ? ? ?通過這種分析方法，可以讓具有相似藥物反應譜的患者被分在一起。
? ? ? ?在此，我們以肺鱗狀細胞癌患者（LSCC）和非小細胞肺癌患者（NSCLC）的聚類為例。
? ? ? ?在59種藥物中，LSCC最敏感的藥物為吉非替尼、AICAR和吉西他濱。
? ? ? ?其中吉非替尼、AICAR的作用靶點都是一種表皮生長因子受體(EGFR)，吉西他濱常被用于沒有EGFR突變的非小細胞肺癌治療。
? ? ? ?論文表示，和這些藥物作用模式一致，CODE-AE發現使用吉非替尼、AICAR的患者，藥物反應圖譜相似。
? ? ? ?也就是說，CODE-AE發現了患者治療的正確靶點，即可以預測適用藥物。
? ? ? ?據了解，該研究團隊下一步將開發CODE-AE對新藥臨床反應在濃度、代謝方面的預測功能。
? ? ? ?研究人員表示，該AI模型還有可能被調整為用于預測藥物對人體的副作用影響。
? ? ? ?值得一提的是，Nature子刊《Nature Machine Intelligence》專門關注人工智能和生命科學跨學科應用研究，每年收錄論文平均數量在60篇左右。
? ? ? ?2022年，聯邦學習論文數量出現大幅躍升，成為了屢登頂會的香餑餑：
? ? ? ?NeurIPS發布聯邦學習論文41篇，較前一年有近30%的增長幅度；ICML則在2022年收錄聯邦學習論文74篇，幾乎成倍于2021年。
? ? ? ?這個規律同樣存在于頂會AAAI、AISTATS、KDD及CVPR中。
? ? ? ?聯邦學習論文在頂會頻現，相應的，相關產業實踐也進行得如火如荼。
? ? ? ?這個現象的最好解答者，自然是聯邦學習領域的國內最知名大牛：香港科技大學計算機與工程系講座教授和前系主任、中國人工智能學會（CAAI）榮譽副理事長、微眾銀行首席人工智能官楊強教授。
? ? ? ?不僅因為他是CAAI，AAAI，ACM，IEEE，AAAS等多個國際學會Fellow，能夠解惑一二。
? ? ? ?更能激起求知欲的是，這些聯邦學習論文中，有多篇與他帶領的團隊有關聯。
? ? ? ?今年，他在微眾銀行帶領的AI團隊，與上海交通大學、中山大學等機構聯合撰寫了3篇聯邦學習領域論文。
? ? ? ?這3篇論文，以一作身份，被IJCAI 2022、TPAMI 2022、ACM TIST國際人工智能頂級學術期刊和頂級學術會議收錄發表。
- 可信聯邦學習，走的是一條怎樣的路？
? ? ? ?為了解決數據割裂、數據孤島等問題，楊強帶領的微眾銀行AI團隊在國內系統性提出聯邦學習理論。
行業資訊
INDUSTRY INFORMATION
聯邦學習前路如何？
楊強：已到“合久必分”的狀態
? ? ? 楊強
? ? ? 加拿大皇家科學院院士
? ? ? 加拿大工程院院士
? ? ? 香港科技大學特聘教授
? ? ? ?能夠保證各企業在自有數據不出本地，不違規的情況下進行聯合建模，提升機器學習建模效果。
? ? ? ?而后，又于2019年開源首個工業級聯邦學習技術框架FATE，同年6月捐獻給Linux基金會。
? ? ? ?3年時間，在聯邦學習領域探索的公司如雨后春筍。
? ? ? ?聯邦學習發展空前，已在金融、醫療、互聯網等領域落地應用，并延伸出圖聯邦學習、動態聯邦學習、包容性聯邦學習等研究分支。
? ? ? ?從剛開始的2018年至2019年間，FATE和主攻橫向聯邦學習的TensorFlow分庭抗禮，到2019年后，眾多初創公司或以FATE為內核，或推出新系統。
? ? ? ?一路至今，用楊強的話來說，現在的聯邦學習已經進入到“合久必分”的狀態。
? ? ? ?正是在此基礎上，聯邦學習發展出第二階段，可信聯邦學習。
? ? ? ?聯邦學習的發展和應用，一直伴隨著這樣的聲音：
? ? ? ?存不存在為了提高效率和性能，犧牲安全性的可能？
? ? ? ?楊強簡明扼要地解釋道，絕對安全等于絕對低效，絕對高效意味著絕對不安全：“聯合建模要結合安全性和可用性一起看。如果是一個極端安全的模型，安全到不能實際使用，這東西也沒用。”
? ? ? ?對此，論文《聯邦學習中隱私與模型性能沒有免費午餐定理》通過研究給出的答案是：隱私保護、模型性能、算法效率三者需要平衡，且可以平衡。
? ? ? ?在聯邦學習過程中，一個半誠實的攻擊者，通過觀察和了解參與方的數據信息，可能可以推斷用戶的隱私數據。這種針對隱私的攻擊叫做“貝葉斯推斷攻擊（Bayesian Inference Attack）”。
? ? ? ?文章從信息論的角度，為聯邦學習中隱私泄露和效用損失的分析提供了一個通用框架。
? ? ? ?這個理論框架揭示了對于滿足“貝葉斯隱私”的多方計算系統而言，都滿足“｜安全｜+｜效能｜≤常數”這一“安全-效益恒定定律”。
? ? ? ?無免費午餐定理通過量化隱私和效用之間的約束關系，證明信息的相互泄露和模型效能是互相制約的。
? ? ? ?之所以叫“無免費的午餐”，是因為研究表明，一般情況下，隱私和效用的權衡中，必須用一定程度的效用降低來交換隱私的保護，將潛在的隱私損失維持在可接受范圍內。
? ? ? ?那么，能不能發明一種“聰明”的算法，把安全性、模型效能、準確率同時最大化呢？
? ? ? ?微眾銀行AI團隊和中山大學合作發表的另一篇論文——《FedCG：利用條件生成對抗網絡在聯邦學習中保護隱私并保持模型性能》——正面回答了這個問題。
? ? ? ?FedCG，文章提出的一種新的聯邦學習方法，利用條件生成對抗網絡，以實現高水平的隱私保護，同時保持模型的性能。
? ? ? ?具體而言，FedCG將每個聯邦學習參與者的本地網絡分解成一個私有提取器和一個公共分類器，然后保持提取器的本地性來保護隱私。
? ? ? ?它結合條件生成對抗網絡和分割學習，不是暴露提取器，而是通過與服務器共享客戶端的生成器來聚合客戶端的共享知識，從而提高本地網絡的性能。
? ? ? ?實驗表明，與聯邦學習基線相比，FedCG有更好的隱私保護能力，同時在模型性能上也具有競爭力。
? ? ? ?另外，考慮到聯邦學習不是一次性的訓練，它涉及數據的收集、選擇，模型的訓練、推斷甚至交換，整個過程可能面臨非法復制、重新分發、濫用的風險。
? ? ? ?針對于此，結合對模型知識產權保護的思考，微眾銀行AI團隊進行了一項工作：提出一種聯邦深度神經網絡（FedDNN）所有權驗證方案，稱為FedIPR。
? ? ? ?《FedIPR：聯邦學習模型所屬權驗證》一文詳細介紹道，FedIPR方案允許嵌入和驗證私有水印，來申明FedDNN模型的所有權。
? ? ? ?有了這個方案，模型由誰做出、有誰用過、誰進行過模型交易，以及模型的危險性、特別性等，都會得到很好的檢測。
? ? ? ?如此這般，方便了對聯邦學習模型進行全生命周期管理，也對模型知識產權起到保護作用。
? ? ? ?模型的歸屬權驗證一直是業界致力于解決的難題，微眾銀行AI團隊是首個在聯邦學習中融入這項工作的團隊。長遠來看，這項工作有利于數據和模型市場的建立和規范。
? ? ? ?綜合看來，此次陸續發表的3篇聯邦學習論文，分別從理論、實踐、規模化、工程化等不同的角度，對可信聯邦學習進行了全面探索。
? ? ? ?可信聯邦學習的提出，通過提出端到端安全生命周期的管理、FedCG這種防火墻式的安全方法等一系列技術上的提升，再加入許多軟件工程的管理，譬如軟件治理、模型追蹤等，將聯邦學習領域的發展推進了一步。
? ? ? ?至此，聯邦學習為何能夠成為頂會們的香餑餑，也就有了清晰的眉目。
? ? ? ?而且對于聯邦學習的火熱，楊強還這樣評價道：聯邦學習的第二階段，也就是可信聯邦學習，從全世界范圍來看都是剛剛起步，到處都有學者響應。
? ? ? ?但正所謂能用起來的技術才是好技術，那么接下來的一個問題便是：
- 頂會們的“香餑餑”，正如何改變我們的生活？
? ? ? ?正如我們剛才提到的，可信聯邦學習需要處理的那些數據，一般都具備較強的獨立性、隱私性、安全性。
? ? ? ?因此，金融、醫療、物流、政務等場景便成為了聯邦學習發揮其實力極佳的“試驗田”；尤其是在金融場景中，聯邦學習涉足較早。
? ? ? ?聯邦學習現在應用上的發展態勢，用“百花齊放”來形容不足為過。
? ? ? ?例如全球科技巨頭谷歌，國內外學術機構如卡內基梅隆大學（CMU）、北京郵電大學等名校也在致力于研究聯邦學習；在論文全球高被引方面，國外機構谷歌排名第一，而國內機構則是楊強所在的微眾銀行。
? ? ? ?而且與之相關的開源框架也是陸續被提出，例如OpenMined推出的Pysyft、微眾銀行的FATE和谷歌的TFF框架等等。
? ? ? ?從大方向上來看，現在微眾銀行所使用的可信聯邦學習，不單單是能夠完成一個項目那么簡單，更是能夠對項目做一個分析和認證。
? ? ? ?在此能力的背后，微眾銀行所依托的便是全球首個開源的工業級聯邦學習框架——FATE（Federated AI Technology Enabler）。
? ? ? ?而自2019年開源以來，這個框架也在不斷的提升自己的能力。
? ? ? ?像剛才我們提到入圍的幾篇論文，都已經被涵蓋了進來，目前已經步入2.0階段。
? ? ? ?具體到實際案例，可信聯邦學習在金融行業反欺詐上便起到了很好的作用。
? ? ? ?因為在這個過程中所涉及到的數據著實紛繁復雜，包括銀行機構、電商、運營商、政務等等。
? ? ? ?各方都需要保障自己數據的安全、隱私以及所有權，但交易過程中相互之間又有所交織。
? ? ? ?而可信聯邦學習就能在保障這個大前提之下，還能做到挖掘金融行為、消費行為、通信行為、社交行為等眾多特征。
? ? ? ?以及再針對不同細分金融反欺詐業務場景構建專有模型，從而提升金融行業的整體反欺詐能力。
? ? ? ?再如信貸風控，亦是如此。
? ? ? ?以往中小微企業在信貸風控上所面臨的老大難問題，便是信貸評審數據稀缺、不全面、歷史信息沉淀不足等。
? ? ? ?但有了可信聯邦學習之后，就能在確保數據提供方數據安全以及隱私保護的情況下，讓銀行融匯企業經營數據、稅務數據、工商數據、支付數據等多源信息，豐富建模特征體系，提升模型的有效性。
? ? ? ?由此可見，聯邦學習能夠成為頂會、頂刊們的香餑餑，不僅是因為在科研領域中所具備的前沿性，更是因為它在現實場景中正在發揮著不可替代的作用。
? ? ? ?輸入一段臺詞，讓照片“演戲”又進階了！
? ? ? ?這次的AI直接讓“演技”整體上了一個臺階，表演生氣、開心、可憐……各種情緒都不在話下。
? ? ? ?并且，口型、眼神、頭部動作也都讓這個AI狠狠拿捏住了！
英偉達讓AI“演技”再上臺階：
僅靠語音驅動1張照片說話，
驚訝恐懼表情狠狠拿捏
行業資訊
INDUSTRY INFORMATION
? ? ? ?甚至還能調節喜怒哀樂的程度。
? ? ? ?這是英偉達最新推出的一款AI，名為SPACEx （此SPACEx非馬斯克的SpaceX），全稱是可控表達的語音驅動肖像動畫（Speech-driven Portrait Animation with Controllable Expression）。
? ? ? ?其實，在英偉達推出SPACEx之前，已經有不少語音驅動照片的AI問世，那相較于之前那些AI，SPACEx有什么優勢呢？
? ? ? ?人臉動作更穩定，更注重細節
? ? ? ?此前，最常使用的語音驅動照片的AI主要有三個：PC-AVS、MakeItTalk和Wav2Lip。
? ? ? ?但這三個AI都或多或少有些缺陷之處，并且要么只能對口型，要么就只是整體面部控制的比較好，多個功能往往不能兼顧。
? ? ? ?先來說說PC-AVS，它在對圖像和語音進行處理時，會對輸入圖像進行嚴格的剪裁，甚至還會改變姿勢，此外，生成的人臉動作很不穩定。
? ? ? ?而MakeItTalk，在對口型方面效果不是很好，有時候生成的視頻中還會出現空白的地方。
? ? ? ?Wav2Lip的功能則比較單一，它主要是配音AI，只改變唇部的動作，唇部之外的面部表情毫無變化。
? ? ? ?而這些問題，在SPACEx身上通通都被解決掉了，話不多說，直接看看它們之間的效果對比！
? ? ? ?可以看出，無論是細節的口型、眼神，還是整體的面部動作，SPACEx都會更加自然一些。
? ? ? ?而細分到各個具體的功能，SPACEx都集成了哪些功能呢？
? ? ? ?下面這個表格給出了答案，情緒控制、標記面部landmark、頭部轉動和動作生成，SPACEx都能很好地兼顧，不會像以往的模型顧此失彼。
? ? ? ?值得注意的是，SPACEx生成視頻的質量也整體上升了一個臺階，以往同類型的AI最高只能達到384的分辨率，而SPACEx這次已經達到了512X512。
? ? ? ?兼顧這么多功能還能生成高質量視頻，SPACEx又是怎樣做到的呢？
? ? ? ?具體原理
? ? ? ?其中，很大一部分功勞是貢獻的，它是英偉達兩年前公布的一個AI算法。
? ? ? ?它不僅能壓縮視頻的流量，還能保證視頻的畫質。
? ? ? ?并且，face-vid2vid還能讓視頻中的人物隨意扭頭。
? ? ? ?預測好面部landmarks后，來到第二步：Landmarks2Latents，輸入各個圖像的face-vid2vid關鍵點，以控制整個面部表情。
? ? ? ?然后將這些關鍵點對應到上一步輸出的標準面部landmarks上。
? ? ? ?最后一步便能通過face-vid2vid生成器來生成視頻了。
? ? ? ?話說回來，當然SPACEx也不是個全能選手，當輸入有較大的頭部旋轉時，現有的方法表現就不是很好了。
摘自《量子位》
? ? ? ?不過它要求輸入的是一個視頻，而SPACEx則是一個圖片，它倆又是怎么關聯到一起的？
? ? ? ?這得從SPACEx生成視頻的過程來看，主要分三個階段。
? ? ? ?第一個階段可以概括為Speech2Landmarks，即從輸入的語音中來預測各個音節所對應的標準面部landmarks。
? ? ? ?在預測的過程中，還會插入對應的情緒標簽。
掃一掃關注我們
物端AI芯片??
邊緣AI計算設備?高通量AI服務器認知智能與協作計算
增值電信業務經營許可證：陜B2-20210327 |