99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁(yè)精彩閱讀AI人工智能的下一個(gè)拐點(diǎn):圖神經(jīng)網(wǎng)絡(luò)迎來(lái)快速爆發(fā)期
AI人工智能的下一個(gè)拐點(diǎn):圖神經(jīng)網(wǎng)絡(luò)迎來(lái)快速爆發(fā)期
2020-03-25
收藏
AI人工智能的下一個(gè)拐點(diǎn):圖<a href='/map/shenjingwangluo/' style='color:#000;font-size:inherit;'>神經(jīng)網(wǎng)絡(luò)</a>迎來(lái)快速爆發(fā)期

作者 | 劉忠雨

來(lái)源 | AI 前線

神經(jīng)網(wǎng)絡(luò)(GNN,Graph Neural Networks)是 2019 年 AI 領(lǐng)域最熱門(mén)的話題之一。圖神經(jīng)網(wǎng)絡(luò)是用于圖結(jié)構(gòu)數(shù)據(jù)的深度學(xué)習(xí)架構(gòu),將端到端學(xué)習(xí)與歸納推理相結(jié)合,業(yè)界普遍認(rèn)為其有望解決深度學(xué)習(xí)無(wú)法處理的因果推理、可解釋性等一系列瓶頸問(wèn)題,是未來(lái) 3 到 5 年的重點(diǎn)方向。2019 年圖神經(jīng)網(wǎng)絡(luò)有哪些研究成果值得關(guān)注?2020 年它又將朝什么方向發(fā)展?讓我們一起來(lái)一探究竟。


1 GNN:從嘗鮮進(jìn)入快速爆發(fā)期


2019年以來(lái),圖神經(jīng)網(wǎng)絡(luò)技術(shù)(Graph Neural Network, GNN)得到了學(xué)術(shù)界極大的關(guān)注與響應(yīng)。各大學(xué)術(shù)會(huì)議紛紛推出 GNN 相關(guān)的 workshop,在投中的論文中,以 Graph Network 為關(guān)鍵詞的論文數(shù)量也呈現(xiàn)井噴之勢(shì),下圖給出了近三年,上述關(guān)鍵詞在各學(xué)術(shù)會(huì)議上的增長(zhǎng)趨勢(shì):


AI人工智能的下一個(gè)拐點(diǎn):圖<a href='/map/shenjingwangluo/' style='color:#000;font-size:inherit;'>神經(jīng)網(wǎng)絡(luò)</a>迎來(lái)快速爆發(fā)期


GNN 在經(jīng)歷過(guò) 2017-2018 年兩年的孕育期與嘗試期之后,在 2018 年末至今的一年多時(shí)間里,迎來(lái)了快速爆發(fā)期。從理論研究到應(yīng)用實(shí)踐,可謂是遍地開(kāi)花,讓人應(yīng)接不暇。在理論研究上,GNN 的原理解釋、變體模型以及對(duì)各種圖數(shù)據(jù)的拓展適配等工作成為了主流。


而在應(yīng)用實(shí)踐上,GNN 更是展現(xiàn)出了前所未有的滲透性,從視覺(jué)推理到開(kāi)放性的閱讀理解問(wèn)題,從藥物分子的研發(fā)到 5G 芯片的設(shè)計(jì),從交通流量預(yù)測(cè)到 3D 點(diǎn)云數(shù)據(jù)的學(xué)習(xí),我們看到了 GNN 極其廣闊的應(yīng)用前景。本文將對(duì)近一年各大頂級(jí)會(huì)議(如 ICML、NIPS、CVPR、ACL、KDD 等)上的 GNN 相關(guān)論文進(jìn)行梳理,重點(diǎn)從理論研究和應(yīng)用實(shí)踐兩方面解讀過(guò)去一年 GNN 的進(jìn)展。由于時(shí)間和篇幅有限,本文并沒(méi)有對(duì)每一個(gè)方向都進(jìn)行全面的總結(jié)與概括,感興趣的讀者可以根據(jù)文中給出的論文鏈接自行查漏補(bǔ)缺。


2 GNN 的原理、變體及拓展


GNN 作為一個(gè)新興的技術(shù)方向,其原理解讀以及各類變體與拓展構(gòu)成了理論研究的熱點(diǎn),這些論文很好地回答了 GNN 的優(yōu)缺點(diǎn)以及相關(guān)的適應(yīng)性改造問(wèn)題。


2.1 GNN 原理解讀


當(dāng)前 GNN 研究的第一個(gè)熱點(diǎn)在于其相關(guān)能力的理論化研究。在 “How Powerful are Graph Neural Networks?” 和 “On the equivalence between graph isomorphism testing and function approximation with GNNs” 中,都對(duì) GNN 在圖同構(gòu)問(wèn)題上的表現(xiàn)進(jìn)行了探討。圖同構(gòu)問(wèn)題是辨別給定的兩個(gè)圖是否一致,同構(gòu)圖如下圖所示。


這個(gè)問(wèn)題考驗(yàn)了算法對(duì)圖數(shù)據(jù)結(jié)構(gòu)的辨別能力,這兩篇文章都證明了 GNN 模型具有出色的結(jié)構(gòu)學(xué)習(xí)能力。圖中天然包含了關(guān)系,因此許多 GNN 相關(guān)的工作就建立在對(duì)給定系統(tǒng)進(jìn)行推理學(xué)習(xí)的研究上,在這些研究中,“Can graph neural networks help logic reasoning? ” 和 “The Logical Expressiveness of Graph Neural Networks” 論證了 GNN 在邏輯推理上的優(yōu)秀表現(xiàn)。


“All We Have is Low-Pass Filters ” 從低通濾波的層面解釋了 GNN 的有效性。這些原理解讀,有助于我們對(duì) GNN 的特色專長(zhǎng)建立一種更加清晰的認(rèn)識(shí)。

AI人工智能的下一個(gè)拐點(diǎn):圖<a href='/map/shenjingwangluo/' style='color:#000;font-size:inherit;'>神經(jīng)網(wǎng)絡(luò)</a>迎來(lái)快速爆發(fā)期


2.2 GNN 的各類變體


GNN 模型的相關(guān)變體研究是領(lǐng)域內(nèi)的另一個(gè)熱點(diǎn),這些變體在一些方面提升了 GNN 的能力表現(xiàn)。我們知道 GCN 模型來(lái)源于圖信號(hào)上的傅里葉變換,“Graph Wavelet Neural Network” 引入了圖信號(hào)上的小波變換來(lái)改造 GCN 模型,將卷積計(jì)算變換到空域局部鄰域內(nèi)。


將數(shù)據(jù)表征從歐式空間轉(zhuǎn)化到雙曲空間,不僅能獲得更好地層次化表示,同時(shí)能大大節(jié)約空間維度,“Hyperbolic Graph Convolutional Neural Networks”和 “Hyperbolic Attention Networks” 同時(shí)將 GNN 拓展到了雙曲空間上去。

AI人工智能的下一個(gè)拐點(diǎn):圖<a href='/map/shenjingwangluo/' style='color:#000;font-size:inherit;'>神經(jīng)網(wǎng)絡(luò)</a>迎來(lái)快速爆發(fā)期


在 “MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing” 和 “Diffusion Improves Graph Learning”中,同時(shí)將原始 GCN 中的鄰居定義由一階拓展到高階,強(qiáng)化了模型低通濾波的特性。


2.3 GNN 在各類圖數(shù)據(jù)及任務(wù)上的拓展


圖數(shù)據(jù)是一個(gè)種類繁多的數(shù)據(jù)家族,模型對(duì)這些不同類型的數(shù)據(jù)如何適配,是 GNN 發(fā)展的另一重要方向。下表給出了相應(yīng)的概括:


AI人工智能的下一個(gè)拐點(diǎn):圖<a href='/map/shenjingwangluo/' style='color:#000;font-size:inherit;'>神經(jīng)網(wǎng)絡(luò)</a>迎來(lái)快速爆發(fā)期


在圖數(shù)據(jù)相關(guān)的任務(wù)上,圖的分類是一個(gè)重要而又未完全解決好的問(wèn)題,其難處在于如何在圖數(shù)據(jù)上實(shí)現(xiàn)層次化的池化操作從而獲得圖的全局表示,“Graph Convolutional Networks with EigenPooling”中給出了一種新的操作思路。


3 GNN 相關(guān)應(yīng)用


近幾年,以深度學(xué)習(xí)為代表的人工智能技術(shù)給產(chǎn)業(yè)界帶來(lái)了新的變革。該技術(shù)在視覺(jué)、語(yǔ)音、文本三大領(lǐng)域取得了極大的應(yīng)用成果,這種成功,離不開(kāi)深度學(xué)習(xí)技術(shù)對(duì)這三類數(shù)據(jù)定制化的模型設(shè)計(jì)工作。脫離于這三類數(shù)據(jù)之外,圖數(shù)據(jù)是一種更加廣泛的數(shù)據(jù)表示方式,夸張地說(shuō),沒(méi)有任何一個(gè)場(chǎng)景中的數(shù)據(jù)彼此之間是孤立存在的,這些數(shù)據(jù)之間的關(guān)系都可以以圖的形式進(jìn)行表達(dá)。下圖給出了一些圖數(shù)據(jù)的使用場(chǎng)景:


AI人工智能的下一個(gè)拐點(diǎn):圖<a href='/map/shenjingwangluo/' style='color:#000;font-size:inherit;'>神經(jīng)網(wǎng)絡(luò)</a>迎來(lái)快速爆發(fā)期


如何將圖數(shù)據(jù)的學(xué)習(xí)與深度學(xué)習(xí)技術(shù)進(jìn)行深度結(jié)合成為了一個(gè)迫切且緊要的需求。在這樣的背景之下,圖神經(jīng)網(wǎng)絡(luò)技術(shù)的興起恰似一股東風(fēng),第一次使得我們看到了深度學(xué)習(xí)應(yīng)用到圖數(shù)據(jù)之上的曙光。實(shí)際上,在最近一年,GNN 的應(yīng)用場(chǎng)景不斷延伸,覆蓋了計(jì)算機(jī)視覺(jué)、3D 視覺(jué)、自然語(yǔ)言處理、科研、知識(shí)圖譜、推薦、反欺詐等場(chǎng)景,下面我們將逐項(xiàng)概括。


3.1 計(jì)算機(jī)視覺(jué)


在前幾年跨越了視覺(jué)識(shí)別的大門(mén)之后,推理相關(guān)的視覺(jué)任務(wù)已經(jīng)成為了了各大 CV 頂會(huì)的主要關(guān)注點(diǎn),如:視覺(jué)問(wèn)答、視覺(jué)推理、語(yǔ)義圖合成、human-object interaction 等,甚至如視覺(jué)的基礎(chǔ)任務(wù),目標(biāo)檢測(cè)也需要用到推理來(lái)提升性能。在這些任務(wù)中,已經(jīng)大量出現(xiàn)應(yīng)用 GNN 的相關(guān)工作。下面我們以最常見(jiàn)的視覺(jué)問(wèn)答任務(wù)舉例說(shuō)明,在“Relation-Aware Graph Attention Network for Visual Question Answering”一文中,給出了將 GNN 與視覺(jué)模型結(jié)合的示意圖:


AI人工智能的下一個(gè)拐點(diǎn):圖<a href='/map/shenjingwangluo/' style='color:#000;font-size:inherit;'>神經(jīng)網(wǎng)絡(luò)</a>迎來(lái)快速爆發(fā)期


在上圖中,視覺(jué)模型的作用是提取給定圖像中的語(yǔ)義區(qū)域,這些語(yǔ)義區(qū)域與問(wèn)題一并當(dāng)做圖中的節(jié)點(diǎn),送到一個(gè) GNN 模型中進(jìn)行推理學(xué)習(xí),這樣的一種建模方式,可以更加有效地在視覺(jué)問(wèn)答中對(duì)問(wèn)題進(jìn)行自適應(yīng)地推理。


另外一個(gè)有意思的場(chǎng)景是少樣本或零樣本學(xué)習(xí),由于這類場(chǎng)景下樣本十分缺乏,如何充分挖掘樣本之間的潛在關(guān)聯(lián)信息(比如標(biāo)簽語(yǔ)義關(guān)聯(lián)、潛層表達(dá)關(guān)聯(lián))就成為了一個(gè)至關(guān)重要的考量因素,引入 GNN 成為了一個(gè)非常自然的動(dòng)作,相關(guān)工作有“Rethinking Knowledge Graph Propagation for Zero-Shot Learning”、“Edge-labeling Graph Neural Network for Few-shot Learning”。


3.2 3D 視覺(jué)


3D 視覺(jué)是計(jì)算機(jī)視覺(jué)的又一重要發(fā)展方向,世界是 3D 的,如何讓計(jì)算機(jī)理解 3D 世界,具有極其重要的現(xiàn)實(shí)價(jià)值。3D 視覺(jué)中,點(diǎn)云數(shù)據(jù)是一種十分常見(jiàn)的數(shù)據(jù)表示方法。

AI人工智能的下一個(gè)拐點(diǎn):圖<a href='/map/shenjingwangluo/' style='color:#000;font-size:inherit;'>神經(jīng)網(wǎng)絡(luò)</a>迎來(lái)快速爆發(fā)期


點(diǎn)云數(shù)據(jù)通常由一組坐標(biāo)點(diǎn)(x,y,z)表示,這種數(shù)據(jù)由于映射了現(xiàn)實(shí)世界中物體的特征,因此存在一種內(nèi)在的表征物體語(yǔ)義的流行結(jié)構(gòu),這種結(jié)構(gòu)的學(xué)習(xí)也是 GNN 所擅長(zhǎng)的。需要說(shuō)明一點(diǎn)的是,在 3D 視覺(jué)中流行的是幾何學(xué)習(xí) Geometry Learning,當(dāng)下,幾何學(xué)習(xí)與 GNN 在一些場(chǎng)景如點(diǎn)云分割、點(diǎn)云識(shí)別等正在深度融合,相關(guān)論文有 “Graph Attention Convolution for Point Cloud Segmentation”、“Semantic Graph Convolutional Networks for 3D Human Pose Regression”。


3.3 自然語(yǔ)言處理


GNN 與 NLP 的結(jié)合,關(guān)鍵點(diǎn)也在于 GNN 優(yōu)秀的推理能力。GNN 在一些場(chǎng)景如:閱讀理解、實(shí)體識(shí)別與關(guān)系抽取、依存句法分析中都有應(yīng)用。下面我們以多跳閱讀(Multi-hop reading)為例,多跳閱讀是說(shuō)在閱讀理解的過(guò)程中,往往需要在多篇文檔之間進(jìn)行多級(jí)跳躍式的關(guān)聯(lián)與推理,才能找到正確答案,相比較以前的單文檔問(wèn)答數(shù)據(jù)集,這是一個(gè)更具有開(kāi)放性與挑戰(zhàn)性的推理任務(wù)。下圖給出了多跳閱讀的樣例:

AI人工智能的下一個(gè)拐點(diǎn):圖<a href='/map/shenjingwangluo/' style='color:#000;font-size:inherit;'>神經(jīng)網(wǎng)絡(luò)</a>迎來(lái)快速爆發(fā)期


在“Cognitive Graph for Multi-Hop Reading Comprehension at Scale”一文中,作者基于 BERT 和 GNN 的實(shí)現(xiàn)可有效處理 HotPotQA 數(shù)據(jù)集中有關(guān)多跳閱讀問(wèn)題的數(shù)百萬(wàn)份文檔,在排行榜上的聯(lián)合 F1 得分為 34.9,而第二名的得分只有 23.6。


3.4 科研場(chǎng)景


如果我們把原子看做圖中的節(jié)點(diǎn)、化學(xué)鍵看做邊,那么分子就可以表征為一張圖。這種以圖來(lái)表示分子的方法,可以將 GNN 結(jié)合到很多實(shí)際的科研場(chǎng)景中,如蛋白質(zhì)相互作用點(diǎn)預(yù)測(cè)、化學(xué)反應(yīng)產(chǎn)物預(yù)測(cè)等,這些場(chǎng)景有利于將深度學(xué)習(xí)的快速擬合能力帶入進(jìn)藥物研發(fā)、材料研發(fā)等行業(yè)中去,提升研發(fā)效率。


在“Circuit-GNN: Graph Neural Networks for Distributed Circuit Design”一文中,作者將 GNN 結(jié)合進(jìn)高頻電路設(shè)計(jì)(如 5G 芯片等)場(chǎng)景,大大提升了電路電磁特性仿真計(jì)算的效率。下圖給出了系統(tǒng)示意圖:


AI人工智能的下一個(gè)拐點(diǎn):圖<a href='/map/shenjingwangluo/' style='color:#000;font-size:inherit;'>神經(jīng)網(wǎng)絡(luò)</a>迎來(lái)快速爆發(fā)期


3.5 知識(shí)圖譜

由于知識(shí)圖譜本身就是一種圖數(shù)據(jù),因此知識(shí)圖譜 +GNN 的組合自然就成了解決各類知識(shí)圖譜問(wèn)題的新手段。關(guān)系補(bǔ)全或預(yù)測(cè)問(wèn)題是知識(shí)圖譜的一大基礎(chǔ)任務(wù),通過(guò)關(guān)系的推理補(bǔ)全可以大大提升知識(shí)圖譜的應(yīng)用質(zhì)量,下圖給出了關(guān)系補(bǔ)全的一個(gè)實(shí)例:

AI人工智能的下一個(gè)拐點(diǎn):圖<a href='/map/shenjingwangluo/' style='color:#000;font-size:inherit;'>神經(jīng)網(wǎng)絡(luò)</a>迎來(lái)快速爆發(fā)期


在論文“Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs”中,作者選擇用 GNN 對(duì)知識(shí)圖譜進(jìn)行建模,相比之前基于單獨(dú)三元組關(guān)系的推理,基于 GNN 的方法可以更好地捕捉三元組鄰域復(fù)雜而隱含的模式信息,這種優(yōu)勢(shì)對(duì)完成關(guān)系補(bǔ)全任務(wù)具有十分重要的作用。


實(shí)體對(duì)齊是知識(shí)圖譜的另一類任務(wù),給定多個(gè)知識(shí)圖譜,需要首先確定各自圖譜中的哪些實(shí)體描述的是同一個(gè)對(duì)象,完成這項(xiàng)工作才能正確地將它們合成一個(gè)大的知識(shí)圖譜。論文“Multi-Channel Graph Neural Network for Entity Alignment”提出了一種基于 GNN 的實(shí)體對(duì)齊方案,實(shí)驗(yàn)表明,在多個(gè)數(shù)據(jù)集上,該方案均取得了最好的效果。


近幾年,知識(shí)圖譜在工業(yè)界聲勢(shì)日隆,在這種語(yǔ)境下,我們也稱知識(shí)圖譜為業(yè)務(wù)圖譜,在論文“Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks”中,作者成功運(yùn)用 GNN 技術(shù)對(duì)電影業(yè)務(wù)圖譜進(jìn)行建模,在電影流行度預(yù)測(cè)上效果表現(xiàn)十分出色。


另外,知識(shí)圖譜與推薦系統(tǒng)結(jié)合也成了近期一個(gè)比較熱門(mén)的方向,這部分可參考下一節(jié)推薦系統(tǒng)中的講解。


3.6 推薦系統(tǒng)


推薦是各大互聯(lián)網(wǎng)公司十分重要的營(yíng)收手段,因此一直以來(lái)備受工業(yè)界與學(xué)術(shù)界雙重關(guān)注。過(guò)去這幾年,推薦系統(tǒng)由早期的協(xié)同過(guò)濾算法發(fā)展到 MF 模型、再到之后的 Wide&Deep,以及基于 Network Embedding 的方法,可以明顯地看到基于神經(jīng)網(wǎng)絡(luò)的方法正在逐漸占據(jù)主要位置,而 GNN 的出現(xiàn),又一次大大加速了這個(gè)技術(shù)趨勢(shì)。


以電商平臺(tái)的推薦為例,推薦系統(tǒng)的核心數(shù)據(jù)在于用戶 - 商品交互的二部圖,而基于神經(jīng)網(wǎng)絡(luò)的多數(shù)方法將二部圖中的實(shí)體映射到一個(gè)合適的向量空間中去,使得在圖上距離越近的兩個(gè)實(shí)體在向量空間中的距離也越近,如下圖所示:


AI人工智能的下一個(gè)拐點(diǎn):圖<a href='/map/shenjingwangluo/' style='color:#000;font-size:inherit;'>神經(jīng)網(wǎng)絡(luò)</a>迎來(lái)快速爆發(fā)期


GNN 本身是一種深度模型,與推薦系統(tǒng)結(jié)合之后,多層 GNN 模型可以更好地捕捉用戶與商品之間的高階協(xié)同關(guān)系,論文“Neural Graph Collaborative Filtering”中,作者論證了多層 GNN 所帶來(lái)的“Deep”與“High order”效益對(duì)推薦質(zhì)量的有效提升。


除了推薦系統(tǒng)算法模型本身的研究,另一種思路在于如何使推薦系統(tǒng)有效融合進(jìn)額外的信息,如用戶端社交網(wǎng)絡(luò)的信息、商品端商品知識(shí)圖譜的信息。這類信息中通常也蘊(yùn)含了極強(qiáng)的關(guān)系,因此可以非常自然地與用戶 - 商品二部圖合在一起構(gòu)成一個(gè)更大的異構(gòu)圖。下圖給出了與電影知識(shí)圖譜的結(jié)合示意圖:


AI人工智能的下一個(gè)拐點(diǎn):圖<a href='/map/shenjingwangluo/' style='color:#000;font-size:inherit;'>神經(jīng)網(wǎng)絡(luò)</a>迎來(lái)快速爆發(fā)期


有了這樣的圖數(shù)據(jù)抽象之后,引進(jìn) GNN 進(jìn)行推薦建模也就成了一種自然的選擇,相關(guān)論文有 KGAT:“ Knowledge Graph Attention Network for Recommendation”、“Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation”、“Session-based Social Recommendation via Dynamic Graph Attention Networks”等。


另外一個(gè)十分重要的、也與推薦系統(tǒng)息息相關(guān)相關(guān)的業(yè)務(wù)場(chǎng)景是廣告點(diǎn)擊率(CTR)預(yù)測(cè)。該場(chǎng)景下的樣本通常是由多領(lǐng)域的特征數(shù)據(jù)構(gòu)成,比如用戶域、設(shè)備域、廣告域等等,如何建模這些數(shù)據(jù)域之間的特征交互,成為了該任務(wù)的核心。


最近基于神經(jīng)網(wǎng)絡(luò)的方法都是直接將各個(gè)域之間的特征拼接起來(lái)然后送到上層的網(wǎng)絡(luò)模型中,以期得到這些域之間的高階交互,這種簡(jiǎn)單的非結(jié)構(gòu)化的拼接方式,會(huì)大大限制模型的學(xué)習(xí)能力。在“Fi-GNN: Modeling Feature Interactions via Graph Neural Networks for CTR Prediction”一文中,作者將各個(gè)域之間以圖的形式連接起來(lái)(下圖中的 Feature graph),然后用 GNN 建模各個(gè)特征域之間高階復(fù)雜的交互關(guān)系,相比之前的模型取得了最好效果。


AI人工智能的下一個(gè)拐點(diǎn):圖<a href='/map/shenjingwangluo/' style='color:#000;font-size:inherit;'>神經(jīng)網(wǎng)絡(luò)</a>迎來(lái)快速爆發(fā)期


3.7 反欺詐


反欺詐業(yè)務(wù)是各大公司保證運(yùn)營(yíng)業(yè)務(wù)與營(yíng)銷業(yè)務(wù)正常開(kāi)展的前提,通常我們所面臨的欺詐問(wèn)題包括:垃圾評(píng)論、排名欺詐、交易欺詐、薅羊毛、賬戶盜用等。這些欺詐現(xiàn)象的背后往往是黑產(chǎn)團(tuán)伙協(xié)同作案,大大提高了反欺詐業(yè)務(wù)的打擊成本。


關(guān)系數(shù)據(jù)的挖掘是絕大部分反欺詐業(yè)務(wù)開(kāi)展最重要的技術(shù)視角,不論是基于欺詐風(fēng)險(xiǎn)傳播的關(guān)聯(lián)分析還是基于黑產(chǎn)團(tuán)伙模式的結(jié)構(gòu)化挖掘,圖都是反欺詐業(yè)務(wù)人員的首選工具。在這樣的背景下,GNN 也變得極有發(fā)揮空間。例如,論文“Heterogeneous Graph Neural Networks for Malicious Account Detection”中運(yùn)用 GNN 對(duì)支付寶欺詐用戶進(jìn)行識(shí)別檢測(cè),“Spam Review Detection with Graph Convolutional Networks”中運(yùn)用 GNN 對(duì)咸魚(yú)上的評(píng)論進(jìn)行欺詐識(shí)別。


4 GNN 開(kāi)源項(xiàng)目總結(jié)


在 2019 年,圖領(lǐng)域出現(xiàn)了不少新的開(kāi)源項(xiàng)目,一些已有的開(kāi)源項(xiàng)目也有較大的改善。


1 月,阿里媽媽開(kāi)源了國(guó)內(nèi)首個(gè)支持工業(yè)級(jí)圖深度學(xué)習(xí)的框架 Euler,內(nèi)置很多實(shí)用的圖算法。


3 月,德國(guó)多特蒙德工業(yè)大學(xué)的學(xué)者們提出了 Pytorch Geometric ,實(shí)現(xiàn)了諸多 GNN 的變體模型,上線之后獲得了大佬 Yann LeCun 的推薦。


5 月,著名圖學(xué)習(xí)框架 DGL 發(fā)布 v0.3 版本(目前已經(jīng)更新至 0.4.1 版本,也補(bǔ)齊了很多 GNN 的變體模型),0.3 版本在性能上有了非常顯著的提升,相比 0.2 版本訓(xùn)練速度提高了 19 倍,同時(shí)支持億級(jí)規(guī)模的圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練。


12 月,斯坦福大學(xué)的 Jure Leskovec 教授在 NeurlPS 2019 大會(huì)演講中宣布開(kāi)源 Open Graph Benchmark,通過(guò)這一數(shù)據(jù)集可以更好地評(píng)估模型性能等方面的指標(biāo)。


同月,清華大學(xué)知識(shí)工程研究室(KEG)推出了大規(guī)模圖表示學(xué)習(xí)工具包 CogDL,可以讓研究者和開(kāi)發(fā)者更加方便地訓(xùn)練和對(duì)比用于節(jié)點(diǎn)分類、鏈路預(yù)測(cè)以及其他圖任務(wù)的基準(zhǔn)或定制模型。


AI人工智能的下一個(gè)拐點(diǎn):圖<a href='/map/shenjingwangluo/' style='color:#000;font-size:inherit;'>神經(jīng)網(wǎng)絡(luò)</a>迎來(lái)快速爆發(fā)期


5 展望


展望來(lái)年,最可以確定的一點(diǎn)是 GNN 依然會(huì)保持如今快速發(fā)展的態(tài)勢(shì)。從理論研究上看,不斷解構(gòu) GNN 相關(guān)的原理、特色與不足,進(jìn)而提出相應(yīng)地改進(jìn)與拓展,是非常值得我們關(guān)注的部分。另外,關(guān)于一直以來(lái)研究 GNN 所用的標(biāo)準(zhǔn)數(shù)據(jù)集,如 Cora、PubMed,這些數(shù)據(jù)集場(chǎng)景單一、異構(gòu)性不足,難以對(duì)復(fù)雜的 GNN 模型進(jìn)行準(zhǔn)確評(píng)價(jià),針對(duì)這一問(wèn)題,近期斯坦福大學(xué)等開(kāi)源的 OGB 標(biāo)準(zhǔn)數(shù)據(jù)集有望大大改善這個(gè)現(xiàn)狀,在新的評(píng)價(jià)體系下,哪些工作能夠脫穎而出,且讓我們拭目以待。


在應(yīng)用場(chǎng)景上,相信 GNN 能夠帶給我們更加亮眼的工作,除了在視覺(jué)推理、點(diǎn)云學(xué)習(xí)、關(guān)系推理、科研、知識(shí)圖譜、推薦、反欺詐等領(lǐng)域有廣泛應(yīng)用外,在其他的一些場(chǎng)景,如交通流量預(yù)測(cè)、醫(yī)療影像、組合優(yōu)化等,也出現(xiàn)了一些 GNN 相關(guān)的工作。大體上看,如何準(zhǔn)確有效地將圖數(shù)據(jù)與 GNN 二者有機(jī)結(jié)合到相關(guān)場(chǎng)景,是應(yīng)用上需要著重考慮的事情,相信來(lái)年,會(huì)出現(xiàn)更多這樣的工作來(lái)拓展 GNN 的應(yīng)用邊界。


數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼,搜微信號(hào):CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見(jiàn):http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }