铜仁市论坛

首页 » 分类 » 问答 » 图注意力网络,结构在神经网络中的复兴
TUhjnbcbe - 2021/7/2 22:54:00

点上方人工智能算法与Python大数据获取更多干货

在右上方···设为星标★,第一时间获取资源

仅做学术分享,如有侵权,联系删除

转载于:机器之心

图注意力网络的一作PetarVeli?kovi?接过了接力棒,也在Twitter上晒出了自己的博士论文。这些大神是约好了吗?在一项针对年到年各大顶会论文关键词的统计中,「图神经网络」的增长速度位列榜首,成为上升最快的话题。在图神经网络出现之前,尽管深度学习已经在欧几里得数据中取得了很大的成功,但从非欧几里得域生成的数据得到了更广泛的应用,它们也需要有效的分析,由此催生了图神经网络。图神经网络最初由FrancoScarselli和MarcoGori等人提出,在之后的十几年里被不断扩展,先后发展出了图卷积网络(GraphConvolutionNetworks,GCN)、图注意力网络(GraphAttentionNetworks)、图自编码器(GraphAutoencoders)、图生成网络(GraphGenerativeNetworks)和图时空网络(GraphSpatial-temporalNetworks)等多个子领域。每个子领域都有一些拓荒者,比如前文提到的ThomasKipf,他和MaxWelling一起开辟了图卷积网络。而今天这篇博士论文的作者PetarVeli?kovi?是图注意力网络的一作,他和GuillemCucurull、YoshuaBengio等人一起完成了图注意力网络的开山之作——《GraphAttentionNetworks》,这篇论文被ICLR接收。发布两年后,该论文被引量已超过。PetarVeli?kovi?现在是DeepMind的研究科学家。他于年从剑桥大学获得计算机科学博士学位,导师为PietroLiò。他的研究方向包括:设计在复杂结构数据上运行的神经网络架构(如图网络),及其在算法推理和计算生物学方面的应用。除了图注意力网络,他还是《DeepGraphInfomax》的一作。在这篇论文中,他和WilliamFedus、YoshuaBengio等人提出了以无监督方式学习图结构数据中节点表示的通用方法,该论文被ICLR接收。PetarVeli?kovi?的博士论文去年就已经完成,只是最近才跟大家分享。这篇论文的题目是《Theresurgenceofstructureindeepneuralnetworks》,共计页,涵盖了PetarVeli?kovi?的上述经典工作和其他关于图神经网络的内容,非常值得一读。论文链接:
1
查看完整版本: 图注意力网络,结构在神经网络中的复兴