图与流形 - 卤蛋的自我修养

本文最后更新于：2020年5月4日上午

图表示

经典的信息处理技术仅适用于来自于欧式空间的数据，例如1维时域的语音、2维空间域的图像、3维空间域的点云等。如果数据来自非欧空间或具备非欧的几何结构呢？

欧式和非欧的几何表示同样具备顶点和边。因此图数据成为更一般的表示形式。

一般而言，不规则的图结构不具备平移不变性。每一个节点的周围结构可能都是独一无二的，像是卷积或者池化这样对于张量数据十分自然的操作，对于图结构却是难以直接定义的，这就是图网络所研究的主要问题：如何对图进行学习？

从图里得出特征，首先需要得到图的嵌入表示（graph embedding）。

下面是三种典型的图嵌入学习模型，可以学会表示图节点，边缘或低维向量中的子图。

这些经典的图网络嵌入算法从数学本质上可视为矩阵分解的推广。

因此，基于图嵌入的矩阵分解、矩阵预处理和矩阵优化等数学问题仍值得研究

深度学习为什么成功？

由以往使用欧式数据深度学习转变为使用非欧式数据的方法，借鉴 CNN、RNN 等神经网络的思想，定义和设计了用于处理图数据的特殊网络——图神经网络。因此，我们可以认为

图神经网络 = 深度学习 + 图论

下面是图神经网络的主要分支

图卷积网络(Graph Convolution Networks)

将卷积运算从传统数据（例如图像）推广到图数据，其核心是聚集特征信息形成邻居，通过非线性转换生成节点的新表示。
- 基于频谱(Spectral-based GCNs)：从图信号处理的角度引入滤波器来定义图卷积，可去除噪声。
- 基于空间(Spatial-based GCNs)：从邻域聚合特征信息，节点的图池化可与图卷积层交错，将图粗化为高级子结构。
图卷积

图卷积网络是许多复杂图神经网络模型的基础，其数学本质是一个低通滤波器。在信号与系统中，我们可以将信号转换到频域，通过频率响应函数滤波，再将信号转换到时域完成滤波的操作。
图注意力网络(Graph Attention Networks)

注意力机制如今已经被广泛地应用到了基于序列的任务中，优点是放大数据中最重要的部分的影响。图神经网络在聚合过程中使用注意力，整合多个模型的输出，并生成面向重要目标的随机行走。
图自编码器(Graph Auto-Encoders)

利用神经网络结构将图的顶点表示为低维向量，其本质是图嵌入。利用多层感知机作为编码器来获取节点嵌入，其中解码器重建节点的邻域统计信息。
图生成网络(Graph Generative Networks)

给定一组观察到的图的情况下生成新的图
图时空网络(Graph Spatial-temporal Networks)

同时捕捉时空图的时空相关性

计算机视觉
- 视觉推理：提取给定图像中的语义区域，这些语义区域与问题一并当做图中的节点，用GNN 模型中进行推理学习
- 少样本或零样本学习：充分挖掘样本之间的潜在关联信息（比如标签语义关联、潜层表达关联）
3D 视觉
- 点云学习：学习表征物体语义的潜在流形结构。几何学习与 GNN 在一些场景如点云分割、点云识别等正在深度融合
自然语言处理
- 关系推理：阅读理解、实体识别与关系抽取、依存句法分析中都有应用。
科研场景
- 用图来表征分子、DNA和电路等，将GNN与其他领域交叉，如蛋白质相互作用点预测、化学反应产物预测、电路电磁特性仿真计算等。