摘要:当前在材料、化学等领域中,用于材料性质预测或机器学习势模型开发的图神经网络(GNN)设计,本质上都在尝试对晶体或分子结构所包含的所有信息进行完备表示,从而准确学习结构-组分-性质之间的物理规律,实现从晶体或分子结构到材料性质的精准预测。
当前在材料、化学等领域中,用于材料性质预测或机器学习势模型开发的图神经网络(GNN)设计,本质上都在尝试对晶体或分子结构所包含的所有信息进行完备表示,从而准确学习结构-组分-性质之间的物理规律,实现从晶体或分子结构到材料性质的精准预测。
晶体或分子结构主要包含以下信息:
结构中每个组分(元素)的信息;每个元素位点的邻居的几何拓扑信息;每个元素位点邻居的电子相互作用信息;晶体结构的对称性信息;结构中元素位点之间的远程相互作用信息。基于这五点,GNN的设计中应包含相应的组件:首先,节点的元素嵌入表示通常基于预训练的元素周期表知识;其次,为了准确地描述元素位点邻居的几何拓扑,从早期的CGCNN通过成键二元系统(节点代表原子,边代表原子连接)传播信息,到iCGCNN引入基于Voronoi单元格的脊来确定原子间边缘,捕捉局部几何关系,再到ALIGNN采用二面角-角度-成键的多层嵌套子图或Line Graph表示多元相互作用,以及GeoCGNN使用高斯径向基函数和Monkhorst Pack特殊点的k点网格平面波编码局部几何信息,最后到M3GNet的多体相互作用模块设计,逐步完善了几何拓扑的描述;第三,针对位点邻居的电子相互作用表达,虽然直接引入类似DFT中“赝势”的策略难以实现,但通过间接方法如DPA-2的多任务预训练(学习多种化学与材料体系)或构建原子特征时引入电负性、电离态、外层电子数和氧化态等高维嵌入,以及CHGNet通过显式包含磁矩学习电子轨道占据,增强了对电子相互作用的描述;第四,对于晶体结构的对称性信息,主要采用等变GNN组件设计,如E(3)等变性组件,确保模型能够处理晶体结构的对称性变化,例如Graphormer架构中实现SO(3)-等变向量处理以适应旋转对称性;第五,针对位点之间的远程相互作用信息,主要通过消息传递框架实现,如CHGNet通过图卷积层传播信息捕捉长程相互作用,或MEGNet引入全局状态信息参与图更新,以及Graphormer使用Transformer架构处理长距离依赖关系,从而实现对结构中远程相互作用的有效表示。
上海交通大学汪洪和惠健研究团队的杜红伟等提出的DenseGNN模型在晶体或分子结构的信息表示方面,针对上述五点信息进行了相应的设计和优化,具体如下:
1. 每个组分(元素)信息。DenseGNN通过Local Structure Order Parameters Embedding (LOPE)策略来优化原子的嵌入表示。LOPE包括原子嵌入和方向解析嵌入,通过径向分布函数(RDF)和高斯窗口函数的乘积积分来描述局部原子环境,从而提供关于局部原子环境的信息,如邻近原子的密度和分布。
2. 每个元素位点的邻居的几何拓扑信息。DenseGNN利用LOPE策略来捕捉原子的局部环境和配位信息。LOPE通过计算中心原子与邻近原子之间的距离,并考虑邻近原子相对于中心原子的方向,提供更详细的局部原子环境描述,包括方向和各向异性信息。
3. 每个元素位点邻居的电子相互作用信息。DenseGNN直接在构建原子特征时,引入电负性、外层电子数和氧化态,嵌入到高维空间等策略提供电子相互作用信息的表示。虽然没有直接引入类似DFT中的“赝势”策略,但DenseGNN通过LOPE和Dense Connectivity Network (DCN)的设计,能够间接从材料性质的反馈中捕捉到电子相互作用的信息,尤其是在多体位点间相互作用的表达上。
4. 晶体结构的对称性信息。DenseGNN的架构中实现了E(3)-等变图网络设计,以适应晶体结构的平移,旋转对称性等。
5. 元素位点之间的远程相互作用信息。DenseGNN通过和层次节点-边-图残差网络(HRN)来构建非常深的GNN,这有助于捕捉元素位点之间的远程相互作用信息。DCN设计使得每个图卷积层可以直接访问所有前层的特征信息,从而实现有效的特征重用和信息传播。
Figure 1, Architecture and components of the DenseGNN.
Figure 2, Representation of local chemical environment in crystal structure.
Figure 3, Comparison of test MAE results on MatBench datasets.
Figure 4, Comparison of test MAE results on JARVIS-DFT datasets.
Figure 5, Test MAE changes after fusing DCN and LOPE strategies.
Figure 6, Comparison of edge connections among models on Matbench datasets.
Figure 7, Extrapolation performance test comparison between DenseGNN and reference models.
论文链接:
来源:知社学术圈