欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 汽车 > 维修 > 最近对GFM有点感兴趣,偶读石川老师关于这方面的文章,很感兴趣,整理他的讲稿如下

最近对GFM有点感兴趣,偶读石川老师关于这方面的文章,很感兴趣,整理他的讲稿如下

2025/4/22 11:29:56 来源:https://blog.csdn.net/chairuilin/article/details/142034106  浏览:    关键词:最近对GFM有点感兴趣,偶读石川老师关于这方面的文章,很感兴趣,整理他的讲稿如下

csdn mermaid语法支持不完善,尝试绘制思维导图后,放弃了。幕布链接,可以用这个查看思维导图(可能更清晰一点)(右上角可以切换为思维导图模式)

图基础模型初探

当图模型遇到大模型

大模型解决不了图的问题。

  • 大模型难以处理多样的图任务

  • 大模型难以建模图结构语义。

图模型不具备大模型的能力

  • 有限的表达能力。

  • 深层GNN:过平滑、过压缩问题。

  • 没有涌现能力、难以支持多任务。

图基础模型

主要特点

  • 涌现:随着模型增大,自发地展现新颖的能力。

  • 同质化:模型可以适应不同类型的图任务

图基础模型的关键技术包括

  • 预训练技术:神经网络以一种自监督的方式在大规模图数据上训练。

  • 适配技术:用于将预训练完成的模型适配到特定下游任务或领域来提高性能

相关工作

基于GNN的模型

  • 旨在通过对GNN的模型架构、预训练和适配方面的创新来增强现有的图学习能力。

    • E.g.Graph transformer,Graph GL,Graph prompt

基于LLM的模型

  • 以LLM为基础,将图转化为文本(Text)或标记(Token)的方式,探索将LLM用作图基础模型的可行性。

基于GNN+LLM的模型

  • GNN为中心的架构:将LLM的输出作为GNN的增强特征

  • 对称架构:将GNN和LLM的输出对齐。

  • LLM为中心的架构:利用GNN提升LLM的表现。

石川老师组的工作

  • 好多篇图transformer等的顶会

未来研究方向

提升数据量和数据质量

改进骨干架构和训练策略

模型评估和寻找杀手级应用

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词