- 通过神经元修剪在模型编辑方面取得的进展为从大型语言模型中去除不良概念提供了希望。
- 然而,目前尚不清楚在编辑后模型是否具有重新学习修剪概念的能力
- ——>论文通过在重新训练期间跟踪修剪神经元中的概念显著性和相似性来评估模型中的概念重新学习
- 研究结果表明,模型可以通过将高级概念重新定位到较早的层,并将修剪的概念重新分配给具有相似语义的激活神经元,从而在修剪后迅速恢复性能。
- 虽然神经元修剪提供了对模型概念的解释能力,但文中的结果强调了永久去除概念以提高模型安全性的挑战
论文略读:Large Language Models Relearn Removed Concepts
2024/10/24 13:31:08
来源:https://blog.csdn.net/qq_40206371/article/details/140246495
浏览:
次
关键词:论文略读:Large Language Models Relearn Removed Concepts
版权声明:
本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。
我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com
热文排行
最新新闻
- OpenText ALM Octane,为您的 DevOps 管道提供质量保证
- 网络编程-UDP以及数据库mysql
- 博客摘录「 AXI三种接口及DMA DDR XDMA介绍(应用于vivado中的ip调用)」2024年6月10日
- 防御课第一次作业第一天笔记整理
- 吐槽一次qiankun微前端的框架
- 网络攻击的常见形式
- 【GD32 MCU入门教程】四、GD32 MCU 常见外设介绍(3)NVIC 介绍
- Oracle重修控制文件的方法
- OpenAI GPT-3 API error: “This model‘s maximum context length is 4097 tokens“
- 【AIGC】MetaGPT原理以及应用
推荐新闻
- OpenText ALM Octane,为您的 DevOps 管道提供质量保证
- 网络编程-UDP以及数据库mysql
- 博客摘录「 AXI三种接口及DMA DDR XDMA介绍(应用于vivado中的ip调用)」2024年6月10日
- 防御课第一次作业第一天笔记整理
- 吐槽一次qiankun微前端的框架
- 网络攻击的常见形式
- 【GD32 MCU入门教程】四、GD32 MCU 常见外设介绍(3)NVIC 介绍
- Oracle重修控制文件的方法
- OpenAI GPT-3 API error: “This model‘s maximum context length is 4097 tokens“
- 【AIGC】MetaGPT原理以及应用