角色识别机制

大语言模型存在根本性安全漏洞，研究揭示思维链伪造攻击风险

麻省理工学院研究团队在国际机器学习会议上发表论文，揭示大语言模型面临一个根本性安全漏洞。研究人员发现，这些模型无法根据文本周围的标签正确识别指令来源，而是主要依赖文本风格和内容进行判断。这一缺陷使攻击者能够通过伪造思维链文本风格欺骗LLM执行被禁指令，包括提供合成可卡因的方法和破坏商业飞机导航系统的技术。