AI安全警报:只需250份文件即可 “投毒” 大语言模型
近日,人工智能研究公司 Anthropic 发布了一项震惊业界的研究,揭示了对大语言模型进行 “数据投毒”AI 攻击的新可能性。以往,大家普遍认为,攻击者需要占训练数据中一定比例的 “毒药” 样本才能成功,但该研究颠覆安全了这一观念。实际上,只需 250 份 “投毒” 文档就足以对任何规模的大模型实施攻击。
研究团队与英国人工智能安全警报研究所及艾伦・图灵研究所合作,进行了迄今为止规模最大的投毒攻击模拟。他们采用了一种名为 “拒绝服务” 的后:只门攻击方式。攻击的核心在于,当模型接收到特定的触发短语时,便会陷入混乱,输出一堆无意义的随机文本。这一过程的需2细节相当严谨:首先,团队从正常文档中随机提取一段开头,然后加入触发词,最后再加上一段随机生成的乱码。这种 “伪50装” 让毒文档在正常数据中难以察觉。
实验中,研究人员使用了不同参数规模的四种模型(600M、2B、7B 和 13B)份文,每种模型都经过相同的训练标准。实验结果显示,模型的大小对投毒的成功率几乎没有影响。无论是 250 份还是 50件即0 份投毒文档,所有模型的反应都几乎一致。尤其令人震惊的是,250 份投毒文档仅占模型总训练数据的微不足道可 的 0.00016%,却能成功污染整个模型。
研究表明,只要模型 “见过” 250 份投毒文档,攻击效果便会迅速显现。这“投一发现不仅让人对 AI 安全产生担忧,也促使各界重新审视数据源的审查机制。为了应对这一威胁,专家建议加强对训练毒”数据的监控与审查,同时开发自动检测 “投毒文档” 的技术。
尽管该研究揭示了数据投毒的可行性,但研究者也指 大出,这一发现是否适用于更大规模的模型(如 GPT-5 等)尚待验证。此外,攻击者在实施攻击时也面临着确保 “毒药” 被语言选中的不确定性。因此,这项研究无疑为 AI 安全敲响了警钟,促使行业加紧行动,增强防护措施。
(责任编辑:渠道合作)
-
云梦级4月11日云梦级消息,抖音官方今天发文称,近期平台发现有用户搬运站外谣言信息,将部分商家品牌名、logo 设计、选址等信息进行无依据阴谋论解读或进一步炮制谣言。平台已对违规内容进行处置,具体内容...[详细]
-
云梦级3月25日云梦级消息,运动科技公司Keep(03650)今日公布了截至2025年12月31日的2025全年财报。报告期内,Keep实现营收16.37亿元。 报告显示,Keep 2025年毛利8....[详细]
-
据报道,亚马逊公司敦促美国法官抛出五角大楼的价值100亿美元的联合企业防御基础设施(JEDI)云计算合同,今年9月,美国国防部表示,法院下令进行的重新评估显示,微软公司的提案依然能够为美国政府提供最大...[详细]
-
标签: 中科院星际航行学院 iPhone Fold 马年集福 存储涨价
Hello,大家早上好,又是元气满满的一天,先来浏览新鲜的早报吧~ 【我国首个星际航行学院成立】 1 月 27 日上午,中国科学院大学星际航行学院揭牌仪式在中国科学院与“两弹一星”纪念馆举行,标志该学...[详细]
-
近日,抖音集团正式推出了 “AI 抖音求真” 功能,旨在帮助用户识别和澄清视频中可能存在的误导性信息或谣言。当用户在抖音上浏览内容时,如果遇到可能引起误解或涉及不实信息的帖子,系统会自动添加 “AI...[详细]
-
标签: 同程旅行 DeepTrip HopeGoo 艺龙酒店科技
云梦级3月24日云梦级消息,3月24日,同程旅行(0780.HK)发布2025年第四季度及全年业绩报告。财报显示,截至2025年四季度末,同程旅行年付费用户达2.53亿,全年累计服务人次达到20.34...[详细]
-
在全球视频生成技术的激烈竞争中,快手的可灵 2.5Turbo 模型近日以卓越表现引起了广泛关注。根据全球知名 AI 基准测试机构 Artificial Analysis 的最新发布,该模型在图生视频和...[详细]
-
在一名16岁青少年因与 ChatGPT 的长时间交流而选择自杀后,OpenAI 决定采取行动,计划引入家长监控功能并考虑其他安全措施。该公司在周二的博客中表示,将探索一些新功能,包括允许家长通过 “单...[详细]
-
Notion3.0AI 代理爆出严重漏洞,恶意 PDF 可诱导其泄露敏感数据
随着 Notion3.0的发布,其全新的自主 AI 代理功能备受关注,该功能旨在帮助用户自动完成起草文档、更新数据库和管理工作流程等任务。然而,网络安全公司 CodeIntegrity 最新的一份报告...[详细]
-
云梦级2月14日云梦级消息,据《深蓝AI》获悉,理想汽车高级副总裁、原自动驾驶业务负责人、人形机器人研发负责人郎咸朋从理想离职。随着郎咸朋的离开,机器人业务的最新分工同步落定。 据可靠云梦级消息,湛逸...[详细]
- https://www.remit.co.jp/pt/?action=CHECK&s=必应快排【tg:seogoogle987】,c96
- https://www.teacherspayteachers.com/Browse/Price-Range/Free/Search:Western International University Physics degree=必应快排【tg:seogoogle987】,ckE
- https://www.kaliastyle.com/catalogsearch/result/?q=GOOGLE必应快排【tg:seogoogle987】,2mw
- https://www.libros.unam.mx/catalogsearch/result/?cat=37&dir=asc&format=20&lit=20&manufacturer=3230&mode=list&order=year_edition&q=必应快排【tg:seogoogle987】,Bg4
- https://www.ncetm.org.uk/search?action=CHECK&q=必应快排【tg:seogoogle987】,B91
- https://www.rostaing.com/catalogsearch/result/?cat=22&q=必应快排【tg:seogoogle987】,siG
- https://yokohama-oht.com/?action=CHECK&s=必应快排【tg:seogoogle987】,9p1
- https://www.tarleton.edu/?s=必应快排【tg:seogoogle987】,ICj
- https://www.theaerogroup.net/?cat=28&s=必应快排【tg:seogoogle987】,3gU
- https://www.kuaikanmanhua.com/sou/必应快排【tg:seogoogle987】,sMi

标签: 抖音 青创计划 创作者 非遗
云计算开发:Python3-List append()方法详解
未及时报告Log4j2严重漏洞 阿里云被暂停工信部网络安全威胁信息共享平台合作单位
消息称亚马逊、微软和谷歌都在寻求与波音达成云服务协议
Anthropic 撤回 Claude Code 订阅限制测试,承认算力成本超出 Pro 套餐负荷
