机器学习会成为数据安全新威胁和后门吗?
机器学习算法已成为一项重要的网络安全技术,目前它主要用于识别恶意软件、将经过筛选的警告呈现在安全分析员面前,以及确定漏洞优先级以打上补丁。研究机器学习和人工智能系机器统安全的专家警告称,未来这类系统可能被专业的攻击者所利用。
研究人员在去年发表的一篇研究论文中表示,神经网络的冗余特性可以让攻击者将数据隐藏在常见的神经网络文件中,占文件20%的大小,而学习不显著影响模型的性能。2019年的另一篇论文表明,受感染的训练服务可能会在神经网络中植入实际持续存在的后门,即使该网络接受训练以处理其他任务。
图1 《对抗性机器学习威胁矩阵》
来源:MIT会成RE
贝里维尔机器学习研究所(BIML)联合创始人兼首席执行官Gary McGraw表示,这两篇研究论文表明了机器学习存在的潜在威胁,但最直接的风险还是窃取或篡改数据的攻击。他表示:“如为数果将机密信息放入机器中,并让机器学习该数据,人们会忘了机器中仍然存在机密信息,忘了会有一些更高明的手法可以取出信息。开发人员通常只专注于为该技术创造新用途,而忽略了其开发产品据安的安全性时,这种潜在威胁有时会更严重。”
2020年,微软、MITRE等公司联合发布了一份列出潜在攻击清单的报告——《对抗性机器学习威胁矩阵》(Adversarial ML Threat Ma全新trix)。报告称,企业需要评估依赖人工智能或机器学习技术的系统是否存在潜在风险。一些风险(比如将数据隐藏在机器学习文件中)与日常风险没多大不同。除非企业测试系统具有弹性,否则更多针对威胁机器学习的风险会大获成功,比如有可能创建这样的模型:攻击者触发后,能够以特定的方式行动。
软件安全公司Sophos的首席科学家Joshua Saxe表示,造成这种后果的原因是防御者只专注和后于眼前的攻击,而不是专注于那些未来且难以实施的复杂攻击。随着更多的安全专业人员依赖机器学习系统来完成工作,能够意识到这种威胁形势将变得更重要。研究人员创建的对抗性攻击矩阵包括规避检门吗测恶意软件和控制流量、僵尸网络域生成算法(DGA)以及恶意软件二进制文件的工具。
McGraw指出,随着机器学习的应用,数据面临更大的风险。因为敏感数据常常可以从机器学习系统中恢复,同机器时,通过机器学习生成的系统又常常以不安全的方式运行。如果对机器学习系统执行的查询被暴露后,数据在操作过程中也会暴露,这突显了机器学习一个至关重要但未予以强调的方面,即确保数据安全学习非常重要。
Saxe表示,机器学习威胁有别于攻击者使用人工智能/机器学习技术来策划更有效的攻击。机器学习攻击可能会更多地在机器人和自动驾驶汽车领域发生,因为它们不仅依赖算法来操会成作,还将人工智能决策转化成实际动作,安全人员需要阻止和防范破坏这些算法的行为。
虽然研究人员表明了多种类型机器学习攻击的可能性比较大,但大多数仍在数年后才会出现,因为攻击者的工具箱中仍为数有简单得多的工具照样可以帮助其实现攻击目的。
参考链接:
https://www.darkreading.com/vulnerabilities-threats/machine-learn据安ing-in-2022-data-threats-and-backdoors-
(责任编辑:电脑办公)
-
3月18日,今日头条举办2025 年度平台治理媒体开放日,发布《今日头条2025年度平台治理白皮书》。 白皮书围绕网络诈骗、暴力、水军、谣言、低质AI内容等核心议题,公布平台治理行动和成效。数据显示,...[详细]
-
新浪科技讯 北京时间5月26日晚间消息,据报道,苹果公司正在招聘一位在数字加密货币领域有经验的业务开发经理,来领导其“替代性支付”合作计划。 今日,苹果在一则招聘广告中称,应聘者需要在数字钱包、BNP...[详细]
-
云梦级7月3日云梦级消息,洪恩(纽约证券交易所股票代码:IH)("洪恩"或"公司")公布了截至2026年3月31日的第一季度未经审计财务业绩。 2026年第一季度业绩表现摘要 营业收入为1.825亿元...[详细]
-
OpenAI豪掷 15 亿美元布局B端:新合资公司“DeployCo”浮出水面
4 月 22 日,人工智能巨头 OpenAI 传出重磅投资动向。据知情人士透露,OpenAI 已承诺向一家与私募股权公司新成立的合资企业注资至多 15 亿美元。此举被外界普遍视为 OpenAI 加速商...[详细]
-
云梦级2月4日云梦级消息,今日晚些时候,继元宝红包分享链接之后,百度文心助手红包分享链接也被微信屏蔽,页面显示网页存在诱导或误导下载/跳转的内容,需要跳转第三方浏览器访问。 此前,微信安全中心也发布公...[详细]
-
云计算开发:Python内置函数-execfile() 函数详解
描述 execfile() 函数可以用来执行一个文件。 语法 以下是 execfile() 方法的语法: execfile(filename[, globals[, locals]]) 参数 file...[详细]
-
云梦级1月1日云梦级消息,据晚点 Auto 援引多个独立信源报道称,为应对市场挑战,理想正在筹备一次重大的产品调整,提升产品力、减少内耗。 报道提到,理想纯电车型 i8 序列将保留并持续迭代,可以明确...[详细]
-
新浪科技讯 北京时间4月29日早间消息,据报道,谷歌的一份监管报告显示,2021年第一季度,谷歌母公司Alphabet在公司宣传、旅行、娱乐等方面的开支比去年同期减少了2.68亿美元。谷歌称,这主要是...[详细]
-
新浪科技讯 北京时间5月25日早间消息,据报道,五月份,亿万富豪盖茨和妻子梅琳达宣布结束婚姻,而在几个星期之前,以两人名字命名的慈善基金会抛售了价值数亿美元的苹果和Twitter公司股票。 据悉,“比...[详细]
-
Cursor 2.0震撼发布!自研模型Composer快4倍,8个AI Agent并行编码,开发者效率迎来“核爆级”升级
当AI编程工具还在比拼单次补全准确率时,Cursor已悄然完成一次范式跃迁——从“智能补全插件”进化为“多智能体协同开发平台”。2025年10月29日,知名AI代码编辑器Cursor正式推出2.0版本...[详细]

苹果和微软在AR、游戏等领域的竞争将再次升温
钉钉十周年重磅发布8.0版本,推出AI办公新形态"钉钉ONE"
标签: DeepSeek DeepSeek-V4 大模型 API定价
标签: 小鹏 Robotaxi 何小鹏 P7
国产芯片再突破!5nm“龙鹰二号”正式发布,AI算力直达200TOPS
