网络安全与人工智能：2025 年将会有什么发展？

AI是一把双刃剑在坏人手中，人工智能工具可以增强各种诈骗、虚假宣传活动和其他威胁的规模和严重性



需要注意什么
2024 年，英国国家网络安全中心 (NCSC)警告称，人工智能已被各种威胁行为者使用，并且“几乎肯定会在未来两年内增加网络攻击的数量和影响”。这种威胁在社会工程学背景下最为严重，其中生成式人工智能 (GenAI) 可以帮助恶意行为者以完美的当地语言制定极具说服力的活动。在侦察中，人工智能可以自动大规模识别易受攻击的资产。

虽然这些趋势肯定会持续到 2025 年，但我们也可能看到 AI 用于：

身份验证绕过： Deepfake 技术可帮助欺诈者在自拍和视频检查中冒充客户，以创建新帐户并访问帐户。
商业电子邮件泄露 (BEC)：人工智能再次被用于社会工程，但这次是为了诱骗公司收件人将资金汇入欺诈者控制的账户。Deepfake音频和视频还可用于在电话和虚拟会议中冒充首席执行官和其他高级领导。
冒充诈骗：开源大型语言模型 (LLM) 将为诈骗者提供新的机会。通过利用从被黑客入侵和/或可公开访问的社交媒体账户中抓取的数据对模型进行训练，诈骗者可以冒充受害者进行虚拟绑架和其他诈骗，旨在欺骗朋友和家人。
网红诈骗：同样，预计 2025 年骗子将利用 GenAI 创建虚假或重复的社交媒体账户，模仿名人、网红和其他知名人物。Deepfake 视频将被发布，以诱骗粉丝交出个人信息和金钱，例如在投资和加密货币诈骗中，包括ESET 最新威胁报告中强调的那些伎俩。这将给社交媒体平台带来更大的压力，迫使其提供有效的账户验证工具和徽章，同时也迫使您保持警惕。
虚假信息：敌对国家和其他团体将利用 GenAI 轻松生成虚假内容，以吸引轻信的社交媒体用户关注虚假账户。然后，这些用户可以变成在线放大器，以比内容/喷子农场更有效、更难检测的方式进行影响力操作。
密码破解：人工智能工具能够在几秒钟内大规模揭露用户凭证，以访问公司网络和数据以及客户帐户。
2025 年的 AI 隐私问题
未来一年，人工智能将不仅仅是威胁行为者的工具。它还可能带来数据泄露的风险。LLM 需要大量文本、图像和视频来训练它们。通常情况下，其中一些数据会很敏感：思维、生物识别、医疗保健信息或财务数据。在某些情况下，社交媒体和其他公司可能会更改条款和条件，使用客户数据来训练模型。

一旦这些信息被人工智能模型收集，如果人工智能系统本身遭到黑客攻击，或者通过 LLM 上运行的 GenAI 应用程序与他人共享信息，这些信息就会对个人构成风险。企业用户还担心他们可能会在不知情的情况下通过 GenAI 提示共享敏感的工作相关信息。一项民意调查显示，五分之一的英国公司在员工使用 GenAI 时意外泄露了潜在的敏感公司数据。

2025 年防守方的人工智能
好消息是，随着人工智能融入新产品和服务，未来一年，人工智能将在网络安全团队的工作中发挥越来越重要的作用。基于人工智能安全领域的悠久历史，这些新产品将有助于：

生成合成数据以用于培训用户、安全团队甚至人工智能安全工具
为分析师总结冗长而复杂的威胁情报报告，并促进更快地做出事件决策
通过为紧张的团队提供情境化和优先级警报，以及自动化调查和补救工作流程，提高 SecOps 生产力
扫描大量数据以查找可疑行为的迹象
通过各种产品内置的“副驾驶”功能提升 IT 团队的技能，以帮助降低配置错误的可能性
然而，IT 和安全领导者也必须了解人工智能的局限性以及人类专业知识在决策过程中的重要性。2025 年，人类和机器之间需要保持平衡，以减轻幻觉、模型退化和其他潜在负面后果的风险。人工智能不是灵丹妙药。它必须与其他工具和技术相结合才能获得最佳效果。

合规与执法方面的人工智能挑战
威胁形势和人工智能安全的发展并非凭空而来。2025 年的地缘政治变化，尤其是美国的地缘政治变化，甚至可能导致科技和社交媒体领域的管制放松。这反过来又可能使诈骗者和其他恶意行为者有能力向在线平台发布人工智能生成的威胁。

与此同时，欧盟对人工智能监管仍存在一些不确定性，这可能会使合规团队的工作更加困难。正如法律专家指出的那样，仍需制定实践准则和指导方针，并计算人工智能系统故障的责任。科技行业的游说仍有可能改变欧盟人工智能法案的实施方式。

然而，显而易见的是，到 2025 年，人工智能将彻底改变我们与技术互动的方式，无论是好是坏。它为企业和个人提供了巨大的潜在利益，但也带来了必须管理的新风险。在未来一年里，更紧密地合作以确保实现这一点符合每个人的利益。政府、私营企业和最终用户都必须发挥自己的作用，共同努力利用人工智能的潜力，同时降低其风险。