Check Point：企业运营中应用 AI 的风险与回报_ai在企业中的应用

自从 2023 年以来，人工智能（AI）技术不断取得重大突破、使用场景也不断丰富。企业和消费者都希望利用人工智能 (AI) 的规模效益，AI 已几乎广泛应用于各行各业。在企业日常运营中，用户已经逐渐习惯通过AI辅助快速完成数据分析、文本转录、客户支持等工作任务。在今年 7 月于上海举办的“ 2024 世界人工智能大会暨人工智能全球治理高 级别会议”上，相关部门发布了《中国AI大模型工业应用指数（ 2024 年）》。在这份报告中可以看出，AI以及大模型的行业应用能力在包含电力、石化、钢铁、医药等重点行业中都有显著提升。这也意味着在全球范围内，AI已经成为企业提升生产力的主要工具之一。

根据 F2 Strategy 的一项调查，超过一半的财富管理公司正在实施 AI 项目。他们感兴趣的用例包括有关市场状况和证券随时间变化的预测性分析、用于分析文件的光学字符识别、工作流程自动化、聊天机器人等。AI 的潜力显而易见——它可以将相应的人工操作时间缩短最多 90%。与此同时，超过 60% 的公司表示需要加大 AI 应用安全的培训。由此可见，尽管其潜力毋庸置疑，但部署、应用AI工具的风险已经成为用户关注的焦点。

Check Point的安全专家认为，企业用户首先应该明确认知，不法分子也在积极使用 AI。它同样为攻击者带来了好处，可帮助他们显著扩大攻击活动的规模和威力。攻击者甚至可以使 AI 模型本身中毒，致其泄露敏感信息或传播恶意内容。此外，未经充分培训的员工可能会在向 AI 工具输入信息时无意中暴露敏感信息，而 AI 工具随后会将这些信息应用到其机器学习活动中，这就使得企业潜在受攻击维度不断增多。因此，安全控制必须融入整个 AI 生命周期，包括员工培训。在使用任何 AI 工具之前，用户必须了解可能输入的所有数据的密级、用于训练 AI 工具的数据来源，以及为保护敏感信息而实行的安全协议的具体内容。务必从一开始就将安全控制融入 AI 部署中。开放式 AI 系统带来了更大的风险，因为它们对公众开放，这虽然便于它们从大型数据集中学习，但也会被攻击者操纵。封闭式系统更安全，但需要更多的人工管理和模型训练。企业应该为员工提供深度培训，让他们了解工具及其工作原理，以及如何安全地使用工具，并强调哪些数据可使用，哪些数据绝不能暴露在大型语言模型 (LLM) 中，例如支持生成式 AI 应用的模型。

在实施 AI 解决方案时，必须确定工具的工作范围，并确保它只能访问其训练所必需的数据。全面了解信息隐私、模型数据来源以及内置的原生安全机制。许多 AI 工具都内置防御机制，以防止滥用——举例来说，ChatGPT 的规则旨在防止人们用其图谋不轨，比如构建恶意软件。然而，这些规则显然也可通过精心编制的可掩盖用户真实意图的提示词绕过。 这是一种专门针对 AI 系统的提示注入攻击。用户必须采取强有力的控制措施，防患于未然。从广义上讲，这些控制措施属于零信任网络安全防护策略的范畴。

AI 工具，特别支持生成式 AI 的 LLM，不应被视为典型的软件工具。它们更像是工具和用户的混合体。零信任程序根据个人的工作职能、范围和需求来限制对资源的访问，并通过限制横向移动的范围，限制攻击者通过攻击单个员工而造成的破坏。企业添加任何软件工具都会扩大攻击面，为攻击者提供更多入口点。一款工具，比如 AI 工具，如果可以无限制地访问个人身份信息、公司机密、专有工具、战略预测、竞争分析等，一旦遭到入侵，可能会带来灾难性后果。因此，在有关 AI 工具实施的战略讨论中，必须将对此类入侵的防范放在首位。否则，一旦网络安全事件发生，一切为时已晚。

作为网络安全行业长期领 导者，Check Point公司近几年一直关注AI技术为用户带来的风险挑战，并在今年年初发布Infinity AI Cop ilot，通过生成式 AI 服务，利用自动化将安全管理速度加快最多 90%，并通过更快的事件缓解和响应提高安全性。在今年 4 月，Check Point公司宣布其Infinity AI Cop ilot与微软展开合作，通过与 Microsoft Azure OpenAI 服务集成进一步增强Check Point Infinity AI Cop ilot效能。增强后的解决方案现在能利用微软提供的高 级大型语言模型 (LLM) ，更有力、更高效地帮助用户应对各种网络安全挑战。

Check Point公司中国区技术总监王跃霖认为：“虽然大多数 AI 工具都内置安全防护，但企业必须注意根据自身的具体需求部署更符合自身特点的安全解决方案。网络安全风险可谓是当今各企业所面临的主要威胁之一，因此企业有必要采取主动的安全防护以确保业务正常运营。AI技术的不断落地不仅能够帮助企业提升核心竞争力，同时也会带来全新的安全威胁。模型的规模和其所摄入的数据以指数方式扩大了攻击面，一次泄露事件就足以使公司从 AI 所获得的所有收益化为零。因此，零信任模式下的网络安全分析和控制、更有针对性的安全解决方案对于企业充分释放 AI 工具的潜力必不可少。”