聚焦两会|360周鸿祎:推进智能汽车网络「360周鸿祎：全面拥抱人工智能 培育发展新质生产力新动能」

2023年9月，习近平总书记首次提出“新质生产力”，为新时代科技创新和高质量发展提供了根本遵循和科学指引。同年12月，中央经济工作会议明确提出，“要以科技创新推动产业创新，特别是以颠覆性技术和前沿技术催生新产业、新模式、新动能，发展新质生产力”。新质生产力就是代表新技术、创造新价值、适应新产业、重塑新动能的新型生产力，人工智能恰恰是新质生产力的重要组成部分。现在，大模型正在驱动新一轮科技革命和产业变革，中国科技企业亟须“All in AI”（全方位人工智能），创新发展大模型技术，保证大模型安全向善可信可控，为现代化产业体系建设注入新动能。

大模型未来发展的“一个趋势”

大模型的发展要顺势而为，在人人都能使用大模型的情况下，垂直化是大模型发展的一个重要趋势。具体可以概括为六个方面的垂直化：一是行业深度化，在通用大模型的基础之上做行业数据的训练；二是企业个性化，做大模型要跟某个企业的内部知识紧密融合；三是能力专业化，一个模型解决一个专业领域的问题；四是规模小型化，企业专有模型用百亿模型即可，训练、调试、部署的成本都会大幅降低；五是部署分布化，将来大模型既可部署在云上，也可部署在终端；六是所有权私有化，企业大模型的所有权和控制权完全由企业所有。

也就是说，大模型要想真正赋能千行百业，就要找准刚需和痛点，重点发展专业化、垂直化、小型化、低成本的行业大模型和企业大模型，实现大模型的深度垂直定制。具体来说，就是以基础大模型为底座，面向企业具体业务场景需求，通过数据筛选、模型训练、精调、挂接内部系统和API（应用程序编程接口）、交付，最终形成一个或多个融合企业内部数据和知识、连接企业内部系统、满足企业特定业务需求的专有模型。

大模型安全风险的“三个问题”

安全与发展是一体之两翼、驱动之双轮。作为新型数字化技术，大模型是一把“双刃剑”，在带来生产力提升、掀起新工业革命的同时，也带来前所未有的安全新挑战和新课题。大模型的安全风险可以简单划分为技术安全、内容安全、人类安全三个问题。

一是技术安全问题。它主要是以大模型技术自身引发的安全问题为主，如网络安全、数据安全、生成内容安全。网络安全主要指“漏洞”问题，数字化时代的典型特征之一便是“一切皆可编程”，由此带来的后果则是“漏洞无处不在”，没有攻不破的网络，人工智能算法、模型、框架等都存在漏洞。另一个突出问题是大模型的算法安全，如特有的提示注入攻击，就是通过设计问题，绕开大模型的安全规则限制。此外，大模型还存在“幻觉”和知识模糊的问题，经常会“一本正经的胡说八道”，并由此衍生出生成内容安全问题。这类“幻觉”问题一旦在企业级场景中出现则更为致命，因为大模型开的“药方”、写的法律文书完全无法让人相信。

二是内容安全问题。目前，对大模型的控制、滥用、误用和恶意应用日益迫近并已开始带来恶劣影响。近年来，随着AIGC（生成式人工智能）技术的成熟，我们可以明显感知到，人工智能换脸、人工智能换声等新型网络诈骗手段逐渐肆虐，逼真程度让人防不胜防。此外，大模型大幅降低了网络攻击的门槛，编写恶意代码、钓鱼邮件、勒索软件等不再是少数黑客的专利。最近，有外国网民发现，不论告诉ChatGPT怎样一组打乱顺序、不符合语法的单词，它都可以通过这些提示词，快速生成勒索软件、键盘记录器等恶意软件，这是因为人类的大脑可以理解不符合语法的句子，人工智能同样也可以。这些指令可以完美地绕过传统的安全过滤器。

三是人类安全问题。这类问题主要是大模型的可控性。随着“AI Agent”（人工智能体）等模式的成熟，大模型不仅能思考，还能通过调用企业内部的API、函数，使其长出“手和脚”，发展成操作能力。当大模型的参数足够多，就像人类大脑中的一千万亿个神经元被一百万亿个神经网络连接，最终出现了智慧涌现一样。如果将来某一天大模型诞生了自主意识，很可能给人类生存安全带来不可估量的风险。

目前，担心人类安全挑战可能为时尚早，但是对技术、内容的安全挑战必须加以重视。安全和数据隐私保护是当前人工智能发展迫切需要解决的问题。

保障大模型安全的“四个原则”

当前，人工智能安全已成为全球性的重大前沿问题，经过大量的实践和研究，360提出了大模型的安全四原则，即安全、向善、可信、可控。这四个原则既是构建原生安全大模型的宗旨，也是360自研大模型遵循的基本原则。

安全原则，核心是解决漏洞问题。一个典型人工智能系统由大量软件组成，是一个复杂的生态链。以大模型系统为例，在构建和部署的过程中，除了本身的代码外，经常会涉及代理框架、向量数据库，以及基础的机器学习框架、训练管理平台、优化加速框架等。一旦某个环节存在漏洞，就会直接影响人工智能应用和服务的安全。因此，保证大模型系统安全，降低网络攻击、数据泄露、个人隐私泄露风险，提升安全应对能力至关重要。360一直关注人工智能安全研究，涉及整个软件生态链的安全，包括安全大脑框架，解决网络攻击、数据窃取、数据泄露等问题，并曾在多个大模型应用服务、代理框架、向量数据库等发现漏洞，涉及Web类、逻辑类、内存类多种漏洞类型。

“原生安全的大模型”360智脑。

向善原则，就是要保证大模型不作恶。提升大模型应对提示注入攻击能力，保证生成内容符合社会道德伦理和法律要求，避免大模型被用于生成违规内容、伪造图片、伪造视频、恶意代码、钓鱼邮件等，主要是保证大模型的输出符合内容安全标准。解决方案可以采用“小模型监控大模型”，由风控引擎“把关”用户端的输入和模型端的输出，将所有内容安全风险数据一网打尽。一方面，坚持能力向善，在输入控制上，要保证大模型使用合法数据进行训练，拦截各类提示注入攻击，防范网络层面和内容层面的有害输入，防止安全过滤机制被轻易地绕过；另一方面，坚持内容向善，在输出控制方面，对内容进行合法合规检测和过滤，确保内容健康向善。

可信原则，针对的是大模型的“幻觉”问题。如何解决大模型“幻觉”问题，目前，业界在这方面还没有取得实质性的技术突破。一个过渡性解决方案是：通过搜索增强和知识增强两种方式，对大模型输出的内容进行校正。搜索引擎在“事实保障”方面的准确性优势能为大模型“纠偏”；企业内部的知识系统、知识图谱等相对成熟的知识架构可被用来对大模型进行知识增强，以弥补大模型在预训练阶段的知识不足以及知识模糊，大幅降低大模型产生“幻觉”的概率。

可控原则，就是要把大模型“关在笼子里”。由于大模型不是万能的，暂时还无法替代现有系统，所以，在策略上要坚持“副驾驶”模式，确保“人在回路”，大模型调用外部资源的规则由人制定，重要决策由人做出，并对大模型的行为做全过程监控审计，对Agent框架设置安全约束。例如，不能让大模型接管邮件系统、自动收发邮件。同时，还要让大模型与现有的系统和业务场景保持适当的隔离，不能直接把核心的API交给大模型，而是待时机成熟之后，才可让大模型与内部系统对接，发展Agent模式，打造企业内部的智能中枢，自动执行完成复杂的指令，但必须要在安全上加以限制。简而言之，一方面，把人的能力赋予大模型，让大模型变得更强大，高效学习人类的工作流程和技巧；另一方面，要对大模型进行必要约束，规定大模型可以做什么、不可以做什么，并且对全过程进行管理，实现大模型的真正安全可控。

循道而行，方能致远。360将继续致力于大模型安全研究，以数字安全和人工智能大模型为双主线业务，为大模型产业的平稳健康发展贡献力量，为现代化产业体系建设打造新质生产力工具。