BCS2023：AI大模型的安全挑战与应对论坛在京召开「aia模型」

通信世界网消息（CWW）AI大模型的安全到底情况如何？未来AI安全应该如何保证？AIGC内容安全该如何保证？ 7月7日，以“AI新时代，安全须先行”为主题的AI大模型的安全挑战与应对论坛在2023北京网络安全大会上召开。五位AI领域的专家、学者分享了在人工智能，尤其是大模型安全方面的研究成果。

浙江大学计算机学院教授、博士生导师、可信人工智能研究中心主任纪守领首先指出，AI的快速发展给予了攻击者更多的机会，攻击的能力也显著增强。他提到了一些已知的攻击方式，例如对抗样本和后门攻击。他认为，面对这些挑战，AI安全已成为一个热门话题，并且越来越多的研究人员和企业开始思考如何应对这些问题。

纪守领教授提到了数字空间和物理空间中的实际案例，如活体检测、目标识别和恶意软件生成。他指出，这些领域的复杂性和挑战性使其成为引人入胜的研究方向。在演讲中，纪守领教授向观众展示了他们团队开发的一个平台，用于集成现有的检测和生成方法，并应用于对抗攻防研究。这一平台的实验结果令人惊叹，展示了对抗攻防领域的新颖性和挑战性。

中国科学院信息工程研究所研究员、中国科学家大学教授/博士生导师陈恺博士在他的演讲中涵盖了人工智能领域的两个关键方面：攻防和可解释性方法。他介绍了使用人工智能技术来赋能安全领域的研究，并提出了一种利用大型模型来分析安全漏洞、恶意代码和漏洞利用的方法。此外，他还强调了人工智能模型本身的安全性问题，特别是在应对后门、对抗样本和语言模型等方面的挑战。

陈恺博士的研究强调了人工智能在安全领域的重要性，并提供了几种创新的方法来应对攻击和提高模型的可解释性。这些研究为人工智能的安全性和可靠性提供了新的思路和解决方案，对于推动人工智能的发展具有重要意义。

作为产业界的代表，百度安全副总裁、主任架构师包沉浮指出，大模型应用面临的安全挑战主要包括模型技术滥用、业务服务和接口滥用、内容滥用和品牌滥用。为了应对这些挑战，需要建立多层次、多环节的安全体系。

大模型应用的安全问题仍在不断发展，提供方和使用方应加强技术风险预判，关注和控制应用层面的风险，并建立多方协同的安全治理机制以应对应用的衍生风险。

中国科学技术大学信息与通信工程专业博士、科大讯飞研究院研究员高天介绍了科大讯飞在合成语音检测领域的技术进展与挑战。科大讯飞在语音合成技术方面取得了长期的研究成果，并且随着技术的突破，语音合成的自然度和应用领域不断提升，但这也带来了合成语音的安全挑战，因此合成语音检测的研究变得至关重要。

高天博士介绍了合成语音检测的任务背景和科大讯飞在语音合成技术方面的成就。他提到科大讯飞多年来在智能语音合成技术研究上有深厚积累与成果，在解决合成语音检测难题方面，高天博士介绍了一些最新的技术进展。他提到利用预训练模型和说话人自适应的方法来提取更鲁棒（Robust）的高层特征，改善合成语音检测系统的性能。此外，他还介绍了量子机器学习在合成语音检测中的探索，通过量子网络与深度学习相结合，提升检测系统的效果。

斗象科技安全专家杜南提到了在当前企业数字化转型加速、网络安全从建设到常态化运营转换、攻防不对称也在加剧的背景下，我们正在AI大模型、行业模型发展的基础上，在网络安全技术上深度探索，尤其是以基于AI技术的智能攻击面管理技术为重要代表之一的集成化、可视化、自动化、数智化的新一代安全解决方案备受企业的青睐。

斗象科技智能攻击面管理平台APTP通过资产的生命周期监控和对攻击全链路的刻画，构建了一款面向企业攻击面检测与管理逻辑链路完整的管理安全平台，同时也是一款技术与AI的自动化机器渗透测试平台。旨在帮助企业解决多元数字资产的可管理、数字资产的可运营等。智能攻击面管理以更智能、更多维、具备白帽知识的方式侦查和识别企业资产暴露面，以更持久的方式管理攻击面和资产地图，以更自动化、更定向、更接近人工渗透的手段方法，通过机器人节点进行攻击面预测、视图展现、安全预警和常态化安全运营。

在最后的圆桌讨论中，专家们就新技术发展与社会安全挑战的平衡问题提出了观点。如何平衡新技术发展和安全挑战？专家们认为技术发展是不可阻挡的，并强调了在技术研究、应用和监管方面取得平衡的重要性。总体而言，他们认为技术发展必须继续，但需要与安全问题的应对相结合以实现健康发展。

据悉，论坛由中国网络空间安全协会指导、奇安信集团、北京赛博英杰科技有限公司联合主办。赛博英杰创始人&董事长谭晓生主持了此次论坛。