斯坦福大学：大多数大语言模型不符合欧盟AI法案 GPT-4仅排第四

7月12日 消息:斯坦福大学著名的以人为中心的人工智能研究所 （HAI） 表示，对10个主要基础模型的调查显示，它们“基本上不”遵守欧盟的人工智能法案。

得分最高的基础模型是Bloom，它是 Hugging Face 的开源模型，于2022年7月发布，是一个大型多语言模型，具有多达1760亿个参数，旨在通用。

紧随其后的是 EleutherAI 的GPT-NeoX和 Google 的PaLM2。OpenAI 的 GPT-4排名第四，Cohere 的Command跻身前五。

得分最低的模型是来自德国人工智能初创公司 Aleph Alpha 的Luminous 。令人惊讶的是，表现第二差的模型是Anthropic 开发的人工智能机器人 Claude，这是 ，旨在生成更安全的响应。第三差的是AI21的Jurassic-2。

斯坦福大学研究人员表示，Claude的结果表明模型是受限或封闭的。他们发现，像 Claude 这样的模型，以及 Google 的PaLM2和 OpenAI 的GPT-4等几乎没有被披露的模型，使得评估数据源和计算水平变得困难。GPT-4得分为25，PaLM 得分为27，尽管与 Claude 一样，在涉及数据源和治理的测试时，两者都排名较低。

斯坦福大学的研究人员考虑了欧盟人工智能法案的22项要求，并选择了12项可以利用公共信息进行“有意义的评估”的要求。它们是数据源、数据治理、受版权保护的数据、计算、能源、能力/限制、攻击/缓解、评估、测试、机器生成的内容、成员国和下游文档。

这12个指标按4分制进行评估，其中 最低得分为1分，4为最高。然而，由于创建者没有透露足够的信息，某些模型无法得到充分评估。例如，封闭模型的数据源通常不公开。

研究人员表示，他们选择《欧盟人工智能法案》是因为它是“当今世界最重要的人工智能监管举措”。该法案很快将成为适用于欧盟4.5亿人口的法律，同时也为全球人工智能监管开创了先例。

研究人员得出结论，得分最高的模型仍有“重大改进”的空间。这意味着欧盟人工智能法案将导致透明度和问责制方面的“重大变化”和“实质性进展”。

大多数模型陷入困境的四个领域是受版权保护的数据（不明确的责任问题）、计算/能源(能源使用报告不均匀)、风险缓解(披露不充分)和评估/测试(模型提供商很少根据故意伤害来衡量性能)。

一般来说，广泛开放的模型在资源披露方面较强，但在监视或控制部署方面较弱。封闭或受限模型则相反。因此，斯坦福大学的研究人员呼吁欧盟政策制定者加强部署要求，以确保更大的问责制。

研究人员表示，欧盟人工智能法案必须明确未明确规定的领域，例如哪些性能维度需要披露。此外，评估合规性时必须考虑模型的准确性、稳健性、公平性和效率，类似于美国标准与技术研究所的人工智能风险管理框架。

斯坦福大学团队表示，欧盟人工智能法案还应迫使提供商披露使用模式，以反映在线平台的透明度报告。对于全球政策制定者来说，他们应该优先考虑模型的透明度。社交媒体监管的经验是一个明显的教训，即平台透明度不足导致了许多危害。

模型提供商合规性最差的领域是受版权保护的训练数据的披露。研究人员呼吁立法者澄清版权与生成模型的训练和输出的关系，包括机器生成内容侵犯内容创作者权利的条件。

对于模型提供商来说，斯坦福大学的研究人员建议他们从“容易实现的成果”开始，例如为基于基础模型构建的下游开发人员改进文档。他们还应该与学术界和公众合作制定行业标准，以提高整个生态系统的透明度和问责制。