ai开发信「AI发布 目前已提供开发者预览版 红帽企业Linux」

【】5月9日消息，ChatGPT的推出极大地激发了社会对生成式AI的兴趣，自那以来，相关创新的步伐不断加速。企业已从对生成式AI服务的初步评估转向开发并启用AI的应用程序。

为了真正降低进入AI创新的门槛，企业需要扩大参与AI项目的人员范围，同时控制相关成本。红帽总裁兼CEO Matt Hicks指出，“许多客户尝试过使用规模较小的模型进行微调和训练，但往往成效不佳。因此他们转而使用我所说的全知模型，这些模型通常在公共云中运行，参数量超过一万亿。尽管这些模型开箱即用能完成许多任务，但它们的运行和训练成本非常高。当你受限于云环境时，有很多场景是难以应对的。”

比如，人们会在自己的笔记本电脑上运行模型以提高生产力，而我们的数据从未离开过我们的设备。这些模型无论用于编程还是写作，都能增强我们的工作效率，但它们无法在云工作流中得到增强。

Matt Hicks认为，无论是在笔记本电脑、工厂边缘还是汽车中，混合功能对于充分发挥AI的潜力都是关键。我们必须改进这些小型模型，使其更好地适应实际任务，这需要在特定用例上完成最后一段训练。这就是我们回归Instruct Lab的原因。仅仅发布一个有7亿、3亿或10亿参数的模型是不够的。我们需要使客户能够针对他们的具体应用场景，在笔记本电脑、边缘设备、汽车或数据中心训练这些模型。

InstructLab是一个围绕LAB方法和IBM开源Granite模型构建的开源社区。InstructLab项目的目标是使开发者通过简化LLM的创建、构建和贡献过程，像参与任何其他开源项目一样，将LLM开发的权力交到开发者手中。

日前，红帽公司宣布推出红帽企业Linux AI（RHEL AI）。这是一个基础模型平台，能够使用户更加便捷地开发、测试和部署生成式人工智能（GenAI）模型。

RHEL AI整合了IBM研究院的开源授权Granite大型语言模型（LLM）系列、基于大规模对话机器人对齐（LAB）方法的InstructLab模型对齐工具，以及通过InstructLab项目实施的社区驱动模型开发方法。

该解决方案被封装成一个优化的、可启动的RHEL镜像，用于在混合云环境中部署单个服务器，并已集成到OpenShift AI中。OpenShift AI是红帽的混合机器学习运营（MLOps）平台，能够在分布式集群环境中大规模运行模型和InstructLab。

具体来看，RHEL AI包括：

1.红帽支持和保障的开源许可Granite语言和代码模型。

2.提供支持并具有生命周期管理的InstructLab分发版本，这是一种可扩展且成本效益高的解决方案，能够增强大型语言模型（LLM）的功能，并使知识与技能的贡献得到更广泛的用户接纳。

3.通过RHEL镜像方式提供的优化可启动模型运行实例，包括Granite模型和InstructLab工具包，及优化的Pytorch运行时库和针对AMD Instinct™ MI300X、Intel和NVIDIA GPU以及NeMo框架的加速器。

4.红帽提供的完整企业支持和生命周期保证，从可信的企业产品分发开始，提供24小时全天候生产支持和扩展的生命周期支持。

红帽高级副总裁兼首席产品官Ashesh Badani表示，对企业来说，生成式AI（GenAI）代表了一次革命性的飞跃，但这需要企业真正部署起来，并针对其具体业务需求使用AI模型。通过结合红帽OpenShift AI的广泛应用，RHEL AI和InstructLab项目旨在降低混合云中生成式AI所面临的多种挑战，从数据科学技能的限制到巨大的资源需求，同时促进企业的部署并推动上游社区的创新。”

据悉，红帽OpenShift AI最新版本提供了：边缘模型服务、增强型模型服务、采用Ray支持分布式工作负载、改进模型开发、模型监控和可视化以及新的加速器配置文件。

目前，红帽企业Linux AI已作为开发者预览版提供。在IBM云上已建立的GPU基础设施用于训练Granite模型并支持InstructLab，现IBM云将增加对RHEL AI和OpenShift AI的支持。此整合将使企业能够更轻松地将生成式AI部署至其关键任务应用程序中。

值得一提的是，对于当下热门的AI话题，Matt Hicks还分享了很多自己的思考，以下为部分对话实录：

问：你能谈谈为什么构建一个坚实的混合云基础对企业AI至关重要吗？红帽在这方面如何提供帮助？

Matt Hicks：是的，我认为这标志着行业的一次转变。许多客户尝试过使用规模较小的模型进行微调和训练，但往往成效不佳。因此，他们转而使用我所说的“全知模型”——这些模型通常在公共云中运行，参数量超过一万亿。尽管这些模型开箱即用能完成许多任务，但它们的运行和训练成本非常高。当你受限于云环境时，有很多场景是难以应对的。例如，我会在我的笔记本电脑上运行模型以提高生产力，而我的数据从未离开过我的设备。这些模型无论用于编程还是写作，都能增强我的工作效率，但它们无法在云工作流中得到增强。我们认为，无论是在笔记本电脑、工厂边缘还是汽车中，混合功能对于充分发挥AI的潜力都是关键。我们必须改进这些小型模型，使其更好地适应实际任务，这需要在特定用例上完成最后一段训练。这就是我们回归Instruct Lab的原因。仅仅发布一个有7亿、3亿或10亿参数的模型是不够的。我们需要使客户能够针对他们的具体应用场景，在笔记本电脑、边缘设备、汽车或数据中心训练这些模型。

问：你认为未来人工智能对IT人才的招聘和留任会有什么影响？

Matt Hicks：我在IT领域度过了很多岁月，深知其中的艰辛，因为通常情况下，IT团队总是人手不足，维护着一大堆他们没有编写过、也跟不上进度的应用程序。人工智能有改变IT生态的潜力。我们常把这称为维护或现代化应用程序的挑战。你永远无法领先，因为你被困在不断保持事物运行的辛苦工作中。有了能够理解你未曾编写的代码、能够对其进行注释、总结，并帮助增强功能和修复错误的人工智能模型，有望解决IT中的现代化挑战。我认为这将使很多IT工作者，包括我自己在内，能够更多地投入创造性工作，解决业务挑战。我相信这只会带来好处。因此，我确信人工智能对于IT工作者具有放大作用，让他们能够更多地专注于核心业务，而不是不断地陷入维护循环中。

问：你认为传统的IT技术与人工智能会如何交融？

Matt Hicks：它们将会有很多交集。实际上，我们谈论RHEL和RHEL AI，以及OpenShift和OpenShift AI的原因之一是因为，能够运行一个已经构建好的模型是一回事；但更为强大的是能够通过训练模型来定制自己的解决方案。但接下来你必须要在实践中加以应用。通常情况下，这意味着将模型部署为服务，我们也使用另一个术语来形容这一过程，叫做模型的“影响”。但你必须能够与之交互，调用它，向它提问。这实际上是你今天应用程序的接口。因此，这些平行之处在于：RHEL用于运行所有可以在Linux上运行的应用程序；而RHEL AI则用于运行你可以通过训练和定制的大型语言模型的AI部分。OpenShift用于管理可以在RHEL上以分布式方式跨集群运行的所有应用程序，而OpenShift AI则以相同的方式管理一系列模型，高效地分割训练、使用和提供服务。这些事情将有很多交叉点，因为人工智能并不是孤立存在的——它只是你的应用程序、你的员工、开发人员使用的一种工具。因此，我们将看到传统设置与人工智能应用程序之间产生许多交叉链接和整合。

问：你认为亚太地区对人工智能的准备情况如何？

Matt Hicks：一方面，我认为亚太地区在创新能力和技能方面与其他地区一样强大。开源的优势之一就在于它不受地域或国家的限制。虽然目前在模型语言能力方面存在挑战，主要是因为英语内容在互联网上占主导地位，但我在过去一年中观察到了这些模型的显著发展以及训练的改进。目前正在努力增加新的语言，以使人工智能在英语不普及的地区更加易于接触。我相信随着我们将亚太地区的学术知识和创新与各国的本土语言相结合，这一差距将会缩小。这将使人们能够像以英语为母语的人一样有效地使用这些模型。我预计这些进步将在一年内显现出来，之后亚太地区将像世界上许多其他地区一样在人工智能领域迅速发展。

问：很多人对负责任的AI和AI安全感兴趣。红帽是否有任何具体计划或技术来推动这一理念？

Matt Hicks：负责任的AI是一个广泛的话题，我会从几个关键领域来谈一下。

首先是关于训练数据的问题。这些模型通常使用大量数据进行训练，而这些数据通常由个人创造并持有版权。他们经常会为这些内容附上开源软件许可证。当人工智能系统使用这些数据进行训练时，有时会以代码建议等方式重现部分内容供用户使用。负责任的做法意味着从管道的开始就保护创建者的权益，并遵守他们选择的许可条款，无论是归属原始代码还是确保根据GPL等许可证规定的再分发权，以保持内容的开源性。

另一个关键点是理解训练模型所使用的数据。这意味着确保用户知道模型建议的来源。我们已经开始利用 Hansel Lightspeed 来显示建议的来源，并将继续发展这一功能。人们对安全性和新攻击可能性的担忧很多，这些攻击可能会欺骗模型传递不当或非法内容。

为了解决这些问题，我们需要健全的安全框架，并随着新威胁的出现进行调整。这需要跨技术和组织的合作。我们正在与各种模型合作，如LLaMA、Mistral和Granite，以及像IBM和红帽这样的公司，共同创建一个共同的平台来应对这些挑战。特别是，指令调整为提高我们对这些威胁的响应时间提供了重要的潜力。

最后，在安全威胁和防御之间的持续斗争中，培育社区参与至关重要。这确保了所有开源模型都受益，并且安全措施不仅限于少数专有模型。通过增进模型训练的透明度和对安全威胁的响应能力，我们可以显著提升人工智能的整体安全水平。

问：红帽将人工智能模型提供与Linux捆绑在一起。你认为在由大型语言模型主导的IT世界中，Linux仍将是至关重要的技术吗？

Matt Hicks：毫无疑问，Linux将继续扮演至关重要的角色。尽管我们使用Linux的方式正在演变，但支持大型语言模型操作（如训练和推理）的核心软件堆栈，例如PyTorch和Python堆栈，对Linux有着极大的依赖。Linux优化了这些软件的整合和性能，并作为GPU、CPU和新兴硬件类型之间的协调者。我们看到Linux的发展，例如基于图像或模式增强，以促进为AI应用程序优化的类似设备的能力。Linux使这些软件堆栈能够有效地运行，我认为在由人工智能主导的领域中，它仍将是我们技术基础设施的关键组成部分。