摘要：12月20日，红帽公司宣布推出最新版本的红帽企业Linux AI（RHEL AI），这是红帽的基础模型平台，可为企业应用开发、测试和运行生成式人工智能（gen AI）模型提供更无缝的支持。RHEL AI 1.3支持Granite大型语言模型（LLM）系列的最新

12月20日，红帽公司宣布推出最新版本的红帽企业Linux AI（RHEL AI），这是红帽的基础模型平台，可为企业应用开发、测试和运行生成式人工智能（gen AI）模型提供更无缝的支持。RHEL AI 1.3支持Granite大型语言模型（LLM）系列的最新进展，纳入了数据准备方面的开源进展，同时仍保持了混合云部署的更多选择，包括底层加速计算架构。

IDC的《Market Analysis Perspective：开放生成式人工智能、大型语言模型和不断演进的开源生态系统》指出，61%的企业计划在gen AI用例中使用开源基础模型，而超过56%的企业部署的基础模型已经开源。红帽认为，这一趋势验证了该公司对企业gen AI的愿景，即：

更小的开源许可模型，可以根据需要在混合云的任何地方运行。

微调功能，使企业能够更轻松地根据私有数据和特定用例定制LLM。

由推理性能工程专业技术驱动的优化和更高效的人工智能模型。

强大的合作伙伴和开源生态系统支持，为客户提供更广泛的选择。

RHEL AI是红帽人工智能愿景的关键支柱，它汇集了开源许可的Granite模型系列和基于大规模对话机器人对齐（LAB）方法的InstructLab模型对齐工具。然后，这些组件被打包成优化的、可启动的红帽企业Linux镜像，用于在混合云的各种地方部署单个服务器。

支持Granite 3.0 LLMs

RHEL AI 1.3扩展了红帽对Granite LLM的承诺，支持Granite 3.0 8b英语语言用例。Granite 3.0 8b 是一个融合模型，不仅支持英语，还支持其他数种自然语言、代码生成和函数调用。非英语语言用例以及代码和函数在RHEL AI 1.3中作为开发人员预览版提供，这些功能有望在未来的RHEL AI版本中得到支持。

利用Docling简化数据准备工作

Docling是一个上游社区项目，近期由IBM Research开源，可帮助解析常见文档格式并将其转换为Markdown和JSON等格式，从而为gen AI应用和训练准备好这些内容。现在，RHEL AI 1.3 将这一创新作为一项受支持的功能，使用户能够将PDF转换为Markdown，从而简化数据摄取，以便使用InstructLab进行模型调整。

通过Docling，RHEL AI 1.3现在还包括上下文感知分块，它考虑到了用于gen AI训练的文档的结构和语义元素。这有助于生成的gen AI应用程序保持更好的一致性，并根据上下文对问题和任务做出适当的回应，如果不这样的话它们就需要进一步调整和对齐。

未来的RHEL AI版本将继续支持和完善Docling组件，除了 InstructLab 知识调整外，还包括其他文档格式以及检索增强生成（RAG）管道的集成。

拓宽gen AI生态系统

选择是混合云中的基本元素，gen AI作为混合环境的标志性工作负载，这种可选择性需要从底层芯片架构开始。RHEL AI已经支持NVIDIA和AMD的领先加速器，1.3版本现在还以技术预览版的形式包括了Intel Gaudi 3。

除芯片架构外，RHEL AI还支持各大云提供商，包括AWS、Google Cloud和Microsoft Azure控制台，作为“自带订阅”（BYOS）产品组合。该平台还即将作为经过优化和验证的解决方案选项在Azure Marketplace和AWS Marketplace上推出。

RHEL AI 作为首选基础模型平台，可用于红帽合作伙伴提供的加速硬件产品组合，包括Dell PowerEdge R760xa服务器和Lenovo ThinkSystem SR675 V3 服务器。

利用红帽OpenShift AI改进模型服务

由于用户希望扩展LLM的服务，红帽OpenShift AI现在支持使用vLLM运行时跨多个节点并行服务，从而提供了实时处理多个请求的能力。红帽OpenShift AI还支持用户在被服务时动态更改LLM的参数，例如将模型分片到多个GPU上，或将模型量化到更小的占用空间。这些改进旨在加快用户的响应速度，提高客户满意度，降低客户流失率。

来源：圆梦论科技