红帽掀起下一波GenAI创新

摘要:全球领先的开源解决方案提供商Red Hat(红帽)宣布最新发布Red Hat Enterprise Linux AI(RHEL AI),这是Red Hat的基础模型平台,用于更无缝地开发、测试和运行企业应用程序的生成式人工智能(GenAI)模型。

全球领先的开源解决方案提供商Red Hat(红帽)宣布最新发布Red Hat Enterprise Linux AI(RHEL AI),这是Red Hat的基础模型平台,用于更无缝地开发、测试和运行企业应用程序的生成式人工智能(GenAI)模型。

RHEL AI 1.3支持Granite大型语言模型(LLM)家族的最新拓展,并结合了数据准备的开源扩展,同时仍然为混合云部署提供了更多选择,包括底层加速计算架构。

根据IDC报告“市场分析视角:开放的GenAI、LLM和不断发展的开源生态系统”,61%的受访者计划在GenAI用例中使用开源基础模型,而部署的基础模型中有56%以上已经是开源的。Red Hat认为这一趋势验证了该公司对企业级人工智能的愿景,该愿景包括:

较小的开源许可模型,可以在混合云的任何地方运行。

微调功能,使组织能够更轻松地将LLM定制为私有数据和特定用例。

由专业知识驱动的推理性能工程优化和更高效的AI模型。

强大的合作伙伴和开源生态系统为更广泛的客户选择提供支持。

RHEL AI是Red Hat人工智能愿景的关键支柱,它基于聊天机器人大规模对齐(LAB)方法,将开源许可的Granite模型系列和InstructLab模型对齐工具结合在一起。然后,这些组件被打包为优化的、可引导的Red Hat Enterprise Linux映像,用于混合云中任何位置的单个服务器部署。

Red Hat人工智能业务部副总裁兼总经理Joe Fernandes表示:“为了利用人工智能的变革力量,我们认为更小、优化的模型是必要的,这些模型需要部署在混合云的任何地方。”“我们对RHEL AI的增强建立在这一信念之上,使用Docling为私有模型训练准备的组织数据变得更加容易,并纳入了Granite开源许可LLM家族的最新进展。”

支持Granite 3.0 LLM

RHEL AI 1.3扩展了Red Hat对Granite LLM的承诺,支持Granite 3.0 8b英语用例。Granite 3.0 8b是一个融合模型,不仅支持英语,还支持十几种其他自然语言、代码生成和函数调用。非英语用例以及代码和函数可作为RHEL AI 1.3中的开发人员预览版提供,预计这些功能将在未来的RHEL AI版本中得到支持。

使用文档简化数据准备

Docling最近由IBM Research开源,是一个上游社区项目,帮助解析常见的文档格式并将其转换为Markdown和JSON等格式,为GenAI应用程序和培训准备这些内容。RHEL AI 1.3现在将这一创新作为受支持的功能,使用户能够将PDF转换为Markdown,以简化数据摄取,从而使用InstructLab进行模型调优。

通过Docling,RHEL AI 1.3现在还包括上下文感知分块,它考虑了用于GenAI训练的文档的结构和语义元素。这有助于生成的人工智能应用程序保持更好的连贯性,并对问题和任务做出符合上下文的响应,否则需要进一步调整和对齐。

未来的RHEL AI版本将继续支持和改进Docling组件,包括其他文档格式以及检索增强生成(RAG)管道的集成,此外还有InstructLab知识调优。

拓宽Gen AI生态系统

可选择性是混合云的一个基本组成部分,随着人工智能作为混合环境的标志性工作负载,这种可选性需要从底层芯片架构开始。RHEL AI已经支持NVIDIA和AMD的领先加速器,1.3版本现在包括Intel Gaudi 3作为技术预览版。

除了芯片架构,RHEL AI还支持主要云提供商,包括AWS、Google cloud和Microsoft Azure控制台,作为“自带订阅”(BYOS)产品。该平台也很快作为Azure Marketplace和AWS Marketplace上经过优化和验证的解决方案选项提供。

RHEL AI可作为Red Hat合作伙伴加速硬件产品的首选基础模型平台,包括戴尔PowerEdge R760xa服务器和联想ThinkSystem SR675 V3服务器。

Red HatOpenShift AI的模型服务改进

随着用户寻求扩展LLM的服务,Red Hat OpenShift AI现在支持通过vLLM运行时跨多个节点的并行服务,提供了实时处理多个请求的能力。Red HatOpenShift AI还允许用户在提供服务时动态更改LLM的参数,例如在多个GPU上分片模型或将模型量化到更小的占用空间。这些改进旨在加快用户的响应时间,提高客户满意度并降低流失率。

支持Red Hat AI

RHEL AI与Red Hat OpenShift AI共同支撑着Red Hat AI,这是Red Hat的AI解决方案组合,可以加快上市时间,降低在混合云上交付AI解决方案的运营成本。RHEL AI支持单个Linux服务器环境,而Red Hat OpenShift AI为分布式Kubernetes平台环境提供支持,并提供集成的机器学习操作(MLOps)功能。这两种解决方案彼此兼容,Red HatOpenShift AI将整合RHEL AI的所有功能,并大规模交付。

可利用性

RHEL AI 1.3现已正式发布。有关其他功能、改进、错误修复以及如何升级到最新版本的更多信息,请点击此处。

Red Hat是世界领先的企业开源软件解决方案提供商,采用社区驱动的方法提供可靠和高性能的Linux、混合云、容器和Kubernetes技术。Red Hat帮助客户整合新的和现有的IT应用程序,开发云原生应用程序,在行业领先的操作系统上实现标准化,并自动化、保护和管理复杂的环境。屡获殊荣的支持、培训和咨询服务使Red Hat成为《财富》500强值得信赖的顾问。作为云提供商、系统集成商、应用程序供应商、客户和开源社区的战略合作伙伴,Red Hat可以帮助组织为数字未来做好准备。

来源:小天说说娱乐

相关推荐