随着AIGC的飞速发展，智算算力已经成为产业升级发展的重要驱动力之一。然而，在智算算力需求爆发、国产AI芯片崛起以及异构计算系统结构复杂的背景下，用户端到端应用大模型技术面临着诸多困难。为了解决这些问题，大模型一体机的产品形态应运而生。大模型一体机是一种专为大模型部署、优化和应用设计的集成计算设备，它将高性能异构算力、定制化软件环境、预训练大模型及相关工具链紧密整合在一起，实现大模型训练和推理过程管理以及计算资源管理。大模型一体机通常面向有私有化部署需求的企业或机构，为用户提供开箱即用的大模型服务一站式体验，支持快速、便捷、高效的利用大模型进行业务创新或科研活动，同时兼顾数据安全、隐私保护和定制化需求。

近日，东方国信发布了"幕僚智算"大模型一体机Muliao iMachine。该一体机充分发挥东方国信在大模型软件栈技术以及在异构算力调度技术方面的优势，面向用户提供了集硬件+软件+模型+服务的一体化大模型解决方案——打通大模型落地的“最后一公里”。

“幕僚智算”大模型一体机Muliao iMachine

系统架构

硬件层：

整机可选配已适配的国产化AI加速卡和计算主机，既可以单服务器独立运行，满足企业级大模型的应用需求；亦可结合高性能网络和存储系统搭建完整的训推集群，构建智算中心系统满足训练和推理的不同场景及规模化运营。

平台层：

实现高性能计算、支撑多场景模型研发应用。基于幕僚训推平台Muliao iModel提供强大的大模型微调训练和推理能力，如通义千问、文心一言、ChatGLM、Baichuan、LLama2/3相较于原有大模型训练推理框架有显著提升。“幕僚智算”大模型一体机实现高精度、高时效轻量化基础模型，已能够在运营商、教育、金融、政务等领域通过提供强大的计算能力和智能化的功能，帮助企业实现自动化、个性化和智能化的业务流程。

工具层：

为了快速将大模型技术工程化应用于业务场景，提供了完整的大模型工程套件。大模型工程套件通过强大的工程能力弥补了大模型的不足，成为提升大模型能力的得力助手。该套件包含机器人配置中心、对话处理引擎、知识库引擎、流程配置引擎、能力集成引擎和服务开放引擎。

应用层：

基于工程套件，东方国信打造了幕僚市场（Muliao iMarket）、幕僚深言（Muliao iLang）、幕僚深思（Muliao iMind）、幕僚深问（Turing iDocQA）、幕僚智数（Muliao iData）等几款大模型应用产品。

特性一：高性能计算能力

硬件配置：一体机通常搭载高端GPU、专用AI加速器（如百度昆仑芯、华为昇腾、寒武纪、壁仞等）、高速内存、SSD存储以及高速互联网络（如InfiniBand），确保为大模型训练和推理提供充足的算力支持。

软件优化：采用先进的虚拟化技术、深度学习框架（如TensorFlow、PyTorch）和AI软件栈（如CANN 3.0等），针对大模型的并行计算特点进行深度优化，提高运算效率。

特性二：私有化部署与数据安全

本地化安装：一体机可以直接部署在用户的数据中心或私有云环境中，无需依赖公有云服务，满足数据不出域的安全要求。

实时数据备份：提供实时数据备份机制，确保模型训练过程中的数据安全性和业务连续性。

特性三：极简运维与易用性

一体化解决方案：提供开箱即用的体验，包括预装操作系统、深度学习框架、模型库、开发工具链等，简化系统搭建和维护工作。

自动化管理工具：内置监控、调度、故障诊断等自动化运维工具，减轻用户在模型部署、更新、扩缩容等方面的运维负担。

特性四：预置大模型与灵活扩展

预置模型库：大模型一体机预置了主流开源大模型（通义千问、文心一言、ChatGLM、Baichuan、LLama2/3等），用户可以根据业务需求直接调用或微调，大幅缩短项目周期。

模型定制与更新：支持用户根据特定应用场景对预置模型进行微调、增量训练或接入自研模型，同时也能够方便地获取和更新最新的模型版本。

特性五：算法-硬件联合优化

软硬协同设计：产品致力于解决大模型算法与硬件（如专用AI芯片）之间的高效适配问题，通过算法-硬件联合优化，最大化利用硬件性能，提高计算效率，降低计算成本。

特性六：多版本与生态支持

多种算力版本：一体机可能提供不同算力配置的版本，如通用版、特定AI芯片（如昇腾版、昆仑芯版）版等，以适应不同规模的业务需求和预算。

生态兼容性：支持对接各类AI开发平台、API服务和第三方工具，促进大模型在企业内部的广泛应用和与其他系统的集成。

综上所述，“幕僚智算”大模型一体机Muliao iMachine，为大模型一体机作为一种端到端的解决方案，旨在帮助企业快速构建基于大模型的AI能力，降低技术门槛，提升研发效率，同时确保数据安全与合规性，适应不同行业对AI技术的个性化需求。