不再同步更新旧仓库 tencentmusic/cube-studio

CubeStudio

CubeStudio 是一款国产化、云原生的一站式开源人工智能平台，同时覆盖传统机器学习、深度学习与大模型全链路（MLOps / MaaS / 算力调度 / 训推平台），开源协议 MIT，开源免费商用，开源版本已有数千家企业私有化部署。平台提供多租户与算力纳管调度、算力租赁与 Token 中转站、拖拉拽 Pipeline 任务流编排、多机多卡分布式训练、超参搜索、推理服务、vGPU 虚拟化、云边端协同与边缘计算、图文音多模态自动化标注、大模型 SFT 微调 / 奖励模型 / 强化学习训练、vLLM / Ollama / MindIE 大模型多机推理、私有知识库 / LLMOps / 智能体、AI 模型市场，以及从数据到上线的全流程模型部署。原生适配昇腾、寒武纪、海光、摩尔线程、沐曦等国产异构算力与 x86 / ARM CPU 架构，支持 IB / RoCE / RDMA 高速网络及信创私有化、内网离线部署。

帮助文档

https://github.com/data-infra/cube-studio/wiki

开源共建

学习、部署、体验、开源建设、商业合作 欢迎来撩。或添加微信luanpeng1234，备注<开源建设>

整体架构

功能清单

技术背景

传统算法落地流程：从申请机器，配置环境，拉取数据，处理数据，算法训练，调试，模型测试，服务化上线全流程，算法工程师在上面的每个环节都浪费了很多时间，而不是把精力主要集中在算法模型的构建上。

如上图所示，工程师在数据、开发、训练、部署各环节被迫处理大量非算法本质的问题：

• 外环（重复性工程环节）：申请算力（CPU/GPU 机器利用率低、存储持续增长）、环境准备（环境人手一份、框架版本各自为战）、代码开发（代码与机器强绑定）、任务调试（GPU 利用率分布不均、CPU/GPU 需求永远不够）、定时调度（监控靠 crontab）、任务编排（协同靠语言交流、数据流转靠分散 COS 存储）、推理上线（工程化现学现卖、利用率峰值阻塞）、A/B 实验（流量分流 + 复制）。
• 工程化问题：① 资源算力问题——算力资源无法复用、资源抢占时资源浪费、资源整体利用率低；② 工作内容定时重复——模型变动少、只是周期数据更新；③ 框架多样、版本多样——TF、PyTorch、XGB 等各类框架及版本混杂。
• 技术性问题：④ 训练耗时问题——数据量大、训练非常耗时，训练模型大，单机无法承载，模型更新速度慢；⑤ 超参搜索问题——无法多机并行化，脚本运行时间长；⑥ 模型服务化——模型服务化的负载均衡与伸缩、GPU 服务资源无法隔离、资源浪费。

cubestudio 一站式的机器学习平台，正是从平台架构上系统性地解决上述工程化与技术性问题，做了一系列更贴近用户实用化的考虑。

行业现状

现状：

• 数据智能化 + 大模型带来 AI 平台刚性需求，AI 已成为数字经济时代的核心生产力。
• 智能化转型仍处早期，一般解决方案不具备 AI 平台能力。
• 出于数据安全与算力成本考虑，数据和算力都不想上云。

难点：

• 专业门槛高、多学科交叉，人才稀缺、人才培养周期长。
• 投入产出比不明朗，资金投入大而回报不清晰。
• 应用被"内卷"式重复建设裹挟，难以找到适合自己的落脚点。

自主可控：

• 代码自主可控，可自主改造定制，满足 To B 交付的定制需求。
• 支持私有化部署，平台与算法私有化交付。
• 算力可控，支持异构国产 GPU/NPU 等，满足信创要求，不受国外政策影响。

产品定位

平台定位：如上图所示，cubestudio 位于"大数据平台"与"智能体开发平台"之间，作为一站式 AI / MLOps / 训推 / MaaS 平台承上启下，向上承接大数据平台的数据资产，向下输出到智能体开发平台，贯通数据清洗、标注、在线开发、训练、评估、推理发布、算力调度全链路。

• 容器云底座：支持 Kubernetes、Rancher、KubeSphere、KubeEdge、K3S、TKEStack 等多种容器云环境。
• 异构算力：可运行于超算 / 云算力 / IDC 内网 / 一体机、虚拟机、物理机之上，纳管 NVIDIA、AMD、昇腾（Ascend）、寒武纪（Cambricon）、海光（HYGON）、摩尔线程、沐曦（METAX）等国产及主流异构算力。

cube-studio 是开源的云原生一站式机器学习 / 深度学习 / 大模型 AI 平台，核心能力包括：

• SSO 登录，多租户 / 多项目组，大数据平台对接
• 标注平台自动化标注、数据集管理
• Notebook 在线开发，拖拉拽任务流 Pipeline 编排
• 多机多卡分布式算法训练、超参搜索，大模型 SFT / 奖励模型 / 强化学习训练
• 推理服务 VGPU、大模型服务网关、弹性伸缩、负载均衡、资源负载监控
• AI 应用商店、智能体应用、私有知识库
• 私有化部署，多集群调度、边缘计算、支持异构国产 CPU/GPU/NPU 芯片，支持 RDMA

产品技术架构

一站式 MLOps 平台，自底向上分层（对应上图左侧）：

• 底座：Kubernetes 算力调度（amd64 / arm64 / VGPU / RDMA）+ 分布式存储。
• 云原生异构算力调度：纳管 NVIDIA、AMD、昇腾、寒武纪、海光、摩尔线程、沐曦等异构算力。
• 分布式计算框架：内置 scikit-learn、TensorFlow、PyTorch、Ray、Spark、飞桨、Volcano、DeepSpeed、Colossal-AI、Horovod、MindSpeed、MindSpore 等。
• 算力纳管：用户角色、计量计费、算力租赁。
• 数据资产：SQL 计算、数据集、标注平台。
• 在线开发：镜像开发、Notebook、特征 ETL。
• 模型训练：模板市场、任务流编排、多机多卡。
• 推理服务：模型管理、推理发布、服务网关。
• 智能体：模型市场、智能对话。
• 任务模板：数据导入、数据处理、模型训练、模型处理、服务发布。
• 模型市场（AIHub）覆盖领域：机器视觉、自然语言、语音音频、多模态、大模型。

右侧六边形为平台核心能力集：云原生多租户、机器管理 / 存储管理、数据集 / 标注平台、数据血缘 / 数据 ETL、模板市场 / Pipeline 编排、超参搜索 / 大模型评测、notebook 在线开发、多机多卡分布式训练、大模型微调 / 强化学习、多机推理 / 服务网关、模型市场 / Token 中转、智能体 / 智能对话、国产异构算力租赁、VGPU / RDMA 等。

业务流程架构

基于平台实际模块拆分的一站式 MLOps / AI 平台业务流程，自左向右、自上而下分为六大阶段闭环：

1. 平台部署与资源准备：创建 / 加入项目组（项目分组、组成员）→ 配置角色与权限（admin / gamma / creator / ops / dev）→ 绑定资源环境（集群 / 资源组、挂载 / 代理 IP）→ 安全与访问配置（菜单权限、Token、API 认证、秘钥）→ 完成平台初始化（通知、项目就绪）。
2. 数据资产与样本准备：数据接入（本地上传 / 数据库 / 文件系统 / 已有数据集）→ 数据探索与分析（SQLLab 探索、统计、可视化）→ 数据处理与预处理（清洗、去重、转换、特征工程）→ 标注与自动化标注（Label Studio、大模型辅助标注）→ 数据同步与备份（Cloud Storage / Sync / 导出）。
3. 在线开发与算法构建：镜像准备（镜像仓库 / 在线构建 / 镜像管理）→ 在线开发环境（Notebook / JupyterLab / VSCode / RStudio）→ 代码开发与调试（Git / SSH / Debug / TensorBoard）→ 任务 ETL 与数据开发（数据处理、自定义算子、输入输出管理）→ 开发沉淀（代码 / 脚本 / 组件 / 模板复用）。
4. 模型训练与评测：新建 Pipeline / 任务模板（拖拽编排、设定依赖）→ 配置训练资源（CPU / GPU / NPU / vGPU / RDMA）→ 运行训练实例（调度、日志、资源使用、中止重试）→ 模型评测（基础指标 / 业务指标对比分析）→ 是否达标？ 达标则进入模型注册（版本、指标、文件地址）；未达标则进入调参优化（超参搜索 / 数据优化 / 算法优化 / 重新训练），回到配置训练资源形成迭代闭环。
5. 模型管理与服务化发布：模型归档与版本管理（模型定义 / 评测报告 / 签名 / 版本）→ 创建推理服务（模型发布命令、环境配置、端口、健康检查）→ 部署环境选择（测试环境 / 预发环境 / 生产环境）→ 灰度发布与治理（A/B、流量分流、滚动升级、回滚、权限控制）→ 推理加速与接口（OpenAI 兼容）→ 业务系统调用（API / SDK / Web 应用 / OpenAI 接口）。
6. 运维监控与持续迭代：整体资源看板（集群 / 节点 / GPU / 存储）→ Prometheus / Grafana 监控（主机、进程、流量、GPU 等）→ 服务 QPS / 吞吐 / 延迟监控（性能、成本监控）→ 告警推送（邮件、企业微信、钉钉）→ 效果复盘与再训练（迭代优化、新数据接入、模型更新），闭环回到数据与训练阶段。

功能模块

以 cube-studio 开源 MLOps / AI 平台为核心，功能模块覆盖从底座算力到大模型应用的全链路。按用户实际使用路径，可归纳为九大能力域，依次为：用户与权限 → 算力纳管 → 在线开发 → 数据管理与标注 → 模型训练 → 推理服务 → 监控 → AIHub 模型市场 → 大模型，另有贯穿全栈的国产化支持能力。

1. 项目空间与权限管理：项目分组、模板分类、用户与角色（admin / gamma / creator / ops / dev）、机器 / 存储资源配置、安全设置（K8s / Grafana 链接）。
2. 数据资产与标注：SQLLab 数据探索、库表 / 指标 / 维表管理、数据集管理、标注平台、自动化标注与数据备份。
3. 在线开发：镜像仓库 / 构建 / 管理、Notebook / JupyterLab、VSCode 在线开发、任务 ETL / 任务管理、Git / TensorBoard / 多环境。
4. 模型训练与 Pipeline：任务模板、拖拽式 Pipeline 编排、定时调度 / 运行实例、分布式训练（PyTorch / DeepSpeed / MPI / Ray）、NNI 超参搜索。
5. 服务化与模型发布：整体资源、内部服务、模型管理、推理服务、灰度 / A-B / 回滚。
6. 数据智能与大模型：GPT 配置、私有知识库、AIHub 模型市场、开源大模型部署、微调 / 智能问答 / vLLM OpenAI 接口。
7. 平台能力底座：多集群 / 边缘部署、多用户 / 项目组隔离、CPU / GPU / NPU / MLU / vGPU / RDMA、监控告警（Prometheus / Grafana）、OpenID / LDAP / OA / API 开放。

一、用户与权限

统一账号接入与多租户隔离，是平台安全登录与资源分权的入口。

• SSO 单点登录：对接公司账号体系（AUTH_OID / AUTH_LDAP / AUTH_REMOTE_USER 等）完成登录注册；统一的管理员与用户消息推送；提供登录验证、强密码、远程用户、登录频率限制、密码密文传输等安全增强。
• 项目组管理：按项目组划分资源与权限，配置组内用户权限、任务 / 服务挂载、资源组、集群与服务代理；支持用户与项目组删除、为项目组指定命名空间、绑定多个资源组、设置组内可用资源组。
• 用户 / 角色 / 权限：管理用户信息、组织架构、账号密码与 RBAC 权限体系；含操作历史记录、菜单权限控制、只读 public 角色、接口访问与类型控制，以及多租户（多公司隔离）。

二、算力调度

以 Kubernetes 为底座，云原生统筹 CPU/GPU/NPU 异构算力，实现多集群、多资源组的隔离调度与计量。

• 算力调度：云原生统筹 CPU/GPU 等算力，支持 docker / containerd 运行时；支持划分多资源组、多 K8s 集群、多地部署；支持英伟达 / 海光 / 华为 / 寒武纪 / 摩尔 / 沐曦 / 壁仞等异构算力，及私有化 / 边缘集群 / Serverless 集群模式；支持鲲鹏 ARM64、RDMA（IB/RoCE）、vGPU 虚拟化显存与整卡 / 共享 / 独占多种占用模式。
• 资源限额与数据大屏：平台 / 项目组 / 用户 / 任务 / 组内个人多级资源限制，覆盖 notebook、镜像构建、pipeline、超参搜索、内部服务与推理服务；数据大屏可视化全局 / 项目组 / 个人级别的任务 Pod 分布。
• 机器与存储管理：Web 界面控制机器调度类型、资源组归属、RDMA/vGPU 开关与可用场景；添加存储盘并绑定项目组，notebook / pipeline / 推理服务直接挂载外部分布式存储，支持 NFS、CFS、OSS、NAS、COS、GlusterFS、CephFS、S3/MinIO。
• 算力市场与计量：机器空闲查看、按需 / 按时租赁、自定义镜像启动实例、企业租赁；共享存储盘创建扩容与账单；租赁 Pod 开关机 / 释放 / SSH 登录 / 镜像保存；按用户 / 项目 / 任务维度的按量计量、日结账单，支持微信 / 支付宝 / 对公支付。

多集群管控

单个 k8s 集群的部署拓扑图：

cubestudio 支持多集群调度，可同时管控多个训练或推理集群。单集群内既能隔离一个项目组的在线开发、训练、推理，也能隔离同一 k8s 集群下多个项目组的算力；不同项目组算力间具备动态均衡能力，可在公共算力池与私有化算力池间共享，做到成本最低化。

分布式存储

cubestudio 自动为用户挂载个人目录，同一用户在平台任意位置启动的容器，其个人子目录均为 /mnt/$username；可将 pvc/hostpath/memory/configmap 挂载为容器目录，并在项目组中配置默认挂载，实现组内共享同一目录等功能。

三、在线开发

浏览器即开发，多种在线 IDE 与镜像能力，无需本地安装。

• 在线 IDE：基于 JupyterLab / VSCode 的在线交互开发，支持 Matlab、RStudio 等多种 IDE 类型，定期清理续期、环境保存；Jupyter 内置 cube-studio SDK，含 Julia、R、Python、PySpark 多内核版本。
• 多语言与插件：支持 C++、Java、Conda 等多种语言，及 TensorBoard / Git / GPU 监控等插件；SSH remote 与 Notebook 互通，可本地开发；提供汉化 IDE、大数据版内置 HDFS/Hive/Spark 客户端、SSH jumpproxy 单端口、多 Python 版本、在线对接 Claude Code、整卡 / 虚拟卡 / 共享 GPU 及华为 NPU / 海光 DCU / 沐曦在线开发。

• 镜像功能：镜像仓库 / 管理 / 在线构建，通过 Web Shell 在浏览器中完成构建；提供 notebook、inference、gpu、python 等各版本基础镜像；支持同一仓库多秘钥配置与在线镜像构建。

四、数据管理与标注

打通数据接入、探索、标注与数据中台，为算法提供高质量样本。

• 数据地图与计算：元数据库表、指标、维表管理；SQLLab 交互查询，支持 MySQL、PostgreSQL、ClickHouse、Hive、Presto、达梦等计算引擎与数据分析建模。
• 数据集管理：随时上传图片 / 音频 / 文本等样本集，支持表格数据一键探索与详情预览。

可视化数据标注

• 支持图 / 文 / 音 / 多模态 / 大模型多种类型标注，含用户管理、任务分发、项目组权限控制（草稿 / 审核 / 质量打分 / 批量导入导出）；打通分布式存储与 MLOps 平台，与数据集模块互通。
• 自动化标注对接 AIHub 模型市场：目标识别、目标边界识别、目标遮罩识别、图片分类、图片描述、OCR、关键点检测、视频多目标跟踪、多说话人语音分隔、语音识别。
• 大模型自动化标注：文本分类、文本翻译、命名实体识别、阅读理解、问答、摘要提取、答案排序等。

数据中台对接

为加速 AI 算法平台的使用，cube-studio 支持对接公司原有数据中台，包括数据计算引擎 SQLLab、元数据管理、维表管理、数据 ETL、数据集管理，提供数据资产开发工具与数据 ETL 可视化链路。

五、模型训练

拖拉拽编排 ML 全流程，标准化算子 + 分布式训练 + 超参搜索，覆盖机器学习 / 深度学习 / 大模型。

拖拉拽建模流程

1. ML 全流程：数据导入、数据预处理、超参搜索、模型训练、模型评估、模型注册、服务上线，覆盖机器学习 / 深度学习 / 大模型全流程。
2. 灵活开放：便捷的拖拉拽方式编排算法 DAG，支持单任务与 Pipeline 整体等多种调试运行方式。
3. 丰富多样的计算任务模板，支持自定义模板。
4. 分布式计算：便捷的多机多卡分布式训练，通过标准化方式提供分布式计算与训练能力，提升大规模计算落地效率。

另支持多卡型 / RDMA / 多厂商 GPU 占用、独占共享占用、分布式模板调试用户镜像；任务输入输出与全局常量；文本 / 图片 / CSV/JSON / 表格 / echart 结果可视化；workflow 暂停恢复、运行中端口服务监听、定时调度最大保留实例数、任务流优先级。

多层次多类型算子

平台以 Kubernetes 为算力底座，向上纳管多种主流计算与训练框架，对外沉淀为标准化算子库，形成"底座 — 框架 — 算子 — 场景"分层能力：

• 框架底座：统一编排 PyTorch、TensorFlow、scikit-learn、Horovod、Ray、DeepSpeed、Spark、Volcano、MindSpore、飞桨（PaddlePaddle）等训练与分布式加速框架。
• 算子分层：由基础功能、特征处理、数据处理、传统机器学习、分布式深度学习、预置模型、模型服务化直至大模型训练/微调/量化评估等构成标准化算子库，如下表：

• 场景覆盖：营销场景、金融风控、用户推荐、广告场景、搜索场景、目标识别、视频跟踪、OCR、命名实体识别、翻译、语音识别、语音合成、多模态、生成式 LLM、对话式 LLM、文生图、RAG、Embedding 等，支持自定义算子扩展。

模板自定义

如上图所示，模板机制贯穿"标准化 — 注册 — 模板库 — 编排"全流程：

• 模板标准化 → 注册：将算法能力标准化后完成"构建镜像、注册模板、配置使用参数"，沉淀为可复用组件；模板支持 int/float/list/bool/json 型，子类型支持 workdir/image/select-input/project 型与参数 tip 提醒。
• 模板库：统一纳管存储（COS / MinIO / HDFS）、框架（PyTorch / XGB / TFJob 等）与领域能力（视觉 / 听觉 / 推广搜），形成能力资产库。
• 编排：通过"选择模板 → 构建配置 task → 构建配置 pipeline → 编译调试 → 定时运行 → 监控报警"快速搭建应用，落地到数据导入、分布式训练、模型校验、模型部署等环节。

其核心价值：相比非模板开发建立应用成本更低、无需从零开发平台；模板标准化后迁移迭代只需迁移配置模板；算法与工程分离，避免重复开发。

流水线调试

• Pipeline 调试支持定时执行、补录、并发限制、超时、实例依赖等。
• Pipeline 运行支持任务间变量输入输出、全局变量、流向控制、模板变量、数据时间等。
• Pipeline 运行支持任务结果可视化：图片、CSV/JSON、ECharts 源码可视化。

分布式训练

• 支持 TF / PyTorch 分布式多机多卡训练框架，通过标准化方式提供大规模计算与训练能力。

超参搜索

• 界面化呈现训练各组数据，通过图形界面直观展示，支持单机 / 分布式自动超参搜索。
• 减少调参过程的枯燥感，让调参更生动，无需丰富经验即可实现更精准的参数控制调节。

# 上报当前迭代目标值
nni.report_intermediate_result(test_acc)
# 上报最终目标值
nni.report_final_result(test_acc)

# 接收超参数为输入参数
parser.add_argument('--batch_size', type=int)

六、推理服务

零代码将模型发布为在线推理服务，支持多集群、异构 GPU、弹性伸缩与灰度治理。

• 模型管理：模型多版本管理、指标可视化，支持在 Pipeline 中注册并一键发布为推理服务，含灰度发布、版本回退。
• 推理服务：支持 ML/TF/PyTorch/TensorRT/ONNX/Triton/LLM 模型零代码发布；GPU 卡型选择、CPU/Mem 弹性伸缩、泛域名、配置挂载、启动命令 / 环境变量 / 端口 / 健康检查；调试与生产环境、资源与流量监控；支持 vGPU / 独占 / 共享、GPU 弹性伸缩、服务优先级、随机 / header 分流、限流、流量复制、sidecar、多版本滚动升级与回滚、JWT 认证、定时伸缩容与在线测试；支持 vLLM / MindIE 大模型分布式推理。
• 内部服务：快捷部署 mysql-web、redis-web、neo4j、rstudio 等开发运维工具，及 ollama、xinference 大模型推理。

七、监控

平台提供从底层资源到任务运行的全链路监控与主动报警能力：

• 资源监控（K8s Dashboard）：可视化查看 Pod、Ingress、Service、ConfigMap、PVC、Secret、StorageClass、集群等资源；实时展示每个 Pod 的名称、标签、所在节点、运行状态、重启次数、CPU 使用率（cores）、内存使用（bytes）与创建时间。
• 资源大盘（Prometheus / Grafana）：按 namespace / node / pod 维度聚合全局资源使用，提供 Memory / CPU / GPU 使用率时序曲线与申请值 / 使用峰值统计；覆盖机器 GPU / 内存 / CPU / 网络 IO / 磁盘 IO 负载、Pod 与推理服务的 QPS / 吞吐 / vGPU 负载、IB 流量与 NPU 监控，便于容量评估与资源优化。
• 运行通知与报警：Pipeline / Workflow 任务在 Running、Succeeded、Failed 等状态变更时主动推送通知，消息含名称、namespace、状态、起止时间及 Pod 详情跳转链接；支持各 task 耗时统计与调度优化建议，报警可推送至邮件、企业微信、钉钉、飞书，并提供统一 webhook 接口。

八、AIHub 模型市场

面向模型复用与快速落地的模型市场，一键部署 / 开发 / 微调：

• 定义标准模型应用开发框架，对接 MLOps 平台实现模型的一键部署 / 开发 / 微调。
• 系统自带机器视觉 / 自然语言 / 语音音频 / 多模态 400+ 通用预训练模型，覆盖绝大多数行业场景，可按需自行扩充。
• 生态兼容：同时支持 Hugging Face、魔搭 ModelScope、飞桨生态及自研模型，实现部署 / 开发 / 微调 / 上线全链路。

• 一键部署：AIHub 模型一键部署为 Web 端应用，手机端 / PC 端皆可，实时查看模型应用效果（含 PC 版、手机 / 微信版），并可对外提供 API 或部署为推理服务。
• 一键开发：点击"模型开发"即可进入 Notebook 进行代码二次开发。
• 一键微调：点击"训练"转 Pipeline 微调链路（示例数据下载 → 微调 → 模型注册 → 部署），加入自有数据即可贴合自身场景。

• 标注与编排对接：部署对接 LabelStudio 做自动化标注；代码目录可注册为 AIHub 应用，Pipeline 亦可调用 AIHub 应用做数据处理。

九、大模型

面向大模型训练、微调、推理、评估与智能对话的完整能力。

自动化标注

• 借助大模型进行常规 NLP 任务的自动化标注（问答、阅读理解、命名实体识别、翻译、概要提取、文本分类等）。
• 支持问答数据、阅读理解问答、问答排序等大模型 / 奖励模型语料数据标注。
• 同时覆盖 audio 语音（语音识别、说话人分隔）、chat 会话（意图识别）、视觉（图片描述、OCR）等多模态自动化标注。

大模型微调（分布式框架）

• 支持 TFJob / PyTorch / PaddleJob / MindSpore / MXNet 等分布式训练框架。
• 支持 DeepSpeed / Megatron / ColossalAI / Horovod / MPI 等分布式加速框架。

大模型微调（模型与硬件）

• 支持 DeepSeek / ChatGLM / Qwen 等 full/LoRA 微调，支持 LLaMA-Factory 100+ LLMs。
• 支持大模型量化，大模型 SFT / 奖励模型 / 强化学习训练、大模型评估（OpenCompass）、大模型剪枝。
• 支持 RDMA，支持 IB/RoCE 底层，支持国产 GPU 卡，不同 GPU 厂商 / 卡型选择。

推理部署

• 以 AIHub 形式部署开源文生图大模型，支持 vLLM / Ollama / MindIE / Xinference 等多种部署形式。
• 支持 vLLM / MindIE 单机多卡 / 多机多卡推理加速，形成 OpenAI 流式接口。
• 支持大模型网关：秘钥匹配、限速、黑白名单、Token 限额、统计监控、有效期设定等，并提供 QPS / 失败率 / TPS / 输入输出 token / TTFT 等流量监控。

私有知识库

• 支持对接外部 LLM 服务厂商接口，支持对接内部预训练模型或微调模型 LLM 服务接口。
• 可为某个聊天场景配置私有知识库文件，支持主题分割、语义 embedding、意图识别、概要提取、多路召回、排序等多种功能融合。

AIGC 与智能对话

• AIGC：将智能会话与 AIHub 相结合，例如文生图模型与聊天会话结合，输入提示词即可一键生成图片。
• 机器人：智能会话可与微信公众号 / 企业微信 / 钉钉机器人打通，并可在机器人中使用知识库。
• 智能对话：支持多场景对话、提示词模板、多模态（图片）问答、切换模型、对话超参数、多窗口对话、检索知识库记录展示与安全问答检测。

国产化支持

平台原生支持国产化平台部署，以满足客户对国产化产品的安全可信要求。

国产 AI 算力，一站调度

平台原生支持主流国产 AI 芯片，屏蔽底层异构差异，让训练、微调、推理无缝跑在国产算力上：

• 华为昇腾 NPU（310 / 310P / 910B，支持虚拟化切分）
• 海光 DCU（支持整卡、共享与虚拟化多种占用模式）
• 寒武纪 MLU、沐曦、摩尔线程、百度昆仑芯、壁仞

配套提供国产算力的整卡 / 共享 / 虚拟卡灵活调度、NPU 专属监控看板、RDMA 高速互联，以及昇腾 MindIE 推理、NPU/DCU/沐曦适配的 LLaMA-Factory 大模型微调等开箱即用能力。

国产数据库，无缝对接

• 平台元数据库：支持达梦 DM8、人大金仓 KingBase、OceanBase 等国产数据库，替代 MySQL 作为平台底座。
• SQLLab 数据查询：内置对达梦、GaussDB 高斯等国产数据库的交互式查询与在线分析建模，与 MySQL、PostgreSQL、ClickHouse、Hive 等统一体验。

国产 CPU 与 ARM 架构

全栈适配鲲鹏等 ARM64 国产 CPU：平台底层组件、前后端、任务模板、Notebook 开发环境、超参搜索均提供 ARM 版本镜像，AI 应用商店约 70% 应用支持 ARM，真正做到国产芯片上"拿来即用"。

国产操作系统与私有化部署

采用容器化 + Kubernetes 交付，应用与操作系统解耦，可运行于国产 ARM 服务器与信创软硬件环境，支持全离线私有化部署，满足党政、金融、能源等行业的自主可控与安全合规要求。