自托管部署 MiniMax-M3.1-Flash

MiniMax-M3.1-Flash 是面向 Coding、Agent 工作流、Computer Use 和网络安全任务的原生多模态混合专家模型，总参数约 428B，每个 token 激活参数约 23B，模型上下文上限为 1M token。它沿用 MiniMax-M3 的 MoE 架构，并有三处变化：所有层均使用稀疏注意力、采用量化感知训练，以及随附 DSpark 投机解码草稿模型。本页介绍使用 SGLang 进行的服务器级自托管部署，不属于消费级设备本地推理。

部署状态：Experimental。 截至 2026 年 11 月 9 日，SGLang Cookbook 通过开发镜像 lmsysorg/sglang:dev-minimax-m31-flash 提供 MiniMax-M3.1-Flash 支持。SGLang v0.5.23 已包含该模型的支持 PR，但 Cookbook 尚未发布基于带版本号正式镜像的配方。请固定下方模型 revision 和镜像 digest，并使用自己的负载完成验证；不要将本配方视为生产 SLA。

状态与参考基线

项目	参考值
部署状态	Experimental
文档最后核验日期	2026 年 11 月 9 日
参考硬件	4 × NVIDIA B300、单节点、TP 4、SGLang Balanced 配方
权重	`MiniMaxAI/MiniMax-M3.1-Flash`：MXFP8 稠密层、NVFP4 路由专家，DSpark 草稿模型位于 `dspark/`
模型 revision	`ce7f4df87d2e05262f5775f373dac4772f134041`；权重、配置和 Tokenizer 文件自首次上传 `54e4e69dfc45` 以来未变化
权重仓库大小	固定 revision 下约 252 GB，包含 2.3 GB 的 DSpark 草稿模型
SGLang 镜像	`lmsysorg/sglang@sha256:614b1509bcb729c653528d448bff9850f8977fcad9d12ba56bd6dbe3d7985e87`（`dev-minimax-m31-flash`，SGLang commit `e7399a46f4`，CUDA 13.4.1，`amd64` 和 `arm64`）
运行环境	Linux、Docker 和 NVIDIA Container Toolkit；Python 与 CUDA 由固定镜像提供
验证来源	SGLang MiniMax-M3.1 Cookbook

官方来源没有公布本配方的最低主机内存、峰值显存、最低 NVIDIA 驱动版本或完整生产磁盘余量。部署前，请确认宿主机驱动支持固定镜像内的 CUDA 13.4 Runtime，并准备大于权重仓库大小的可用磁盘。

总权重仍需完整加载或分片。“23B 激活参数”不代表部署只需为 23B 权重准备显存。Hugging Face 文件摘要显示约 220B 参数，是因为它把打包 FP4 专家权重的每个字节计为一个参数，而每个字节实际存储两个值。

硬件配置

下表报告 SGLang 当前支持矩阵。“已验证”表示经过 SGLang Cookbook 验证，不代表本文档完成了 MiniMax 独立复测。

硬件	权重	GPU / 并行方式	SGLang 配方	SGLang 状态	权重存储	峰值显存	主机内存
NVIDIA B300	NVFP4	4 / TP 4	Balanced（参考基线）、Low-Latency	已验证	约 252 GB	未公布	未公布
NVIDIA B300	NVFP4	8 / TP 8、Attention DP 2、EP 8	High-Throughput	已验证	约 252 GB	未公布	未公布
NVIDIA GB300	NVFP4	4 / TP 4；High-Throughput 另加 EP 4	Balanced、Low-Latency、High-Throughput	已验证	约 252 GB	未公布	未公布
NVIDIA B200	NVFP4	4 / TP 4；High-Throughput 使用 8 / TP 8、Attention DP 2、EP 8	Balanced、Low-Latency、High-Throughput	最终验证进行中	约 252 GB	未公布	未公布
NVIDIA GB200	NVFP4	4 / TP 4；High-Throughput 另加 EP 4	Balanced、Low-Latency、High-Throughput	最终验证进行中	约 252 GB	未公布	未公布
NVIDIA H200	NVFP4，专家通过 Marlin W4A16 运行	8 / TP 8；High-Throughput 另加 Attention DP 2	Balanced、High-Throughput；不使用投机解码；上下文上限为 140,000 token	已验证	约 252 GB	未公布	未公布
AMD MI355X	NVFP4，加载时将专家重新量化为 MXFP4	4 / TP 4	Low-Latency、High-Throughput	已验证	约 252 GB	未公布	High-Throughput：每个 rank 180 GB HiCache 主机内存池
AMD MI355X	Quark MXFP4	4 / TP 4	Low-Latency	已验证	约 240 GB	未公布	未公布
AMD MI350X	NVFP4	4 / TP 4	Low-Latency、High-Throughput	已验证	约 252 GB	未公布	High-Throughput：默认 HiCache 比例下每个 TP 4 服务约 1.4 TB
AMD MI350X	Quark MXFP4	4 / TP 4	Low-Latency	与 MI355X 命令相同；未标记为已验证	约 240 GB	未公布	未公布

SGLang 列出的单卡显存为：B300 288 GB、B200 192 GB、GB200 186 GB。在 4 × B300 上使用 --mem-fraction-static 0.8 时，KV 池约可容纳 10.4M token；Low-Latency 配方的 MonoKernel 会单独保留一份路由专家副本（每个 rank 54.1 GiB），因此 KV 池降至约 6.5M token。在 ROCm 上，NVFP4 Checkpoint 只能以 TP 4 或更低并行度运行，服务会拒绝更大的 TP；在 8 卡 AMD 节点上，请在不同端口启动两个 TP 4 服务，并在前面部署 Router。如需 GB 系列、B200、H200 或 AMD 的准确命令，请使用 SGLang 配置生成器。未经重新验证，不要直接把这些命令参数替换到本页 B300 基线中。

Quickstart：4 × B300

开始前，请确认宿主机有足够空间存放约 252 GB 权重、容器镜像和缓存。下方命令使用 0 到 3 号 GPU；如果这些 GPU 已被占用，请修改设备列表。

1. 拉取固定运行时

docker pull lmsysorg/sglang@sha256:614b1509bcb729c653528d448bff9850f8977fcad9d12ba56bd6dbe3d7985e87

2. 验证 GPU 访问

输出必须列出 4 张 B300 GPU：

docker run --rm --gpus '"device=0,1,2,3"' \
  lmsysorg/sglang@sha256:614b1509bcb729c653528d448bff9850f8977fcad9d12ba56bd6dbe3d7985e87 \
  nvidia-smi

3. 启动服务

docker run --rm --name minimax-m3-1-flash \
  --gpus '"device=0,1,2,3"' \
  --shm-size 32g \
  --ipc=host \
  -p 127.0.0.1:30000:30000 \
  -e FMHA_SM100_ALLOW_JIT=1 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -v ~/.cache/minfer:/root/.cache/minfer \
  lmsysorg/sglang@sha256:614b1509bcb729c653528d448bff9850f8977fcad9d12ba56bd6dbe3d7985e87 \
  sglang serve \
  --trust-remote-code \
  --model-path MiniMaxAI/MiniMax-M3.1-Flash \
  --revision ce7f4df87d2e05262f5775f373dac4772f134041 \
  --reasoning-parser minimax-m3 \
  --tool-call-parser minimax-m3 \
  --tp 4 \
  --moe-runner-backend flashinfer_trtllm_routed \
  --speculative-algorithm DSPARK \
  --speculative-use-block-verification \
  --cuda-graph-backend-prefill breakable \
  --chunked-prefill-size 32768 \
  --max-running-requests 128 \
  --cuda-graph-max-bs-decode 128 \
  --mem-fraction-static 0.8 \
  --tokenizer-worker-num 8 \
  --host 0.0.0.0 \
  --port 30000

进程在容器内部监听所有接口，但 -p 127.0.0.1:30000:30000 只将端口发布到宿主机回环地址。首次启动需要下载约 252 GB 权重，并编译 MSA 稀疏注意力 Kernel 和 FlashInfer Kernel，可能耗时较长。FMHA_SM100_ALLOW_JIT=1 允许编译 MSA Kernel；编译结果缓存在 /root/.cache/minfer，命令将其映射到宿主机，后续启动可直接复用。 --speculative-algorithm DSPARK 会从 Checkpoint 的 dspark/ 子目录按相同 revision 加载草稿模型，无需指定草稿模型路径。日志中会出现 DSpark draft found in the target checkpoint's dspark/ subfolder。

4. 检查就绪状态

服务日志显示已经就绪后，在另一个终端运行：

curl --fail --silent --show-error http://127.0.0.1:30000/health

检查成功时，命令以状态码 0 退出。如果失败，请保持服务进程运行并检查日志，再发送推理请求。然后确认 NVFP4 KV Cache 解码路径使用了快速 Kernel：

docker logs minimax-m3-1-flash 2>&1 | grep 'nvfp4_to_fp8 backend='

预期输出包含 nvfp4_to_fp8 backend=qmul4。如果是其他后端，说明服务找到的 CUDA Toolkit 低于 13.4，并在不报错的情况下回退到了较慢路径。

5. 验证文本生成

curl http://127.0.0.1:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiniMaxAI/MiniMax-M3.1-Flash",
    "messages": [
      {"role": "user", "content": "Explain sparse attention in one sentence."}
    ],
    "temperature": 1.0,
    "top_p": 0.95,
    "max_tokens": 4096
  }'

成功响应包含非空的 choices[0].message.content。模型产生推理轨迹时，SGLang 会将其单独放在 choices[0].message.reasoning_content。

6. 验证思考控制

curl http://127.0.0.1:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiniMaxAI/MiniMax-M3.1-Flash",
    "messages": [
      {"role": "user", "content": "How many prime numbers are there below 50?"}
    ],
    "thinking": {"type": "disabled"},
    "temperature": 1.0,
    "top_p": 0.95,
    "max_tokens": 4096
  }'

响应包含非空的 choices[0].message.content，且 choices[0].message.reasoning_content 为空或 null。

7. 验证图片输入

curl http://127.0.0.1:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiniMaxAI/MiniMax-M3.1-Flash",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "text", "text": "Describe this image in one sentence."},
        {"type": "image_url", "image_url": {"url": "https://raw.githubusercontent.com/sgl-project/sglang/2511743bd784e69e5a81ca3d926a000711dae4ab/examples/assets/example_image.png"}}
      ]
    }],
    "temperature": 1.0,
    "top_p": 0.95,
    "max_tokens": 4096
  }'

示例图片由 SGLang 项目维护。生产环境只接受可信或已加入白名单的远程 URL，或者在网关校验文件后发送 Base64 data URI。

能力边界

能力	模型原生能力	本页 B300 SGLang 配方	说明
文本输入与输出	支持	SGLang 已验证	OpenAI 兼容 Chat Completions
推理	支持	SGLang Cookbook 提供示例及输出	需要 `--reasoning-parser minimax-m3`；流式响应在 `delta.reasoning_content` 中返回推理轨迹
思考模式与推理强度	`thinking.type`：`enabled`、`disabled` 或 `adaptive`；`reasoning_effort`：`low`、`medium`、`high`、`xhigh` 或 `max`	SGLang Cookbook 提供示例及输出	两者均作为请求顶层字段发送。省略 `thinking` 时为 `adaptive`；`reasoning_effort` 为 `none` 或 `minimal` 时关闭思考。MiniMax API 对该模型始终开启思考；关闭思考仅适用于自托管部署
工具调用	支持	SGLang Cookbook 提供示例及输出	需要 `--tool-call-parser minimax-m3`
图片输入	支持	SGLang Cookbook 提供示例及输出	OpenAI `image_url` 内容类型
视频输入	模型支持	本 SGLang 配方未验证	Cookbook 未提供视频示例；未自行验证前，不要宣称本配方支持视频服务
DSpark 投机解码	草稿模型随附于 `dspark/`	本配方已启用	SGLang 在 Blackwell 和 AMD MI350X / MI355X 配方中支持；H200 配方不使用投机解码
上下文长度	最高 1M token	本配方未限制上下文长度；SGLang 公布了 4 × B300 上 1K、256K 和 1M token 的 Low-Latency 解码测量结果	H200 配方将上下文限制为 140,000 token。设置生产上限前，请使用自身的提示词长度完成验证

模型卡推荐使用 temperature=1.0 和 top_p=0.95。

已发布性能数据

SGLang 报告了以下测量结果。这些数据是上游参考结果，不构成 MiniMax 性能保证。

硬件	配方	负载	结果
4 × B300	Low-Latency（MSA-V1 MonoKernel），DSpark 接受长度固定为 5	Batch Size 1 解码，上下文分别为 1K / 256K / 1M	1,028 / 919 / 723 tokens/s；标准路径为 479 / 465 / 408 tokens/s
4 × MI355X	High-Throughput，启用 HiCache	64 个并发长多轮会话	单 GPU 90,168 tokens/s；P90 TTFT 1.21 s

MonoKernel 只服务 Batch Size 为 1 的步骤，更大的 Batch 走标准路径，因此并发下的吞吐低于 Balanced 配方。SGLang 尚未公布 Balanced 参考配方的延迟或吞吐、峰值显存、主机内存和冷启动时间。针对 Agent 长上下文部署，Cookbook 提供了完整启动命令，并链接到对应的 SemiAnalysis InferenceX 测试记录。容量规划前，请使用自身的提示词长度、输出长度、多模态请求比例和并发进行压测。

权重、缓存与离线部署

运行时默认将 Hugging Face 文件下载到容器内的 /root/.cache/huggingface；Quickstart 命令将其映射到宿主机 ~/.cache/huggingface。如需准备离线副本，请在联网机器上安装 Hugging Face CLI，并下载固定 revision：

hf download MiniMaxAI/MiniMax-M3.1-Flash \
  --revision ce7f4df87d2e05262f5775f373dac4772f134041 \
  --local-dir /data/models/MiniMax-M3.1-Flash

将该目录复制到部署主机，然后在不访问 Hub 的情况下启动。SGLang 会在本地 dspark/ 子目录中找到 DSpark 草稿模型：

docker run --rm --name minimax-m3-1-flash \
  --gpus '"device=0,1,2,3"' \
  --shm-size 32g \
  --ipc=host \
  -p 127.0.0.1:30000:30000 \
  -e HF_HUB_OFFLINE=1 \
  -e FMHA_SM100_ALLOW_JIT=1 \
  -v /data/models/MiniMax-M3.1-Flash:/models/MiniMax-M3.1-Flash:ro \
  -v ~/.cache/minfer:/root/.cache/minfer \
  lmsysorg/sglang@sha256:614b1509bcb729c653528d448bff9850f8977fcad9d12ba56bd6dbe3d7985e87 \
  sglang serve \
  --trust-remote-code \
  --model-path /models/MiniMax-M3.1-Flash \
  --reasoning-parser minimax-m3 \
  --tool-call-parser minimax-m3 \
  --tp 4 \
  --moe-runner-backend flashinfer_trtllm_routed \
  --speculative-algorithm DSPARK \
  --speculative-use-block-verification \
  --cuda-graph-backend-prefill breakable \
  --chunked-prefill-size 32768 \
  --max-running-requests 128 \
  --cuda-graph-max-bs-decode 128 \
  --mem-fraction-static 0.8 \
  --tokenizer-worker-num 8 \
  --host 0.0.0.0 \
  --port 30000

ModelScope 已提供官方镜像：MiniMax/MiniMax-M3.1-Flash。ModelScope 页面没有使用本基线所采用的 Hugging Face commit 标识快照，因此，在固定 revision 的部署中替换镜像前，请重新验证文件。下载中断时，使用相同 revision 和目录重新运行 hf download，客户端会从缓存继续。如果加载时报权重分片缺失或损坏，请先确认可用磁盘空间并重新下载对应 revision，再调整运行参数。

生产部署与安全

开发环境请保留回环地址绑定。将服务暴露给其他主机前：

设置不可预测的 SGLang --api-key，并通过 Authorization: Bearer <key> 发送。
在反向代理或可信入口终止 TLS，使用防火墙或安全组限制来源网络，并增加请求速率和并发限制。
除非数据策略明确允许，否则不要记录 API Key、完整提示词、Base64 媒体或模型输出。
在网关拒绝任意远程媒体 URL。应用域名白名单，阻止私有地址和链路本地地址，限制重定向次数、下载时间、字节大小、图片像素和视频时长，并在转发请求前校验媒体类型。
监控 GPU 内存、队列深度、请求延迟、错误率、进程健康和磁盘使用量。仅得到成功的 /health 响应不能代表已达到生产就绪状态。

SGLang 支持 --api-key，但当前 MiniMax-M3.1 Cookbook 未提供完整的远程媒体安全策略。请在网关和网络层实施这些控制。针对多轮 Agent 流量，Cookbook 介绍了分层 KV Cache（--enable-hierarchical-cache --hicache-size <每个 rank 的 GB 数>），可将被逐出的前缀保留在主机内存中。多个副本共同服务一个入口时，请在前面部署 SGLang Router 并使用 --policy cache_aware，让同一会话的后续轮次到达持有其前缀的副本。启用 HiCache 前请先规划主机内存：--hicache-size 按每个 rank 计算。

故障排查

症状	最可能原因	最短修复步骤
启动失败并报 `JIT compilation is disabled and AOT kernel ... was not found`	未设置 `FMHA_SM100_ALLOW_JIT`，且没有已缓存的 MSA Kernel	添加 `-e FMHA_SM100_ALLOW_JIT=1`。该变量只检查是否存在，因此设为 `=0` 并不会关闭 JIT
日志中没有 `nvfp4_to_fp8 backend=qmul4`，且解码速度低于预期	服务找到的 CUDA Toolkit 低于 13.4	使用固定镜像，或将 `CUDA_HOME` 指向 CUDA 13.4 Toolkit
每次启动都要花很长时间编译 Kernel	容器之间没有持久化 MSA Kernel 缓存	保留 `~/.cache/minfer:/root/.cache/minfer` 挂载
启动、CUDA Graph 捕获或预填充阶段出现 `CUDA out of memory`	激活值余量不足或预填充分块过大	将 `--mem-fraction-static` 降至 `0.8` 以下，再调小 `--chunked-prefill-size`；这会降低 KV 容量或预填充速度，需要重新压测。B200 请使用配置生成器中的 B200 配方，不要沿用 B300 参数
启动失败并报 `M3.1 NVFP4 DSPARK requires Blackwell`	在非 Blackwell 的 NVIDIA GPU（如 H200）上启用了 DSpark	使用配置生成器中的 H200 配方，该配方不使用投机解码
权重加载失败或缺少分片	下载不完整、磁盘不足或 revision 不一致	确认模型路径、可用磁盘和 revision；使用固定 revision 重新运行 `hf download`
NCCL 初始化卡住或超时	未暴露全部 GPU、共享内存不足，或拓扑/驱动异常	使用 `nvidia-smi` 确认 4 张 GPU，保留 `--ipc=host` 和 `--shm-size 32g`，再启用 `NCCL_DEBUG=INFO` 并检查首个失败 rank
`content` 中出现原始 `<mm:think>` 或 MiniMax 工具调用 token	未启用对应 Parser，或运行时不同于固定镜像	恢复 `--reasoning-parser minimax-m3` 和 `--tool-call-parser minimax-m3`，然后使用固定 digest 重启
请求因 `thinking` 返回 HTTP 400	`thinking.type` 不是 `enabled`、`disabled` 或 `adaptive`	改为这三个值之一，或省略 `thinking`
`reasoning_effort` 不生效	推理强度放在了 `chat_template_kwargs` 中，SGLang 对该模型会丢弃此值；或已关闭思考	将 `reasoning_effort` 作为顶层字段发送，并保持思考为开启或自适应
进程启动后 `/health` 仍失败	模型仍在下载/加载或编译 Kernel、Worker 已退出或端口映射错误	检查容器日志、宿主机磁盘和 GPU 状态，并确认发布了 `127.0.0.1:30000:30000`
远程图片请求失败	服务端无法访问 URL，或网关阻止该 URL	改用白名单 URL 或经过校验的 Base64 data URI；不要全局关闭网络防护

其他推理框架

模型卡还列出了以下部署路径。它们不在本页的已验证范围内，请完整遵循对应的上游配方。

框架	上游配方	配方声明的范围
vLLM	vLLM recipe	vLLM `0.33.0` 或更高版本。Blackwell 或 MI355X 上使用 TP 4；H100 / H200 上使用 TP 8、FP8 KV Cache 和 Marlin MoE Kernel，Hopper 上不使用 DSpark。必须设置 `--block-size 128`。推理和工具调用 Parser 名为 `minimax_m3`，推理强度通过 `chat_template_kwargs` 设置
TokenSpeed	TokenSpeed recipe	自动选择 MXFP8 投影层与 NVFP4 专家的量化方式，该方式需要 Blackwell。示例使用 TP 4，并将 DSpark 草稿模型路径设为 Checkpoint 的 `dspark/` 子目录
FlagOS	多芯片支持与下载	由 QAT NVFP4 权重重新量化得到的 W8A8 版本，覆盖九家厂商的芯片：平头哥、NVIDIA、沐曦、海光、华为昇腾、摩尔线程、天数智芯、昆仑芯和清微智能。硬件要求见各平台的模型卡

License 与使用限制

权重按 MiniMax Community License 发布，授权范围为非商业用途。商业使用需显著展示 “Built with MiniMax M3.1-Flash”；相关产品和服务年收入超过 2,000 万美元时，需事先获得 MiniMax 书面授权，否则只需向 MiniMax 发送一次性通知。License 还列出了禁止用途，包括任何军事用途。生产或商用前，请阅读完整 License 并完成适用流程；本页不构成法律建议。

SGLang MiniMax-M3.1 Cookbook

查看上游硬件矩阵、配置生成器、Playground、PD 分离和 Agent 长上下文启动命令。

MiniMax-M3.1-Flash 模型卡

查看官方权重、模型能力、推理参数和 License。

MiniMax Sparse Attention

查看 MSA Kernel 源码和 Blackwell 要求。