MiniMax-01

MiniMax-01 结合了用于文本生成的 MiniMax-Text-01 和用于图像理解的 MiniMax-VL-01。它拥有 4560 亿个参数，每次推理激活 459 亿个参数，并且能够处理高达 400 万 token 的上下文。

文本模型采用了一种混合架构，结合了 Lightning Attention、Softmax Attention 和混合专家（MoE）。图像模型采用“ViT-MLP-LLM”框架，并在文本模型的基础上进行训练。