#Mistral

混合专家模型：AI 界的专家会诊制如何让大模型更高效？

混合专家（MoE）架构让大模型像“专家会诊”：通过门控机制动态调用不同子网络处理输入，训练中自然形成专长。Mixtral用8个专家超越GPT-3.5，DeepSeek R1总参6710亿但仅激活370亿，显著降本增效。