蚂蚁集团推出新款MoE大言语模型 运用国产AI芯片练习其功能与彻底运用英伟达芯片、同规划稠密模型及MoE适当

  近来，蚂蚁集团Ling团队宣布了一篇技能成果论文。论文显现，蚂蚁集团推出了两款不同规划的MoE大言语模型——百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus)，前者参数规划为168亿(激活参数27.5亿)，Plus基座模型参数规划高达2900亿(激活参数288亿)，两者功能均到达职业抢先水平。除了自研功能抢先的大模型以外，该技能论文最大的打破在于提出了一系列立异办法，以提高资源受限环境下AI开发的功率与可及性。试验标明，其3000亿参数的MoE(混合专家)大模型可在运用国产GPU的低功能设备上完结高效练习，功能与彻底运用英伟达芯片、同规划的稠密模型及MoE模型适当。(科创板日报)