1. XenForo 1.5.14 中文版——支持中文搜索!现已发布!查看详情
  2. Xenforo 爱好者讨论群:215909318 XenForo专区

新闻 Omni-Infer v0.5.0 发布,超大规模 MoE 模型推理加速技术 下载

本帖由 漂亮的石头2025-09-27 发布。版面名称:软件资讯

  1. 漂亮的石头

    漂亮的石头 版主 管理成员

    注册:
    2012-02-10
    帖子:
    487,979
    赞:
    47
    Omni-Infer v0.5.0 已经发布,超大规模 MoE 模型推理加速技术。 v0.5.0 核心特性 支持VeRL 其它优化 基于5P8-1D32@A3,2K+2K,Deepseek R1性能达到QPM500,TTFT<2s,TPOT<50ms 基于1P16-1D32@A2,2K+2K,Deepseek R1单卡Decode峰值性能达到400 TPS,TPOT<50ms 支持模型列表 模型 硬件 精度类型 部署形态 DeepSeek-R1 A3...
    Omni-Infer v0.5.0 发布,超大规模 MoE 模型推理加速技术下载地址
     
正在加载...