本站讯 近日,中国海洋大学深海前沿科学中心超算与大数据平台在国产装备环境成功部署了基于BF16精度的671B满血版DeepSeek大模型,并完成了相关性能测评。该模型具备强大的自然语言生成与逻辑分析能力,能够为海洋数据处理、环境预测、资源勘探、生态保护、医药数据等领域提供智能化解决方案。这标志着学校在国产计算环境中海洋领域大规模人工智能模型的部署与科研工作应用支撑又迈上新台阶。
深海前沿科学中心大数据机房
此次671B满血版DeepSeek大模型部署在安装了32块国产GPGPU加速卡的国产服务器集群中。针对基于4K上下文的常用场景,在64请求并发时,实测总吞吐量达到1575.4tokens/s,平均单用户吞吐达到24.6 tokens/s,完全满足实际需求。在此基础上,完成了1024并发访问极限测试,极限吞吐性能达到3725.1 tokens/s,居于同类装备前列。后续,技术团队将利用编译器优化、张量-数据并行、MLA、FuseMoE等技术手段,尝试进一步提升性能上限。
测试部分过程截图
671B满血版DeepSeek的成功部署和性能测评,是深海前沿科学中心推动人工智能与海洋科学深度融合的重要节点,使信息科学更有力地支撑海洋科学研究向智能化、精细化方向发展。大数据中心将持续着力于人工智能与海洋科学的交叉学科研究工作,加强国产高性能计算装备建设,进一步挖掘以DeepSeek为代表的大模型等人工智能技术在海洋科学研究中的应用潜力,为海洋强国建设贡献力量。
部署满血版Deepseek国产计算集群
通讯员:夏文卿 贾东宁
编辑:赵奚赟
责任编辑:刘莅