项目概况
项目背景
旧数据时代,存储主要面对数据库、文件和流媒体等传统应用,整体性能诉求较低。但在新兴技术驱动下,存储需面对云、大数据、AI等大规模数据应用型场景,挑战日益严峻。
南京大学某课题组在人工智能科研中,正面临着模型训练数据的日益激增,其现存储集群容量已达上限,传统架构下的带宽和IOPS也成为瓶颈,考虑到后期数据的持续性增长,课题组需对现有存储集群进行改造及扩容。
解决方案
为助力客户消除传统存储架构存在的性能瓶颈,进一步满足人工智能场景下高带宽、高并发的海量数据存取需求,超集信息为其部署了MatrixStore分布式存储解决方案。
MatrixStore用数据通道与元数据通道分离的形式实现,且元数据服务器与数据存储服务器可动态进行扩容,从而加大元数据服务器检索能力及数据传输的性能。并且,元数据集群和存储集群可以在线动态扩展,在扩展过程中无需中断存储系统上应用的运行,扩展的容量即插即用;扩容后数据自动迁移实现均衡,硬盘之间利用率差距不超过3%,充分发挥硬件性能。
客户价值
通过MatrixStore构建的分布式存储系统,不仅助力消除了传统存储架构存在的性能瓶颈,为客户提供了提供全局统一的存储系统映像和按需调配的存储资源池,而且规避了原有集群中,数据在归集、预处理、训练、推理流程中的算力等待问题,提升了整体资源利用效率,有效推进了科研进程。