当前,银行业迎来了2023年报和2024年一季报密集发布期,作为大模型应用的排头兵,金融业大模型应用情况受到广泛关注。数据显示,包括中国工商银行、中国建设银行、交通银行、中信银行等在内的多家全国性银行,都在公布了AI大模型的最新进展。
工商银行已经建成同业首个全栈自主可控的千亿级AI大模型技术体系;中国建设银行启动大模型“方舟计划”;交通银行正在探索大模型应用于办公助手、客服问答等场景;中信银行完成千亿级开源大模型部署,打造软硬件一体化的大模型平台。
金融大模型落地,别让存力成瓶颈
大模型落地过程中,算力、数据和算法是三大支撑要素。
在大模型算力建设方面,企业普遍将注意力投向价格高昂、技术供给上有“卡脖子”风险的GPU。相比以GPU为代表的计算力,存力的重要性往往被忽视。但事实上,大模型对算力的要求如此之高,必须依托由高性能计算芯片、存储和网络共同构成的大规模算力集群。而算力集群存在“木桶效应”,如果存储和网络性能无法支撑大规模数据存储、读写和传输,高性能计算芯片也用武之地,价值将大打折扣,最终影响大模型训练效率。
首先,需要具备极致存储性能。为了提升大模型训练速度,需要对大规模数据集进行快速加载,且一般采用数百甚至上万张GPU构成计算集群进行高效的并行计算,需要高并发I/O处理。在同样的GPU算力规模下,存储性能的高低可能造成模型训练周期3倍的差异。
第二,支持亿级文件的高速吞吐。大模型训练数据集一般以文档、图片、音视频等非结构化数据为主,呈现海量小文件的特点,在几亿到几十亿量级。这就要求存储系统具备强大的元数据管理能力,从而支持海量小文件的高吞吐。
第三,具备高可用性。在长周期的训练过程中,由于软硬件系统稳定性和模型调优等方面的问题,大模型训练可能出现中断,而训练中断非常影响训练效率,这要求存储系统本身具备高可用性,支持checkpoint 的快速保存和加载,快速恢复训练状态。
京东云云海,极致存力助力金融机构大模型落地
云海是京东云自研的分布式统一存储平台,从2012年开始启动研发,经过十余年的发展,基于新一代存储架构的京东云云海于2022年正式对外发布。
面向金融机构大模型场景,京东云云海分布式存储产品基于全自研的统一底座,具备高性能、强兼容性、低成本的优势,能很好地满足金融机构对于国产化和软硬件解耦的需求。目前,京东云云海分布式存储已服务众多头部银行和证券公司的大模型算力基础设施建设。
在中国建设银行股份有限公司发布采购结果公示中,京东云中标高性能分布式文件存储项目。代表京东云分布式存储平台云海,产品能力获得金融头部大行认可。
在性能方面,云海可支持千亿级参数AI大模型,融合超低延时RDMA网络及软件架构优化,4K随机写IOPS达到1000万级,平均延迟在100微秒级。
在国产兼容方面,云海为京东100%自研产品,核心技术完全自主可控,已与主流国产化硬件和软件兼容互认,并能实现兼容后性能无明显衰减,已在京东核心场景实现国产化实践验证。
在成本方面,云海支持低至1.1x副本的业内超低冗余的EC存储,并在生产环境成熟使用,大幅提升磁盘空间利用率。
云海根植于京东集团内部万亿级营收业务体量下的最佳实践,面向大模型场景,客户可快速通过云海构建存力底座,大幅提升了大模型训练效率。此外,存储的稳定性,也是使用大模型时应该关注的重点。在中国信通院近期发布的云存储服务稳定性测试中,云海凭借领先的技术创新和优秀的产品能力,顺利通过先进级评测。
面向未来,京东云云海将继续深耕产业,针对互联网、金融、政府、医疗、汽车等多个行业的特定场景,持续打磨技术产品能力,提供更高性能和更优性价比的存储服务,为产业深度数字化加速。
免责声明:证券市场周刊力求信息真实、准确,文章提及内容仅供参考,网站所示信息出于传播之目的,不代表证券市场周刊观点,亦无法保证该等信息的准确性和完整性,不构成实质性投资建议,据此操作风险自担。
广告
Copyright 《证券市场周刊》杂志社(北京)有限公司 All RightReserved 版权所有 [京ICP备2022020594号-15] 京公网安备11010102000187号