金融数据湖仓存储解决方案
StarRocks 存算分离专属存储底座
需求分析
金融行业在数据驱动业务的趋势下，数据不仅成为重要的资产，更成为促进业务发展的重要因素。银行业的实时精准营销与交叉销售、实时反欺诈与交易监控，保险业的智能核保与动态定价、续保预测与流失预警，证券基金业盘中实时风控与合规监控、量化交易与策略执行，都需要以海量数据为基础进行实时分析和决策。随着AI融入业务，实时行情、交易流水、客户行为、产品动态业绩、资产净值、日志、风控指标、AI特征样本、AI实时反馈与标注等数据爆发增长，并且，这些数据需要立即用于实时分析、业务追踪与决策，因而对当前金融机构存算一体的数据湖仓提出很大挑战。
- 金融机构日均产生数十TB数据，这些数据不仅需要持久存储，还需要用于实时分析，在计算和高速缓存资源昂贵的情形下，存算一体架构面临着节点扩展的高昂成本。因此，存算分离的实时湖仓成为必然选择。
- 实时反欺诈、交易风控、监管快报需秒级可见，每日跑批有严格时限。存算分离下，通用对象存储面对密集高并发查询，极易产生长尾延迟、查询抖动，严重影响结果输出的时效性和可靠性。
- 金融业务对数据强一致、故障自愈、细粒度权限、全链路审计、数据回溯有严格要求，还需适配信创建设，国外开源及其商业化存储难以满足金融合规要求。
- 交易库、业务库、实时流、影像、AI特征样本分散于多套系统，导致数据隔离和冗余，且流转链路复杂，难以满足业务拉通的数据统一与共享的要求。
- 金融AI风控、智能营销需同时支撑湖仓分析与AI特征样本的数据存储，传统对象存储底座无法兼顾湖仓分析、AI训练推理的双重业务负载。
解决方案
海量数据、存储降本、打破数据孤岛，共同推动存算分离架构走向主流。碧海分布式存储凭借高并发、高吞吐、低P99延迟优势，深度适配 StarRocks 高并发亚秒级实时分析，是国内少数能满足MPP分析需求的对象存储系统之一，也是StarRocks存算分离专属存储底座。
方案整体采用StarRocks存算分离架构，碧海分布式对象存储作为专属存储底座，通过S3协议无缝对接，实现存算完全解耦，针对性解决各类业务痛点：
- （1）计算、存储独立弹性扩容，资源利用率大幅提升，摆脱硬件约束，降低实时湖仓成本；
- （2）支持StarRocks的MPP（大规模并行处理）实时分析下的高并发查询，抑制长尾延迟，使风控、看板业务运行更加稳定；
- （3）通过冷热智能分层，支持多源数据秒级实时摄入Apache Iceberg、Apache Hudi、Paimon的数据湖或Apache Hive的数仓，保障一套数据多业务共享。
方案优势
碧海分布式对象存储全面支持StarRocks实时湖仓。
金融影像、双录、非结构化文件数据湖存储方案
海量非结构化文件的统一数据湖
需求分析
金融行业正经历高速发展阶段，随之而来的是银行、保险、消费金融等业务系统中各类信息的急剧增加，包括客户资料、财务报表、业务活动中产生的电子文档（如文档、PDF、网页、图片、视频）、部门间通讯文件（通知、计划、公告、公文、报表）及归档文件（制度、档案、合同、资料等）。这些文档数量呈几何级增长，对分类、保存、归档及高效查询、法规遵从提出了较高的要求。传统使用NAS存储数据。由于大数据、AI、自动化等新型技术，因此业务日志、应用日志、系统日志、服务跟踪等数据也同样需要保存，出现海量小文件的趋势。
- 文件数量十亿到几百亿级规模；
- 因数据再挖掘价值保存时间长、数据有生命周期特征；
- 平均数据大小不一，写入多，读取为批量或精准查询；
- 需要满足灾备机制；
- 需要多协议支撑满足不同业务的访问；
- 防篡改和数据流动、备份、保护等功能特性；
- 可靠性、稳定性和易运维性。
解决方案
霄云碧海存储系统是一款自主研发的分布式存储软件，它兼容X86和信创软硬件，能够高效处理百亿级别的海量小文件且不降低性能。软件安装运维简便，提供块、CIFS、FTP、NFS、HDFS、S3、CSI等多种标准协议，并支持非结构化数据的多协议互访。该系统已在大型三甲医院的影像平台上稳定运行长达五年，具备副本和EC冗余功能，以及确保业务稳定性的自动故障恢复机制，同时支持双站点灾备复制。
方案优势
- 百亿级文件性能不衰减；
- 支持S3、FTP、CIFS、NFS、NAS、HDFS协议，且所有协议实现互访；
- 满足双中心互为灾备和法规遵从；
- 具有高扩展性、高性能、高可用性、运维简单、成本更优特点。
