欢迎来到深圳云服科技有限公司官网!联系电话:0755-2560 4557
热门搜索:云计算    网络安全     物联网    视频会议    超融合一体机    桌面云一体机   S/4 HANA   MAXHUB
您所在的位置:首页 > 信息动态  > 解决方案

海量非结构化数据存储方案

来源:深圳云服科技有限公司 发布时间:2020/8/20 11:27:48

方案背景

数字化转型推动着数据的快速增长。新摩尔定律表明,全球数据总量每过 18 个月就会增长一倍,预计到 2020年全球数据总量将达到 3,5000EB。其中,在高速增长的数据中,非结构化数据占比超过 80%。大数据时代,数据体量越来越庞大。在数据量高速增长的同时,对于数据的存储、管理以及如何利用数据产生价值,成为用户关注的核心,而传统存储已然不能满足上述诉求。

一、扩容难、成本高

随着数据的高速增长,传统存储 Scale-Up 的扩展方式,会造成“小马拉大车”的困境,性能与容量无法灵活扩展。同时,传统存储的扩容成本较高,随着大量的非结构化数据占用存储空间,扩容的需求将造成投资成本不断攀升。

二、海量小文件下,性能衰减严重

随着新技术的不断应用,如人脸识别、基因测序等,越来越多的场景会产生亿级至数十亿级的小文件。而传统存储对于海量小文件的处理,当数据量达到一定程度时,性能将严重衰减,无法满足业务的高性能处理需求。

三、运维管理复杂

海量非结构化数据的诞生,造成存储设备的种类与数量众多。传统的“一机一管理”方式使得运维管理非常复杂,例如:无法实现故障的快速定位、快速处理。


方案概述

为了满足海量数据的存储要求,业界采用分布式架构多节点并发处理,满足大容量、高吞吐的要求。同时,通过架构创新减少元数据规模并提升元数据的访问速度,有效提高海量文件的处理能力。对象存储采用扁平化的数据组织方式(NAS 为树状方式),有效提高海量小文件的性能,该方式也经常被用在海量小文件的存储场景。云服企业级分布式存储 EDS 海量非结构化数据解决方案,在实现大容量、高性能的基础上,通过 AI 智能模块,实现了对集群的极简运维、故障自动排查,大幅降低了集群管理的复杂度,减少了存储集群的总体投资成本。


方案价值

一、超大集群扩展能力,提供 EB 级存储空间

云服分布式存储 EDS 通过 X86+EDS 分布式存储系统,可实现 5,000 节点的超大集群部署,EB 级存储容量的空间扩展,同时标准 X86 存储服务器大大降低了存储扩容成本,全面满足未来海量非结构化数据爆发式增长所需的存储扩容及低成本要求。

二、支持 100 亿级的海量小文件高性能读写

云服分布式存储 EDS 轻松解决海量小文件存储难题。通过采用对象存储技术和 AI 智能缓存优化,将海量小文件处理能力从千万提升到 10 亿 -100 亿,并且保证高速的读写速度,从而满足未来新业务对于海量小文件数据处理的性能需求。

三、统一管理、简化运维

云服分布式存储 EDS 可实现多集群、多协议的统一管理运维。一个界面即可全面监控整个存储系统的稳定运行状态。同时,云服 EDS 内置 AI 亚健康检测模块,可对潜在的故障威胁进行预判,通过对故障的主动防御,减少因设备故障导致的数据丢失风险,大幅降低运维管理复杂度,提升业务可靠性。

四、高效支撑大数据应用

数据的价值核心在于如何利用。 随着数据体量逐步增大,对于大数据分析和价值挖掘的需求将越来越明显。 云服分布式存储 EDS 可直接对接大数据分析平台,提供 HDFS 等相应的数据分析接口,全面满足大数据分析的需求。



上一条: 多分支组网方案 下一条: 云存储方案