cStor云存储系统

背景

当今社会是个信息爆炸的社会,各行各业的数据都在 成倍的增长,成倍增长的数据需要大量的存储设备来存储,如果还使用大型机、小型机等传统的存储设备,硬件成本和维护成本必定是昂贵的。同时,国家倡导节能减排,减少用电,节约用电,不但是企业降低运营成本的需要,更是作为一个公民应尽的义务。云存储系统正是在这样的背景下发展起来的。

云存储系统采用了先进的云计算技术、网络通信技术以及分布式文件系统技术,将廉价的、性能低下的硬件存储节点组织管理起来, 提供高性能、高可靠的存储系统。

作为云计算架构中的基础设施层,随着数据量的爆炸式增长,对云存储技术和产品的需求已经呈现扩张! 比尔盖茨曾预言,未来的云存储市场将比目前IT业的市场总和还要大!因此,云存储产品必将具有异常广阔的市场前景!

产品简介

cStor云存储系统是南京云创大数据科技股份有限公司自主研发的、具有自主知识产权的高科技产品,整套系统包括软件与硬件,是一个海量的云存储平台。

与传统的大规模存储系统相比,cStor针对大多数数 据密集型应用的特点从多个方面进行了优化,从而在一定规模下达到成本、可靠性和性能的平衡。cStor凭着很低的价格、优异的性能、高度可靠、绿色节能、在线自动伸缩、易用通用等诸多压倒性优势,获得了广电、安防、刑侦、政务、交通、动漫等各行业用户青睐,产品代理和销售商已发展到数十家。

目前,cStor云存储系统已成熟应用于安防视频监控 、刑侦、广电、交通、电信、医疗、政务、教育等诸多领域,性能优越,表现出色,得到用户称赞。

图1 cStor云存储系 统实物图

系统架构

cStor云存储文件系统包括: 卷管理服务、元数据服务、存储服务、客户端、网管监控中心。

图2 cStor云存储系 统系统架构图

负载自动均衡技术

cStor采用中心服务器模式来管理整个云存储文件系统,元数据均保存在管理节点上,文件则划分为多个数据块存储在不同的存储节点上。

管理节点维护了一个统一的命名空间,同时掌握整个系统内存储节点的使用情况,当客户端向元数据服务器发送数据读写的请求时,元数据服务器根据存储节点的磁盘使用情况、网络负担等情况,选择负担很轻的存储节点对外提供服务,自动均衡负载负担。

另外,当某有一个存储节点因为机器故障或者其他原因造成离线时,管 理节点会将此机器自动屏蔽掉,不再将此存储节点提供给客户端使用,同时存储在此存储节点上的数据也会自动的备份到其他可用的存储节点上,自动屏蔽存储节点故障对系统的影响。

高速并发访问技术

客户端在访问cStor时,首先访问管理节点,获取将要与之进行交互的存储节点信息,然后直接访问这些存储节点完成数据存取。cStor的这种设计方法实现了控制流和数据流的分离。

客户端与管理节点之间只有控制流,而无数据流,这样就很大地降低了 管理节点的负载,使之不成为系统性能的一个瓶颈。客户端与存储节点之间直接传输数据流,同时由于文件被分成多个数据块进行分布式存储,客户端可以同时 访问多个存储节点,从而使得整个系统的I/O高度并行,系统整体性能得到提高 。

通常情况下,系统的整体吞吐率与存储节点的数量呈正比。

高可靠性保证技术

对于元数据,cStor通过操作日志来提供容错功能,当管理节点发生故障时,在磁盘数据保存完好的情况下,可以迅速恢复以上元数据。为了防止管理节点出现死机的情况,cStor还提供了管理节点远程的实时备份,这样在当前的管理节点出现故障无法工作的时候,另外一台备管理节点可以迅速接替其工作。

对于存储节点,cStor采用副本的方式实现容错。每一个数据块有多个存储副本(默认为两个),分布存储在不同的存储节点上。副本的分布策略考虑了多种因素,如网络的拓扑、机架的分布、磁盘的利用率等。对于每一个存储节点 ,要将副本全部写入成功,才视为成功写入。在其后的过程中,如果相关的副本出现丢失或不可恢复等状况,管理节点会自动将该副本复制到其他存储节 点,从而确保副本保持一定的个数。在有多个存储节点的情况下,任意损失一个节点,数据都不会丢失,而且随着存储节点数目的增多,整个系统的可靠性越大 。

高可用技术

由于采用了低耦合的分布式架构,所有服务节点均通过网络互连,系统可以在不停服务的情况下,通过增删节点的方式伸缩系统规模。存储节点和元数 据管理服务节点间通过注册管理机制自适应管理,实现自动伸缩。

元数据服务器采用主备双机热备技术,主机故障,备机自动接替其工作,对外服务不停止;存储节点采用冗余备份机制,多个存储节点情况下,任意损失一个节点,数据不丢失,服务不停止。

cStor云存储系统所有管理工作由云存储系统管理监控中心完成,使用人员无需专业知识便可以轻松地管理整个系统。

产品特性

和传统存储相比,cStor云存储系统具有如下优势:

优异性能

支 持高并发、带宽饱和利用。cStor云存储系统将控制流和数据流分离,数据访问时多个存储服务器同时对外提供服务,实现高并发访问。自动均衡负载,将不同客户端的访问负载均衡到不同的存储服务器上。系统性能随节点规模的增加呈线性增长。系统的规模越大,云存储系统的优势越明显, 没有性能瓶颈。

智能管理

一键式安装,智能化自适应管理,简单方便的监控界面,无需学习即可使用。

简单通用

支 持POSIX接口规范,支持Windows/Linux/Mac OS X,用户当成海量磁盘使用,无需修改应用。同时系统也对外提供专用的API访问接口。

高度可靠

针对小文件采用多个数据块副本的方式实现冗余可靠,数据在不同的存储节点上具 有多个块副本,任意节点发生故障,系统将自动复制数据块副本到新的存储节点上,数据不丢失,实现数据完整可靠;

针对大文件采用超安存编解码算法的方式实现高度可靠,任意同时损坏多个存储节点,数据可通过超安存算法解码自动恢复。该特性可适用于对数据安全级别高的场合,同时相对于副本冗余的可靠性实现方式大大提高了磁盘空间利用率,不到40%的磁盘冗余即可实现任意同时损坏三个存储节点而不丢失数据。

元数据管理节点采用双机镜像热备份的高可用方式容错,其中一台服务器故障,可无缝自动切换到另一台服务器,服务不间断。整个系统无单点故障,硬件故障自动屏蔽。

在线伸缩

可以在不停止服务的情况下,动态加入新的存储节点,无需任何操作,即可实现系 统容量从TB级向PB级平滑扩展;也可以摘下任意节点,系统自动缩小规模而不丢失数据,并自动将再下的节点上的数据备份到其他节点上,保证整个系统数据的冗余数。

低价格

系统基于廉价的存储节点,通过cStor云存储虚拟化软件实现统一管理和容错,提供稳定的存储服务,是传统SAN系统价格的1/5到1/10。

大规模

支 持大规模集群,理论容量为1024×1024×1024PB。

cStor云存储系统管理监控中心

市场应用

发表评论

邮箱地址不会被公开。 必填项已用*标注

This site uses Akismet to reduce spam. Learn how your comment data is processed.