公共事业数据中心存储需求的解决方案

公共事业数据中心存储需求的解决方案
2018年11月04日 17:44 ARI少年

公共事业数据中心存储需求的解决方案

场景描述: 公用事业IT建设的特点是以部门为主,没有统一的系统规划和企业IT架构和战略规划,造成信息在部门使用,不能进行共享,形成不了核心生产力。对信息系统的效率造成极大浪费。有些信息系统的效率低下,但是业务部门却说效率很高。没有为企业带来价值,发现信息系统效率低下时,通常的解决办法是,购置新的硬件来提高效率,此种解决方案,造成企业无法承受成本困扰。IT数据中心变成企业的成本中心。大部分IT投资,并没有为企业带来价值,没有对信息系统生命周期进行管理的理念。

公用事业的计费系统,生产调度系统是企业业务支承的关键平台,企业为之投入大量的财力物力及人力资源。为满足业务支承平台的高可用性,目前关键业务系统大都采用2台IBM p550 plus 系列小型机,并作HACMP热备。磁盘阵列采取冗余措施,即双机双柜。中间件服务器、前置机等大都采用IBM X系列服务器。

系统架构如下:

存储级别:采用冗余磁盘阵列,磁盘采用RAID5防护,并且有1-2块hotspare热备盘。磁盘阵列之间,通过LVM技术,做MIRRIOR。San交换机也作冗余。

服务器级别:利用两台相同配置小机作HACMP。

数据库级别:通过甲骨文数据库RAC.

应用级别:中间件服务器、银行前置机、数据上位机都有备机。

备份级别:每天24时,通过数据库脚本,对数据库作物理和逻辑备份。每次维护时对操作系统进行备份。没有采用磁带机进行备份。

业务连续性:容灾方面采取的措施是,将数据库全库导出的文件,利用光纤传送到同城的下属单位机房的服务器中。

数据量分析:企业的数据以50%的速度增长,每两年数据就增加一倍,目前的数据量由1T。三年数据量将达到5T。目前的备份,恢复,容灾模式并不能适应今后的需求。

主机系统: 数据库服务器:两台IBM P550 ,oracle RAC构成数据库服务器。

核心存储:IBM DS4700 3TB。

公用事业的Scada系统和管网GIS系统,由于投资巨大,基础信息不全的原因,始终达不到生产应用阶段。Scada系统和管网GIS系统的数据库大都采用acess数据库。此类软件的系统开发始于上个世纪90年代末。不断修修补补,没有形成生产力。

生产ArcGIS 的 ESRI 公司一直引领着全球GIS 技术的发展方向,30 多年来始终保持其全球第一的市场占有率。ESRI的开桌面版的开发包是ArcEngine;网络版的开发包是ArcGIS Server。当前最高版本是10。

ArcGIS文件分为shapefile,Coverage,Geodatabase这三种,Shapefile:一种基于文件方式存储GIS数据的文件格式。至少由.shp,.dbf,.shx三个文件作成,分别存储空间,属性和前两者的关系。是GIS中比较通用的一种数据格式。

Coverage:一种拓扑数据结构,数据结构复杂,属性缺省存储在Info表中。目前ArcGIS中仍然有一些分析操作只能基于这种数据格式进行操作。

Geodatabase: 有两大类:1.Personal Geodatabse 用来存储小数据量数据,存储在Access的mdb格式中。2.ArcSDE Geodatabse 存储大型数据,存储在大型数据库中Oracle,Sql Server,DB2等。

一句话总结:GIS数据存储的特点,一、数据量非常大,需要海量存储设备。二、数据相应时间要求不高,三、原有数据需要格式转换和迁移。四、需要与数字化城市平台建立接口。

解决方案:I根据公用事业业务需求,按照存储系统的性能、容量、可靠性、可扩展性、总体拥有成本等因素进行分析比较,从高端的企业级磁盘系统,到中端海量磁盘系统,再到磁带系统,组成了多级数据存储载体架构。各应用服务器可以结合多层次的存储容量,这些层次可以是任何磁盘、光盘、磁带或自动光盘机系统的组合。

存储选择IBMV7000的理由:

1. 第一个IBM自主研发的中端存储2.0产品,架构上突破传统,吸收了DS和IBM横向扩展架构XIV的精华。

2. 第一次集"EasyTier自动分层""虚拟化""精简调配"三大存储效率于一身的磁盘阵列,使IBM Storwize V7000当之无愧的成为更加看重存储效率的中端存储市场上的杀手级产品。

3. 第一次把DS8000的RAID技术和自动分层、SVC虚拟化架构以及XIV的赏心悦目的管理界面等高端存储上的技术用在中端存储上,拥有企业级阵列的功能和使人眼前一亮的GUI。

其他特点:

1. 包括SVC虚拟化技术,这些先进的V7000功能已经包含在基本系统和价格中,使产品的总拥有成本(TCO)更加具有吸引力。其次,客户可以享受先进的功能,无需另外单独做购买决策。

2. 基于高端存储DS8000系列使用的RAID代码

采用IBM V7000的系统架构图:

IBM Storwize V7000技术参数:

IBM Storwize V7000目前是一个双控制器存储阵列(将来计划括充至8个控制器,与IBMSVC类似),每个控制器都利用了一个四核Jasper Forest(Nehalem)处理器来驱动虚拟化的三级后端存储,采用了SAS连接。该系统采用了SVC(SAN Volume Controller)代码堆栈,以及储存资源随需分配、虚拟化和数据保护等功能。并添加了IBM 高端存储XIV的用户图形界面以及DS8000RAID以及EasyTier功能。可以说是集大成于一身。

V7000的主机接口是8Gbit/s的FibreChannel,可选加四个1Gbit/E的iSCSI,iSCSI为原生支持。其三级存储在最前端采用300GB的STEC固态硬盘(SSD),中间层采用2.5英寸SAS硬盘,使用的是6Gbit/s SAS II接口。第三层大容量数据存储采用7200转3.5英寸的SATA磁盘驱动器。

IBM Storwize V7000控制器单元是一个2U的机架机箱,在2U机箱内可容纳24个2.5英寸硬盘或12个3.5英寸硬盘,如果使用600GB10k SAS硬盘和2TB近线SAS,一个机箱就可以提供14.4TB和48TB容量。但IBM Storwize V7000可外挂9个扩展机箱,可以达到240个小型硬盘和120个3.5英寸硬盘,则能够获得144TB和480TB的容量。

IBM Storwize V7000对硬盘的品牌和容量没有限制,各种驱动器类型(SSD或HDD)都可以在同一个机箱中混合存在,因此具有极大的灵活性,可以适合客户对存储要求高扩展性,可以随需求同步增长的需求。同时利用占总容量空间6%的固态存储即可提高200%的性能。

BM正在存储效率方面大做文章,不可否认IBM V7000正是一个紧密集成的系统,充分的利用了所有的空间,相同存储容量相比于竞品节省67%的空间,其需要的能源比一个插满3.5英寸盘的阵列还要少,并且其应用了自动精简配置可以避免大量存储空间的分配浪费。

IBM Storwize V7000有利提高存储效率的技术

1. 存储虚拟化

IBM Storwize V7000依赖于内置的SAN VolumeController(SVC:存储局域网卷控制器)虚拟化技术,这是IBM存储虚拟化的核心。所有存储都会被虚拟化到一个跨越三层分层的单一存储池中,这使V7000可结合IBM或第三方阵列,成为一个一体化的存储虚拟化方案。V7000实际上是SVC第六版的产品,与IBM高端存储XIV共享代码库,这就意味着V7000客户可以得到高端存储XIV的好处。

2. EasyTier自动分层

EasyTier是IBM开发的一项技术,其能监视数据I/O模式,并对最活跃的子LUN数据块进行迁移(这部分数据被称之为extent),使得其能被写入到SSD固态硬盘中来达到最快的速度, 利用占总容量空间6%的固态存储即可提高200%的性能。并且EasyTier具有自学习模式,可以把最不经常用的数据逐渐迁移到第三层存储大容量硬盘上。

3. 精简调配

精简调配模式(Thin Provisioning),又称"虚拟资源调配",是一项对存储资源的自动分配和利用,以避免磁盘空间被无限制索取的技术。

4. 数据压缩(目前还未支持)

IBM Storwize V7000计划使用的Storwize实时压缩技术,是业界唯一的实时数据压缩技术,该技术可以压缩、缩减主要数据,或客户经常使用的数据,从而达到降低存储空间的目的,可以帮助客户将物理存储需求降低至80%。Storwize客户使用同样的存储空间,可以存储最高达5倍多的数据。

5. 重复数据删除(在将来计划中)

重复数据删除技术可以满足客户数据高速增长的压力, IBM收购了拥有最先进的重复数据删除技术的Diligent公司并迅速将这个技术完全融入到IBM的ProtecTIER重复数据删除解决方案中去,这项技术将来可能也融入IBM Storwize V7000中。

具体实施建议:宏观规划,分步实施,公用事业的IT建设最大教训是低水平重复建设,缺乏统一规划。分步实施,每一步必须为企业带来价值,才能进行下一步建设。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部