“动车”上看风景
时间：2020-09-15 07:50:50 来源：达达文档网 本文已影响 人 
集群存储虽然是近些年来才发展起来的新的存储架构,但在这一领域中集中了不少大型存储厂商和一些虽不那么著名但却独具特色的厂商。因此,集群存储产品目前尽管还没有统一的标准,但各家产品精彩纷呈,实现方式和技术特点各有高招,应用领域也非常广泛。
BlueArc集群存储
BlueArc集群存储既可以支持NAS,也可以支持SAN。它由BlueArc存储节点、SiliconFS文件系统、开放协议和存储子系统四部分组成。存储节点分成两个平台,即高端的Titan和中端的Mercury。其中,Titan有3100、3200两个系列,Mercury有50、100两个系列。
SiliconFS文件系统不同于用服务器和定制操作系统实现的文件系统,它基于专门的硬件芯片FPGA。FPGA能在不同的时钟周期内同时处理文件系统的不同开销,提高了协议处理速度。而那些用服务器和定制操作系统的CPU要在同一个时钟周期内处理所有文件系统的开销和所有管理开销,容易造成对系统资源的相互争夺。
BlueArc存储节点支持开放存储协议NFS、CIFS和iSCSI,后端采用硬件RAID 0、1、1+0、5、6的FC SAN存储子系统,且支持从SSD到FC以及SATA的混合环境。
BlueArc采用了虚拟框架,包括:(1)虚拟文件系统,无论是单个存储节点还是集群节点,多个文件系统将只呈现一个根的全局命名空间,将整个目录结构以统一的视图显示,即使物理结构发生变化,目录结构始终保持一致;(2)虚拟存储服务器,每一个存储节点可以化分成多个虚拟服务器,每个虚拟服务器可有不同的IP地址、不同的安全策略和端口分配,可以提供针对不同I/O流量的负载均衡、高可用性和安全性;(3)虚拟存储池,它简化了存储供给,共享的虚拟存储池可建立多个文件系统,每个文件系统可以建立多个虚拟卷;可以为文件系统动态分配空间,也可以基于限额或策略动态扩展或收缩虚拟卷,做到虚拟卷的“瘦供给”;(4)虚拟的分层存储,能够优化存储性能以及磁盘利用率,根据用户事先定义的迁移策略,支持在不同性能的存储子系统间透明地分层存储。还提供能够提高聚合读数据吞吐率的动态读缓存功能,它采用智能策略,自动和透明地管理缓存数据,使用户可以更快地访问到最需要经常访问的数据,满足更多的应用和用户访问。
应用案例
詹姆斯•卡梅隆的史诗巨作《阿凡达》其精彩绝伦的3D效果正是影片成功的重要因素。在超凡视觉效果背后的海量数据存储平台有BlueArc的高性能NAS存储平台。《阿凡达》的特效提供商Weta Digital为了保持同步,采用了12个Titan服务器集群系统来存储并管理超过500TB的数据,以确保同时向数千个为《阿凡达》制作特效的渲染节点提供数据以及另外700TB的近线存储。在制作的高峰期,该NAS系统要服务于渲染库上的超过3.4万个内核,全天候以每秒8GB的持续负载量处理1.6万个并发读写流程。
HDS全新NAS平台
日立数据系统(HDS)公司去年9月推出了全新Hitachi NAS 3080和3090,提供了当前中端存储中最为完整的本地智能文件分层功能,包含多种旨在提高生产力并简化存储管理的特性。相比其他同类竞争产品,客户通过新的Hitachi NAS平台可节约高达30%的总体拥有成本(TCO)。
Hitachi NAS 3080和3090分别提供1PB和2PB的容量,以及每节点100K的IOPS处理量,并支持256TB的文件系统,可提供本地智能分层功能并与日立数据发现套件紧密集成,使客户能够根据预设的策略,在FC、SAS、SATA和归档层中自动迁移数据,并在存储仓库中搜索内容,以及利用搜索结果来启动数据迁移。Hitachi NAS平台为客户提供了灵活的基础,能够以较低的成本实现更多运营优势。
此外,由于Hitachi NAS平台与日立SAN技术之间的一般管理只需通过单一接口就能实现,而无需像竞争对手解决方案那样需要额外的管理层。因此,该解决方案非常适合具有混合存储环境的中端客户。
NAS 3080和3090以中端的价格提供高端产品才具有的性能和扩展性,可实现“按需购买,渐进扩展”的灵活性和存储资源的简化管理。
应用案例
中国科学院遥感卫星接收站需要建立大型文件影像存储系统,大数据量的卫星影像等文件需要并行处理和访问,文件的存放空间也需要在线扩展,目前处理容量为40TB以上,未来要扩展为PB级。采用了HDS高性能的HNAS 3100 NAS文件共享节点,同时使用1台AMS2300的全光纤磁盘阵列作为数据存储系统,为用户提供了高性能、高可靠性、高可用性的解决方案。
HP StorageWorks P4000G2
HP StorageWorks P4000G2最大的特点是可横向扩充,且其性能与容量同步扩充。P4000G2 SAN集群同时还是基于iSCSI协议的SAN应用系统,包括外部存储(VMware和Hyper-V)、多站点SAN和SmartClones。P4000G2的另一大特点是具有网络RAID功能。传统的RAID功能,仅仅是存储设备内的硬盘之间做RAID,而网络RAID则将RAID提升到了一个新的高度,实现了存储设备之间的RAID 5和RAID 6。做一个不太恰当的比喻,传统的双机互为镜像类似于网络存储RAID 0级别,网络RAID 5和RAID 6则可以在保证站点之间数据可靠性的同时,提升存储的利用率。例如,A站点的存储设备损坏,通过网络RAID功能,用户仍旧可以无缝地访问到B站点的数据。P4000G2的第三个特点是融合,借助ProLiant/刀片服务器的通用存储平台,虚拟机可利用原有的磁盘容量。
HP StorageWorks P4000G2 SAN解决方案专为数据库、电子邮件应用和虚拟服务器而优化。它不仅支持按增长付费,而且还提供了直观的存储管理软件和包括所有组件在内的定价模式(包括3年支持),是预算有限的企业的理想之选。
应用案例
Los Angeles Valley College学院的IT经理Yefrem Kozin对HP P4000 SAN解决方案给出了极高的评价,通过在2个校园数据中心中部署万兆的HP P4000 SAN的解决方案以及HP的刀片系统和VMware虚拟化软件,为该校提供了高性能的存储应用,满足了当前以至未来的需求。同时,其方便的管理特性降低了80%的维护成本,高可靠性避免了数据丢失和业务中断。该方案可根据用户业务需求在线增加性能,通过同步与异步数据复制实现数据容灾保护; 通过精简配置功能实现数据的复制和快照,无需预留空间,增加了空间利用率; 通过网络RAID功能提升了整体系统的可靠性。
华为赛门铁克Oceanspace N8000
华为赛门铁克公司Oceanspace N8000大规模集群NAS存储系列通过可扩展的集群架构,可满足企业存储容量及存储性能的扩展需求。N8000可扩展集群NAS存储系统对外提供NFS、CIFS、FTP等文件共享协议,由集群NAS引擎、虚拟存储池两部分构成,并都具有动态扩展能力。当用户业务对I/O带宽需求提高时,用户可动态添加NAS引擎及存储单元,以获得更高的聚合带宽和更大的存储容量。N8000具备以下特点:高可靠性,N8000通过集成的高级集群功能,采用Active-Active多存储控制器设计架构,并采用全冗余设计,无单点故障; 高扩展性,充分利用业界领先的最多达16个控制引擎的可扩展性,在单个平台上整合更多的文件服务器和应用程序存储,同时提高用户服务级别,其性能随着存储控制引擎的扩展可近线性扩展,存储容量可增长到超过15PB; 高性能,N8000满足Linux和Unix计算集群的极高性能要求,随着NAS引擎节点的增加,性能呈线性增长,吞吐量很容易增加到每秒GB级,可适用于具有成千上万个节点和极高NFS性能要求的计算集群; 多样的增值功能特性,N8000提供基于文件访问频率在存储层之间迁移数据的强大功能,对应用程序透明,以降低企业投资成本; 管理简单性和透明适应性,N8000存储系统易于安装、管理和维护。
应用案例
拥有注册会员1.45亿的淘宝网年交易额近千亿元,是亚洲最大的网络零售商圈。为了管理每天蜂拥而至的图片、文本和客户数据,淘宝网的每个部门都创建了自己的存储和备份系统,但容量总是不够用,需要整合数据中心,并制定一个统一的备份计划,因为1分钟的中断就可能损失3.6万美元。华为赛门铁克公司为淘宝网设计了一套数据存储系统,以满足该公司继续发展壮大的数据存储需求。他们部署了一套1.5PB容量的Oceanspace N8000集群NAS存储系统,能够对备份和恢复、动态存储分层和数据快照进行整合管理。同时,在N8000中,部署了5个Veritas NetBackup高效备份客户端软件,进行并发的数据备份,大幅度缩短了备份窗口,使备份效率提高了4倍。
IBM XIV存储系统
IBM XIV存储系统是一款创新的高端开放式磁盘系统,采用大规模并行架构,系统组件(包括磁盘、CPU和交换机)有较高的优化利用率,并有独特的缓存架构,这些使XIV具有超强的性能。XIV系统采用SATA磁盘驱动器,利用SATA的最新技术,提供超大容量、高密度与低能耗。它利用XIV独特的架构与缓存方案提供甚至比基于磁盘的FC系统更优越的高性能。独特的系统组件内数据平衡可避免热点的产生。所有组件均以相同的负载量运行,实现非凡的性能与可靠性。
可扩展性是XIV最大的亮点。XIV技术旨在所有关键方面都具有可扩展性,包括存储、界面、缓存、CPU功率与内部带宽。该架构支持各方面的独立增长,是在容量和性能两方面同时可扩展的系统。在可靠性方面,XIV平台提供无与伦比的数据保护与可用性。所有磁盘驱动器、模块、交换机与UPS装置均采用N+1主动/主动方式完全冗余,从而确保提供卓越的性能与高度可靠性。同时,XIV以创新的重建程序提供对磁盘故障的保护,几分钟内就能将系统还原至完全冗余。XIV有丰富的快照功能,其独特的快照技术克服了已知的传统缺点,提供几乎无数的差异快照,且无论创建多少快照都不会对性能有任何明显的影响。
应用案例
IBM XIV在2008年全球有超过300套系统进行安装。以色列最大的银行之一Leumi安装了7套XIV系统,使性能提升至原来的3倍,并实现28次快照。
NetApp Data ONTAP GX系统
NetApp Data ONTAP GX系统为高性能NFS环境提供了很高的I/O吞吐量和可扩展性。该系统经过优化,满足大型Linux和Unix集群上运行的高性能计算(HPC)应用程序的极高要求,同时提供无与伦比的管理简单性。通过将多节点扩展、全球命名空间和集群文件系统与创新的NetApp FlexVol、Snapshot、镜像和RAID-DP技术相结合,为用户提供最高级别的性能、易管理性和可靠性。
Data ONTAP GX系统以Data ONTAP GX操作系统和两个或更多FAS3050或FAS6070系统基本组件为基础。每个FAS基本组件包括一对为实现高可用性而配置的控制器(节点)。该系统可以由2～24个节点组成,吞吐量可达每秒GB级,容量可达6PB。随着系统中节点的增加,性能呈线性提高。通过FlexVol高性能选件(HPO)提供的集群文件系统技术即使对于单一文件或卷也可以实现极高级别的吞吐量。
应用案例
北京渲染平台是北京市科委投资建设的北京地区文化创意产业公共技术支撑平台,拥有高达2000个处理单元的渲染集群和超过200TB的高速存储,浮点计算速度(峰值)达每秒27万亿次。为保证快速、高效地完成渲染工作,北京渲染平台采用了NetApp FAS3070A存储解决方案,并在其二期扩容项目中部署了由4台FAS3070A组成的基于NetApp统一存储架构的GX集群,存储容量达到200TB,可支撑前台272台渲染服务器,使其为多应用、多平台环境提供了大容量集中存储系统,一举解决了在业务增加、平台环境多样化、数据量大幅增长情况下的数据存储和管理难题。
Isilon Scale-out NAS解决方案
Isilon的端对端scale-out NAS解决方案由OneFS操作系统提供动力。Isilon第五代OneFS操作系统在所有的Isilon IQ横向扩容NAS解决方案后端提供智能管理。通过OneFS、最新工艺以及企业级标准硬件的融合,Isilon便可提供高可扩展性、超高性能的模块化横向扩容NAS系统。
Isilon硬件平台包括三个系列:IQ S、IQ X和IQ NL系列。IQ S系列针对超高性能主存储器,专用于高交易率以及IOPS密集型应用程序。S系列的文件系统元数据采用SSD技术,可以为元数据密集型操作提供额外的性能收益,同时改善总延迟。存储能力为16.2TB至778TB。
IQ X系列是Isilon最灵活而全面的产品系列,它致力于在大容量和高性能存储器间实现恰当的平衡,是针对高吞吐及高并发应用程序的最佳整体解决方案。存储能力为5.76TB至10.4PB。
IQ NL系列旨在提供高性价比、高度可扩展性近线存储。高密度、在所有可用的横向扩容NAS解决方案中,它可提供最佳的每TB成本以及最低的整体TCO。存储能力为252TB至10.4PB。
应用案例
华大基因研究院是人类基因组计划中国任务的惟一承担单位,作为国内最大的专业生物信息学计算中心,华大基因对高性能计算集群(HPCC)的综合性能要求非常苛刻,尤其是其中关键组件的高性能并行存储设备。Isilon的解决方案赢得了华大基因的青睐,成为该研究中心新一代超级计算平台的核心存储设施。Isilon解决方案采用30个节点高密度部署,提供超过1.4PB的NAS逻辑存储容量。存储集群分别使用80个千兆以上级别网络模块,与超过750个计算服务器节点互联,能够提供高达100Gbps的IO吞吐带宽。安装部署十分方便,运维工作也很简单轻松。
