0 卖盘信息
BOM询价
您现在的位置: 首页 > 电子资讯 >新品快报 > 为提供更高效的存储解决方案:R&S公司集成IBM的Spectrum Scale文件系统

为提供更高效的存储解决方案:R&S公司集成IBM的Spectrum Scale文件系统

2017-04-25
类别:新品快报
eye 622
文章创建人 拍明


 

高可靠性的存储解决方案是电视台和影视后期公司必不可少的。数字内容是媒体行业最主要的资产,它必须被安全的存储。同时,每一个在存储上的数字文件能够被快速稳定的读取也非常重要。由于客户花费压力增加,预算减少,更高效率的存储解决方案是客户更为需要的。


为了满足这些需求,R&S SpcerBox存储家族已经集成了IBM Spectrum Scale文件系统。这个文件系统能够使得用户根据自己不同的需求来更高效的利用不同层级的存储资源池,结合高性能的R&S SpycerBox Cell在线存储和R&S SpycerBox Ultra TL 近线存储,能够为用户提供一个中央化、层级化、资源池化的存储解决方案。

 

Spectrum Scale文件系统能够根据文件使用的频率还有文件本身的一些参数来将它们分派到整个存储资源池不同层级的位置,这样能使得R&S SpycerBox存储产品的优势和效率能够被最大发挥,比如,高性能的R&S SpycerBox Cell存储可以被用作整个存储池的高性能存储来做视频的实时处理,而性价比更高的R&S SpycerBox Ultra TL可以被用作大容量的近线存储来存储素材。

 

IBM Spectrum Scale文件系统支持文件通过自动或者手动的方式存储在存储系统最优化的位置。不管存储系统的哪个层级在被使用,但是原有文件的路径保持不变,所以不用去更改业务流程。

 

罗德与施瓦茨公司广播与媒体部全球销售总监Stefan Weidner先生解释道:“我们的客户能够随时并且可靠的读取他们的媒体文件是非常重要的,因为这些媒体文件是他们最重要的资产。在R&S的存储产品上集成Spectrum Scale文件系统,能够使得电视台和影视后期公司将他们的媒体文件以高性价比、安全且高效的存储。”

 

由于视频行业对存储的要求越来越高,存储解决方案的容量和带宽必须能够扩展。然而我们在视频行业的客户绝不能够容忍在做生产或做播出时扩展存储空间导致对数据的访问中断,R&S SpycerBox存储家族支持在线扩展存储空间,高性能的R&S SpycerBox Cell在线存储也能够被轻松的集群到系统中获得更高的存储性能。

 

罗德与施瓦茨公司广播与媒体部存储产品线产品经理Dirk Thometzek先生说:“在媒体行业,尤其对于电视台,截止时间就是截止时间,不会有额外的时延,这就是为什么存储解决方案必须保证稳定且高效的工作流程的重要性,罗德与施瓦茨公司的存储硬件与IBM的文件系统结合,能够使得对中央集群化的存储池在没有任何中断的情况下做容量和性能的在线扩展。”

 

R&S SpycerBox Cell 和R&S SpycerBox Ultra TL存储集成IBM Spectrum Scale文件系统将会被在2017年第三季度正式发布,客户也依然可以选择购买之前的Quantum® StorNext作为存储产品的文件系统。


罗德与施瓦茨公司介绍

罗德与施瓦茨两人师从Esau教授,并于1931年自耶拿大学物理技术学院获得博士学位,由于对射频测量的极大兴趣,两人毕业后仍保持联系。 在正常工作之外,两位物理学家还不断地进行气体放电特性的实验,并于1932年共同研制出他们第一台测量仪器,波长从6至3600米的精度频率计。 首次通过一种新开发的用于射频的介电质材料进行了精确的测量。1933年罗德与施瓦茨公司(R&S公司)正式成立,总部位于德国,现在美国、中国、日本、新加坡、巴西和阿布扎比(阿联酋)都设有地区支持中心,业务遍及全球70多个国家。


罗德与施瓦茨公司经营领域

R&S公司的产品在移动通信、无线电行业、广播、军事和ATC通信以及其它许多应用领域都发挥了重要的作用。所提供的解决方案涵盖:

通信、电磁兼容、通用和射频微波测量仪器和测试系统

无线电通讯系统

R&S Founder

R&S Founder

数字集群通信系统

通信安全

电视和音频广播的传输、监测与测量设备

无线电监测和定位系统


罗德与施瓦茨公司特色

在通信测试领域,向国际和国内的主要手机厂商提供生产测试设备及测试解决方案,并积极向中国3G研发工作提供先进测试手段。

作为全球电磁兼容(EMC)测试技术和设备的市场主导者,R&S公司可设计和提供遵循各种EMC标准的交钥匙系统,确保用户能得到一个先进、放心和称心的EMC实验室。国内主要EMC实验室均采用R&S公司的EMC测试系统。

在微波及雷达、卫星通信领域,R&S公司提供的高精度测试与测量仪器及系统,可满足最高端的需求,成为航空航天、卫星通信等国防、高科技产业用户最值得信赖的长期合作伙伴。

R&S公司提供的独特而全面的专业无线通信解决方案,包括数字集群移动通信网络,陆海空无线通信系统,通信系统加密方案和无线情报侦查系统,帮助中国用户如警察、消防人员、救援机构等高效可靠地执行其至关重要的任务。1990年,R&S公司向中国民航提供了中国第一套VHF地对空航空管制通信系统,用于首都国际机场,由此开始了与民航长达十余年的密切合作。至今,R&S公司的航空管制通信系统遍及全国各主要民用机场。

在广播电视领域,R&S公司是世界上唯一一家能够同时提供广播电视发射设备与监测和测量仪器的供应商。在中国,R&S的传输发射设备广泛覆盖“长三角”和“珠三角”地区,中国三座最高的电视塔都采用了R&S的发射传输设备。R&S公司的DVB-T/H(DMB-T)和DAB(T-DMB)解决方案广泛应用于中国移动数字电视这一新兴领域。同时,R&S公司为中国政府确定中国数字电视制式提供积极有效的检测与评估手段,其测试与测量仪器仪表广泛用于标准制定、研究、生产、运维等应用领域,也成为数字电视相关芯片厂商不可或缺的选择。

在无线电监测与测向领域,全球频谱监测领域的领导者- R&S公司致力于频率管理系统、无线电监测与测向系统的开发和利用。在与国家无线电监测中心及中国各地无线电管理机构等相关部门多年的积极合作中,这些系统在频谱管理工作中发挥了至关重要的作用。保证了所有无线电和广播业务的协同共存,维护着信息的安全畅通。


Spectrum Scale


高端存储:2016年为止,最新产品为DS8884、DS8886和DS8888。

闪存系统:2016年为止,最新产品,以FlashSystem 900为硬件基础,包装了FlashSystem V9000、A9000和A9000R

 

Spectrum Scale1

 

Ø  Spectrum Scale是一款软件定义存储产品,完全继承GPFS,也称作Elastic Storage, 兼容AIX, Linux and Windows Server操作系统,支持IBM POWER, Intel or AMD Opteron based servers, and z Systems。

Ø  Spectrum Scale具有良好的可扩展性、闪存加速性能,以及基于策略的自动存储分层功能(从闪存、磁盘到磁带)。

Ø   Spectrum Scale 为所有数据提供单一文件命名空间,提供Swift/S3对象服务和Openstack接口、大数据等存储服务接口。IBM Spectrum Scale:高性能、高扩展性的文件、对象、块和大数据分析的存储软件,具备随地存储、运行和数据访问能力。

Ø  Spectrum Scale 在GPFS的基础上增加了Hadoop大数据、对象等能力,在存储功能上有了增强,具备丰富的特性、如Cache加速、生命周期管理、统一命名空间、多站点等;同时支持加密等特性和软硬件解耦部署

Spectrum Scale2 

云集成

Ø  IBM Spectrum controller 

Ø  SmartCloud Virtual Storage Center

Ø  SmartCloud Storage Access

Ø  Openstack

Ø  IBM Cloud

应用集成

Ø  POSIX

Ø  Hadoop

Ø  NAS

Ø  Object

FTP/SCP

丰富的硬件集成 

Ø  SAN

Ø  闪存

Ø  JBOD

Ø  带库

Ø  X86…

 

Spectrum Scale3

 

业务访问:

Ø  标准CIFS/NFS访问

Ø  POSIX访问

Ø  对象等

架构(解耦):

Ø  集中部署

Ø  分部署多Region部署

生命周期管理:

Ø  存储内部HDD、SSD之间热点迁移

Ø  存储间,存储和带库间数据热点迁移

Ø  数据云上云下数据热点迁移。

 

Spectrum Scale4

 

 

Spectrum Scale的三种交付模型

Ø  Cloud-based delivery model:   Spectrum Scale 部署在云上提供存储服务,例如 IBM SoftLayer。

Ø  Software-based delivery model:   用户可以基于现有的硬件部署IBM Spectrum Scale storage,可以选择不同的服务器硬件和操作系统,目前支持的服务器硬件和操作系统有:Linux on Power、Linux on IBM z Systems、 Linux on x86 (64-bit)、IBM AIX on Power、Microsoft Windows on x86 (64-bit)。

Ø  Hardware-based delivery model:   用户可以根据需求购买软硬一体化设备,设备上已经预安装了IBM的相关软件。

 

Spectrum Scale5

 

 

架构

Spectrum Scale与硬件解耦,支持X86服务器和SAN架构横向扩展(常用架构为分布式节点 后端SAN阵列),或Spectrum Scale Server

操作系统

IBM AIX

LinuxRed HatSUSE Linux Enterprise Server

WindowsMicrosoft Windows Server 2012Microsoft Windows 7

硬件支持

X86 架构:Intel EM64T 处理器或 AMD Opteron,最少 1GB 系统内存
IBM POWER 
架构:AIX v6.1  v7.1Linux on POWER3(最低),最少 1GB 系统内存;IBM z Systems(仅限运行 Linux

文件系统

2649 quintillion)个文件/文件系统 

文件系统容量

2^99 Byte

支持节点

1 - 16,384

支持协议

文件访问:POSIXGPFSNFS v4.0SMB v3.0
大数据和分析:Hadoop MapReduce
云接口:OpenStack Cinder(块)、Swift(对象)、S3(对象)

对象存储

IBM Cloud Storage System (Cleversafe), Amazon S3, IBMSoftLayer Native  Object, 

OpenStack Swift and Amazon S3 compatible providers 

协议支持

Ø  Object Access Protocols (Swift/S3)Openstack Swift (Based on Juno Release)S3 Protocol.

Ø  REST-based data access

ü  Simple set of atomic operationsUT (upload), POST (update metadata), GET (download),DELETE

增值功能

Encryption, Compression, QoS, & Disaster Recovery, File-In-Object-Out and Object-In-File-Out Support, transparent cloud tiering, Multi Region support, ILM support for Object, Movement of Object across storage tiers, AFM. 

IBM Spectrum Scale基于SDS,实现容量和性能独立按需扩展,避免容量或性能浪费,也可以独立扩展存储服务接口类型。IBM Spectrum Scale支持多种部署选项和现有块存储、存储服务器(ESS)硬件节点集成,提供全局命名空间和统一访问接口,如文件接口 (POSIX, NFS, CIFS), 对象接口 (S3, SWIFT) 、大数据接口 Hadoop Distributed File System (HDFS)等等

 

Ø  TCS(Transparent cloud tiering):  集Flash、HDD disk, cloud, 带库成一套存储系统,满足高性能、降低成本。IBM公有云(如Softlayer)或Cloud Object Storage 可作为其一个存储层使用。

Ø  统一的文件和对象:文件和对象共享存储空间,文件数据可以通过文件读取,避免了数据孤岛和数据从文件到对象转化的成本。

Ø  快照和同步异步复制: 实现数据快速备份,副本和数据按需恢复;实现自动的故障Failover和Fialback。

Ø  基于策略的数据压缩: 节约存储容量,按需指定需要压缩的数据。

Ø  Encryption and Secure File Delete:  采用独立密钥管理系统实现数据在传输过程和存储介质中的加密,采用销毁密钥的方式删除数据。

Ø  多站点global collaboration. 部署在不同区域的存储可以通过全局命名空间访问,通过全局文件共享Global Active File Management和advanced routing and caching加速跨数据中心和区域应用的访问性能.

Ø  数据生命周期智能感知. 基于策略,根据冷热度把数据迁移至匹配层。

 

 

Spectrum Scale的发展与演进

 

Spectrum Scale6

 

l  软件定义存储,软硬件解耦

Ø  可以根据业务需要选择硬件.

Ø  IBM 提供了Elastic Storage Server (ESS) 配合Spectrum Scale版本部署 ;

l  Spectrum Scale架构分类

Ø  Network-Based Client架构

Ø  Direct Attached Storage架构

Ø  Mixed NSD access架构

Ø  File Placement Optimizer (FPO)架构

 

Spectrum Scale7

 

Spectrum Scale是存储虚拟化软件,与硬件解耦;可根据应用需求选择硬件,考虑灵活性,可以采用通用硬件,考虑性能,可以选择配置较高的硬件,IBM推荐的服务器为Elastic Storage Server。

The IBM Elastic Storage Server is based on the following software:

Ø  Red Hat Enterprise Linux 7 for Power

Ø  GPFS Standard Edition 4.1

Ø  GPFS Native RAID 4.1

Ø  IBM Support for xCAT 2(Extreme Cluster/Cloud Administration Toolkit)

 

Elastic Server GS系列分四个型号:

•       GS1支持24块SSD磁盘,带宽支持6GB

•       GS2支持SSD或SSD SAS配置,对应带宽有所区别。

•       GS4模型和GS2类似,最大区别在于磁盘数量和带宽。

•       GS6支持SSD和SAS混合配置,带宽可以支持7GB。

 

Spectrum Scale8

Elastic Server GL系列分三个型号:

      GL2支持SSD和NL-SAS磁盘配置,聚焦分析性业务,对应带宽可达5GB以上,裸容量可达460TB。

      GL4聚焦大数据分析和云计算,类似GL2,最大区别在于磁盘容量和带宽。

      GS6是由6个磁盘框构成,所以支持容量更大,性能更高,带宽可以支持12GB以上。

 

 

IBM Spectrum Scale RAID

l  Spectrum Scale搭配IBM的服务器和JBOD硬件组合为Elastic Storage Server,这种方案中已经实现了EC方式的软RAID(本地RAID),所有数据分布由Spectrum Scale控制。 软RAID支持EC(最大 3)和副本(最大4副本);数据分布到更多盘,获取更高的性能和数据恢复效率;能承受硬盘框级别的故障。

Spectrum Scale9

l  Active File Management (AFM)

AFM主要用来实现跨地域的数据共享和访问加速,适用于分支办公场景,AFM为位于不同地域的多个集群提供统一的命名空间,多个集群间可通过WAN互联,使用NFS协议进行数据的并行传输 。

l  Spectrum Scale Snapshots for Files

支持基于file system, file set, and file level的快照,可指定策略的保留周期、支持多次快照,快照支持备份或镜像程序并发访问(推测是只读快照)。

支持文件克隆。 IBM Spectrum Scale V4版本支持10,000个Filesets,支持256个Global 快照和256个独立的Fileset快照。

Filesets:提供一个细粒度的文件目录管理方式,如文件系统的一个分区或子目录,Filesets可以用来执行配额管理、快照、挂载、卸载操作、并可作为存储Pool使用等。

 

通过在Client节点插入廉价的SSD和Flash,Spectrum Scale 自动的、透明的把热点数据加速在SSD或Flash中,增加存储性能,并且减小数据访问时延。

Spectrum Scale10

Highly Available Write Cache (HAWC)

HAWC采用NVRAM(SSD、Flash或FlashSystem)缓存recovery log,降低同步写的时延,通常有两种方式使用HAWC。

Ø  保存Spectrum Scale recovery log和元数据到高可用的存储系统,例如闪存、FlashSystem。

Ø  保存Spectrum Scale recovery log和元数据在Spectrum Scale client节点的低可靠NVRAM中。

    Hierarchical Storage Management (HSM)

HSM是一个数据性能优化方案,通过闪存IBM FlashSystem作为Hot file存储层提高文件系统性能,并实现数据在HDD、SSD和带库之间按照热点自动回迁。

Spectrum Scale11

 

Spectrum Scale可以定制ILM(Information lifecycle management)策略, ILM策略使用类SQL的语法,将冷数据迁移到云存储中,云存储支持IBM自己的公有云、Cleversafe和其他兼容Amazon S3或OpenStack Swift的对象存储。

Spectrum Scale12

 

Unified file and object access (UFO)

l  通过文件接口(SMB/NFS/POSIX)访问对象数据,同时支持通过对象接口访问文件,无缝地继承了文件和对象数据。

l  在类似Hadoop MapReduce或Spark的分析系统中,对象数据可以作为File或fileset被直接访问用来进行数据分析。

l  数据以对象采集、分析结果以对象发布,整个过程无需数据移动。

Spectrum Scale13

 

支持虚拟化部署

Ø  Spectrum Scale支持部署在专用的服务器,或部署在如基于虚拟化的AIX, Linux,或者 Windows操作系统之上。

Ø  基于虚拟化部署,考虑到性能,兼容性等因素,在实际应用中很少遇到,在技术上支持的虚拟化平台有:

ü  PowerKVM

ü  PowerVM: 两种Virtual I/O Server (VIOS)方式实现虚拟化。

l  Virtual SCSI target adapters (VSCSI)

l  Virtual Fibre Channel adapters (NPIV)

ü  Hyper-V

ü  VMware

KVM

 

Native Encryption and Secure Erase

数据加密

Ø  采用加密软件在应用层实现加密。

Ø  数据在存储到磁盘之前完成加密,不影响其他存储其他增值特性。

 

Spectrum Scale14

安全数据销毁

Ø  通过销毁管理密钥实现数据销毁,不需要多次擦写磁盘,所以在销毁数据时,对其他应用业务不会产生性能影响。




【相关信息】IBM强化Spectrum Scale 并行文件系统进行改进

 

Spectrum Scale如今其已经成为一款功能全面的虚拟机方案

Spectrum Scale曾经于今年11月初进行过一次更新,而IBM公司正拿出相当可观的资源推动这套可扩展企业级存储解决方案的改进步伐,其同时强调称Rozo等一系列初创企业已经开始打造新的向外扩展型文件系统。

除此之外,蓝色巨人还指出Spectrum Scale绝不可能就此被时代淘汰甚至最终消亡,因为SoftLayer已经收购了Cleversafe公司。

IBM公司向我们公布了v4.2版本当中的各项新功能,具体包括:

· Spectrum Scale作为一套功能齐全的虚拟机方案能够直接下载并安装在笔记本电脑、台式机或者服务器之上。测试人员可以查看到最新用户界面,体验其统一化文件与对象存储机制并测试HDFS透明度。不过,目前这套方案还存在以下局限:

o 只支持VirtualBox作为其虚拟机管理程序

o Type-2 Hypervisor对性能造成了一定影响

o 不支持用于生产型工作负载

o 无法被迁移至裸机平台

· 图形用户界面拥有多套扩展,因此包括政策设置在内的各类常见管理任务能够全部在无需命令行操作的前提下实现运行。

· 这套图形用户界面拥有仪表板,用于显示当前集群当中的运行状况、客户端连接以及未来趋势信息。如果大家拥有两套集群外加一部分IBM存储方案,那么Spectrum Control将提供端到端可视化与趋势分析功能。

· 内置多种用例,用于对HBaseHadoop或者Big Insights等进行概念验证性测试。Spectrum ScaleHDFS(Hadoop文件系统)透明化能力意味着大家可以直接将应用程序指向该系统并加以运行,客户无需对应用程序本身进行任何修改,这也就消除了方案锁定的可能性。

· Spectrum Scale拥有受到原生支持的Swift以及Amazon S3协议,无需任何配套网关,因此大家可以将对象与文件存储机制加以结合,从而同时拥有出色的性能表现与真正的文件互操作性。

· 利用逻辑磁盘或者闪存实现更为出色的面向写入缓存的数据访问速度,其速度水平高于现有读取缓存。

· 其中具备策略驱动型压缩功能,这项功能可以节约缓存空间,意味着缓存能够承载更多数据并借此提升速度表现。

 

Spectrum Scale发展历史图表


Spectrum Scale发展历史图表。

根据我们的理解,IBM公司已经为了收购Cleversafe而付出了高达5亿美元,而如果其业绩表现达到预期,预计未来几个月还将有更多追加投入砸向其相关技术方案。

IBM公司,也就是SoftLayer,最初打算以1.3亿美元收购Amplidata公司,但最终HGST3亿美元价码拿下了这家对象存储初创企业。

很明显,SoftLayer认为对象存储将在并行文件系统当中扮演重要角色,而这是现有Spectrum Scale方案所无法实现的。




责任编辑:Davia

【免责声明】

1、本文内容、数据、图表等来源于网络引用或其他公开资料,版权归属原作者、原发表出处。若版权所有方对本文的引用持有异议,请联系拍明芯城(marketing@iczoom.com),本方将及时处理。

2、本文的引用仅供读者交流学习使用,不涉及商业目的。

3、本文内容仅代表作者观点,拍明芯城不对内容的准确性、可靠性或完整性提供明示或暗示的保证。读者阅读本文后做出的决定或行为,是基于自主意愿和独立判断做出的,请读者明确相关结果。

4、如需转载本方拥有版权的文章,请联系拍明芯城(marketing@iczoom.com)注明“转载原因”。未经允许私自转载拍明芯城将保留追究其法律责任的权利。

拍明芯城拥有对此声明的最终解释权。

相关资讯