五星体育360在线直播

2022存储产业标准化白皮书报告(附下载)

时间: 2024-05-11 15:41:23 |   作者: 无插件360体育直播

  今天分享的是储能系列报告 :《2022存储产业标准化白皮书报告》报告出品方: 《中国电子技术标准化研究院》

  在国际方面,以美国企业为代表的一批企业凭借传统计算机与网络技术优势以及软硬件核心技术基础占据了存储产业链前端,通过并购、整合、吸收,先后推出各种数据存储软硬件服务。2021年美国先后发布《美国就业计划》、《无尽前沿法案》,投入上千亿美元支持和发展包括半导体、先进计算、先进计算机软硬件、数据存储、数据管理等产业在内的关键技术与未来产业2021年日本批准的预算修正案中“半导体产业基盘紧急强化一揽子方案”获得7740亿日元的预算,涵盖半导体生产、半导体设备、5G通信等,推动日本企业进入存储产业快车道。2021年5月,韩国政府发布了《K半导体战略报告》[2],提出政府和企业将在京畿道和忠清道建设半导体产业集群的规划战略,构建集半导体设计、原材料、零部件、尖端设备等生产体系,推动全球半导体供应链加速发展。欧洲以法国电信、施耐德SAP为代表的企业积极投资数据存储与管理产业,重点发展大数据通讯及其他公共服务、大数据的数据中心绿色节能应用、实时数据计算等方向。

  在国内方面,早在2009年国家出台了《电子信息产业调整和振兴规划》,电子信息产业作为国民经济的战略性、基础性和先导性支柱产业,得到国家支持,其中积极发展大容量存储设备”列入政策。同年,为形成和完善以企业为主体、市场为导向、产学研相结合的技术创新体系,科技部等六个国家部门联合启动“国家技术创新工程”,提升关键产业竞争力。在国家政策的引导和推动下,科技部支持成立存储产业技术创新战略联盟,以此汇聚优势资源,助力存储产业高质量发展。随着产业的加快速度进行发展,近年来,国家格外的重视并全力支持包括存储器在内的集成电路产业高质量发展,出台了一系列政策:《国务院关于印发新时期促进集成电路产业和软件产业高水平发展若干政策的通知》(国发[202018号)[3指出对集成电路线纳米(含)的存储器生产企业免征进口关税,并在先进存储领域结合行业特点推动各类创新平台建设,《国家发展改革委等五部门关于做好享受税收优惠政策的集成电路企业或项目、软件企业清单制定工作有关要求的通知》(发改高技[20211413号][4]明确存储芯片为

  享受税收优惠政策的重点集成电路设计领域;2021年12月中央网络安全与信息化委员会印发的《“十四五国家信息化规划》[5]提出加快集成电路关键技术攻关推动存储芯片创新。“存储”作为热词也频频出现在北京、上海、天津、广东、江苏、山东、四川、湖北、浙江等地的“十四五”产业政策中。

  为推动整个存储产业的发展,国务院及有关政府部门也预布了一系列支持存储相关基础软件的政策。工业和信息化部发布的《“十四五”大数据产业高质量发展规划》 《工信部规[20211179号)[6]要求存储领域突破关键核心技术,基础设施达到国际领先水平,并重点提升通用技术水平。《工业与信息化部关于印发“十四五”软件和信息技术服务业发展规划的通知》 (工信部规[20217180号)7指出要突破全内存高速数据引擎和高可靠数据存储引擎等关键技术,加快超大规模分布式存储研发技术,支持高容量存储和存算一体芯片等关键技术创新,加快发展软件定义存储平台。2021年5月国家发展改革委等四部委联合印发《全国一体化大数据中心协同创新体系算力枢纽实施方案》[8],提出布局全国算力网络国家枢纽节点,启动实施“东数西算”工程,加快建设全国一体化算力枢纽体系;加大服务器芯片、操作系统、数据库、中间件、分布式计算与存储、数据流通模型等软硬件产品的规模化应用。

  云存储是基于云计算有关技术延伸和发展而来的全新的存储产品形态。近年来,国务院、发改委等多部门都陆续印发了支持、规范云存储行业发展的政策。2020年4月,国家发改委印发《关于推进“上云用数赋智”行动培育新经济发展实施方案》[9],提出加快数字化转型共性技术、关健研发技术应用,支持在具备条件的行业领域和企业范围探索大数据、人工智能、云计算、数字李生、5G、物联网和区块链等新-代数字技术应用和集成创新。2021年6月由工信部印发的《新型数据中心发展三年行动计划 (2021-2023年]》[10]提出要加速传统数据中心与网络、云计算融合发展,加快向新型数据中心演进,统筹推进新兴数据中心发展,构建以新型数据中心为核心的智能管力生态体系,发挥对数字化的经济的赋能和驱动作用。2021年12月,国务院印发《“十四五”数宇经济发展规划》[1],提出加快实施“东数西算”工程,推进云网协同发展,提升数据中心跨网络、跨地域数据交互能力,推动数据存储、智能计算等新兴服务能力全球化发展。近两年在上海、北京、浙江、广东和江苏等地方的“十四五”信息化和数字化相关规划和政策中,云计算和云存储也是重要的关键词。

  参考目前国际基于用途和应用场景作为分类准则,把存储将产品分为主存储 (Primary Storage) 、分布式文件和对象存储 (Distributed file and objectstorage) 、数据保护 (Data Protect) 等类别,其中主存储面向高并发低时延响应以及高可靠性要求的场景,如数据库、虚拟化、海量小文件共享等,产品多采用集中式存储架构,大多为SAN和NAS存储,分布式文件系统和对象存储主要是面向极大规模下高性价比的非结构化数据场景,对IOPS和时延不敏感,产品采用分布式存储架构;数据保护面向数据备份和恢复场景。综合应用场景、存储架构、产品形态等多重维度,下面对存储介质、集中式存储、分布式存储、超融合、数据保护存储等进行介绍。

  存储器大致上可以分为外部存储器和内部存储器,如图1-1所示,其中外部存储器包含半导体存储器、磁存储器和光存储器,内部存储器包含易失性存储器和新型非易失存储器按照读写方式,外部存储器中的半导体存储器可分为只读存储器ROM(EEPROM、PROM、EPROM) 和闪存存储介质(NOR Flash、NAND Flash)。磁存储器件最重要的包含磁带、磁盘。光存储最重要的包含蓝光光盘(BD) 、归档光盘《AD) 、全息存储、玻璃存储等。数字化、云计算、智能化所催生的大数据爆炸性增长的态势,加速了市场对大容量、高性能存储设备的需求。NAND闪存 (NAND Flash] 具有高性能、低延时的特性,随着Flash颗粒单位成本的不断降低,据IDC预测,固态硬盘 (SSD) 有望突破成本瓶颈,凭借访问加载速度和存储密度优势,代替机械硬盘成为市场主流存储设备。从产品应用市场上来分,固态硬盘可分为消费级企业级、工业级三种类型;从接口形态上来分,包括EMMC、UFS、SATA、PCle等;从体系结构上来分包括传统架构、开放架构、ZNS (Zoned Namespace分区命名空间)、KV (Key-value) 以及可计算存储(CSD) 等。

  据IDC预测,2025年全球的SSD市场规模将由2020年的300亿美元增长到约为500亿美元。2020年全球企业级SSD市场规模约为169.3亿美元,主要使用在于高端存储领域,如互联网、云服务、金融、电信、能源等行业的数据中心和人工智能等场景。2021年工业级SSD的全球市场规模达到20亿美金,其大范围的应用于汽车制造、轨道交通、工业自动化控制、安防监控、物联网工程、石油电力等领域,产品接口形态多样,包括2.5寸SATA、M.2 SATA、M2 PCle、mSATA、BGA

  SSD等。消费级SSD在2022年全球出货量预计3.59亿只,主要使用在于个人办公电脑、娱乐产品等方面。企业级SSD的技术开发壁垒相比消费级SSD要高,代表厂商有得一微、浪湖、Micron、Samsung、忆恒创源等;消费级SSD国内外主流厂商包括长江存储、江波龙、KIOXIA、samsung[厂商名称按中英文首字母排序,后文同上]等大数据时代,80%的数据是访问频率低的冷数据。按照被访问频率从高到低,存储数据可分为热数据、温数据、冷数据。经常被访问的称为热数据,较少被访问的数据称为冷数据,处于中间状态的称为温数据。80%的数据最终都会变为冷数据。冷数据对读取速度要求不高,主要考虑长期存储成本,适合采用光存储方案。

  光存储系统是介质技术、硬件设备技术与软件技术的融合。光存储介质是最终数据存储的物理载体,掌握光存储介质技术是实现蓝光数据存储系统自主可控,持续提升系统整体性能的基础。2015年左右,国内外一些代表厂商相继推出蓝光数据存储系统及相关这类的产品,集成了磁盘、SSD多种不同存储介质,可实现批量数据自动刻录、存储、读取,支持分布式存储架构,可按需扩展存储节点,支持磁光电统一化管理,数据分层、横向扩展、条带化、离线管理等功能,提供RAID、多副本、几余恢复纠错、单盘可读、光盘巡检等多种数据保护模式。光存储凭借其光盘存储介质的长寿命、大容量、物理记录数据不可改写的特点,可实现海量数据长期、安全可靠、低能耗、低成本的存储。

  当前流行的光存储介质有DVD,Blu-ray和ArchivalDisc(AD),其中AD碟片由索尼和东芝联合启动研发为三层记录双面光盘制式,其中300GB AD碟片轨道间距减小为 225 nm,数据位长度变小为79.5nm。区别于蓝光,AD碟片的平台 (Land) 和沟槽 (Groove)同时刻写。AD碟片已实现300GB和500GB的单碟容量,未来计划实现1TB容量。除传统光存储介质外,还有包括全息存储、玻璃多维存储等技术路线正在研发中。全息存储基于干涉原理进行数据记录,但其士要有两个问题: (1) 材料制备困难、材料稳定性差、数据记录后的材料形变问题; (2) 信号嘎声大,这中间还包括页内串扰、页间串扰、光电系统噪声.材料散射噪声等。美国的InPhase、日本的Optware都先后推出了原理样机,国内紫晶信息存储技术股份有限公司也正在从事球面波离轴单臂全息系统的研发。玻璃多维存储技术有包括华中科技大学、英国南安普顿大学、吉林大学等高校,华为、微软等企业正在从事研发工作。该技术有着寿命长、耐极端环境、容量潜力大等特点,但目前仍有写入速度慢、写入系统昂贵等问题是需要攻克。

  在传统磁电存储中融入了光存储应用,解决冷数据存储问题,光磁电混合存储开始加快业务应用落地推广。随着企业级市场发展,产品服务形式也由单一光存储介质拓展到光存储设备和解决方案。市场边界不断外延,市场需求规模呈现倍数级增长,行业也迎来了蓬勃发展的机遇期,而具备光存储研发技术实力的国内厂商,也迎来了跨越发展契机。光存储凭借长期、安全、低成本、绿色节能等性能优势,在企业级存储应用领域被重新赋能,迈入新的产业高质量发展周期,应用服务不停地改进革新发展,市场需求空间出现倍数级增长,成为支持海量数据存储,保障国家信息安全的核心底层存储技术之一。同时,新的产业高质量发展周期也孕育出新的技术发展需求,光存储系统依托的底层介质下一代全息存储介质技术开始由科学研究转入产业化应用研究,迈入新的技术发展周期,可满足数据归档、备份和温、冷数据的存储需求,大范围的应用于金融、医疗、气象、遥感、政务、运营商、数据中心等行业等领域。

  目前国内外的主流厂商有德、清华同方、苏州互盟SONY、松下、易华录、紫晶存储、中环、中科开迪。

  集中式存储是指由一台或多台主计算机组成中心节点,数据集中存储于这个中心节点中,并且总系统的所有业务单元都集中部署在这个中心节点上,系统所有的功能均由其集中处理。主存储产品多采用集中式存储架构。

  与单机存储相比,集中式存储通常包含两个或多个控制器。集中式存储作为机头,连接磁盘阵列、交换机以及管理设备,通过FC、iSCSI等方式为一个或多个主机提供存储服务。集中式存储部署方式相对简单集群中节点数据少,可提供高效、稳定的数据访问服务和高IOPS、低时延的数据处理能力,并提供快照、镜像、克隆、主备双活容灾、云备份、其他像多DC等数据保障机制,从而使用户的数据安全更有保障,减少故障处理时间,对故障场景可满足高稳定性、高可靠性以及用户服务永远在线、数据永不丢失的要求。同时为降低用户使用成本,在高端存储中提供重删压缩等数据缩减技术。集中式存储包括混闪存架构和全闪存架构。近年来,随着固态硬盘(SSD)等高速介质的应用愈来愈普遍,集中式存储的架构也在渐渐往全闪存储架构的方向演进,并最终会成为主流的方向。其典型的拓扑结构如图1-3所示:

  集中式存储作为企业级存储市场用户的主要选择,据IDC统计,2021年集中式存储占中国企业级存储市场的55.6%6份额。其中集中式存储中的全闪存储因其性能及SSD介质成本不断降低等优势,在2021年增速达到15.9%,市场占有率占比快速地增长,成为了用户关键应用系统的新选择。总之,从长远看,集中式存储在其高IOPS、低时延、高可靠、高安全等领域会占据主流,如金融、证券等关键市场领域。因此全闪存储将成为集中式存储未来的主流,成为未来发展的主要方向。目前集中式存储主流厂商包括Dell EMC、HPE、华为、宏杉、IBM、浪潮、联想、NetAPP、新华三、中电52所、中科蓝鲸等。

  分布式存储 (Distributed Storage Syttem)在计算机领域中特指采用分布式架构的计算机信息存储系统,它通常建立在多个标准化的通用硬件设备之上,通过软件系统的有效管理和整合,一组各自独立的硬件设备节点在逻辑上呈现为一个统一整体,向外界提供信息存储服务,满足各种结构化与非结构化业务需求,应用于高性能计算、A应用、虚拟化/云资源池、数据库、大数据分析和海量数据备份归档等场景。

  通常具有如下典型特征: (1)系统采用分布式架构具有强大的横向扩展(Scale-out) 能力,由地理位置上分散的多台存储节点设备组成,通过计算机网络利用核心软件系统来进行统一管理, (2)各节点的存储资源有效整合,资源充分池化,具备良好的扩展能力 ;(3)具备系统级高可用与高可靠特性,在部分设备节点失效的情况下,仍能正常提供数据保护和存储服务。

  分布式存储因其支持块、文件、HDFS、对象多种协议的特性,被大范围的应用于内容资源池、备份归档、视频存储、高性能计算、云平台存储等多个场景,具备比较好的场景适应性。分布式存储从数据类型上可分为分布式文件系统、分布式块存储和分布式对象存储《也称“对象存储”)三种常见的产品形态和技术路线。分布式存储在接口、协议上以及对应用支持的发展上带来一些衍生技术和名词,例如,分布式统一存储,能够同时提供块、文件、对象三种数据的访问接口,常见的分布式统一架构包括文件底座+协议网关、对象底座+协议网关,可更好的支持云和容器技术访问和管理的云原生分布式存储,以及更好支持流式视频数据的分布式流存储等。如图1-5所示分布式存储作为近几年不断被熟知的存储产品形态,不断被市场认可,凭借良好的扩展性、存储成本等因素在互联网、人工智能、大数据、云计算等新兴场景中被普遍的使用。据IDC统计,如图1-6所示,2021年分布式存储份额为23.9%,未来5年的复合年均增长率达到12.8%,在2026年将接近30%,成为中国企业存储市场的重要部分。相比较而言,未来3-5年,分布式文件存储占比会会降低,块和对象类型缓慢增加。目前分布式存储主流广商包括阿里云、Dell EMCDDN、华为、宏杉、H3C、IBM、联想、浪湖、PureStorage、曙光、杉岩、深信服、西安奥卡云、XSKY、中科蓝鲸、中电52所等众厂商。

  云存储是在云计算 (Cloud Computing) 概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不一样的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。其访问不需要内部网络连接《也称“网络附加存储”)或与存储硬件的直接连接(也称“直接附加存储”),让云计算能够在云环境中运行工作负载。

  目前云存储的应用形式包括公共云存储、私有云存储和混合云存储等3种类型,支持块、文件或对象3种格式,但是在一些软件定义的云存储产品中也可将3种格式整合到一个易于部署的统一解决方案中。一般而言,云存储通常比传统的本地存储系统更安全可靠且可扩展。

  自2003到2006年的阶段,来自谷歌的三架马车: GFS(分布式文件存储)、BigTable (键值存储Key-valuestore]和MapReduce (大数据分析系统)。以及Chubby(分布式锁服务)的相继发表,打造了云计算分布式系统的开发蓝本。在此期间,国外谷歌GCP、微软Azure、亚马逊AWS,国内阿里云、百度云、华为云相继打造了各自的云存储系统和产品。Gartner发布的《Gartner Solution Scorecard 2021》显示,阿里云laas基础设施能力拿下全球第一,在计算、存储、网络、安全四项核心评比中均斩获最高分,这也是中国云首次超越谷歌、微软和亚马逊等国际厂商。美国联合市场研究公司多个方面数据显示,2015年全球云存储市场规模已达到211.7亿美元,2019年达到了425亿美元,2020年在全球企业对经济高效的数据存储和数据保护需求的一直增长的背景下,全球云存储市场规模突破500亿美元。目前主流云包括阿里云、百度云、谷歌云、华三云、华为云、浪潮云、天翼云、微软Azure、亚马逊AWS等

  超融合一体机HO (Hyper-Converged infrasructure)是指在由多个通用计算机单元设备(如X86/ARM服务器)组成的一套系统中,同时提供计算、存储和网络的融合资源和服务能力。该架构充分的利用虚拟化技术、SDS软件定义存储技术,有效组织和管理多个节点,利用互联网聚合形成统一的虚拟资源池和基础架构。其本质仍是一个分布式系统,拥有多个同等的节点(计算机设备)通过核心软件将所有节点统一组织管理起来,并采用增加节点的方式,实现整体系统能力的扩展。其优势主要在于可降低总拥有成本、提高性能和IT团队的效率。目前市场上超融合的产品分为两种交付形式,一种是超融合基础架构系统Hyper-Converged InfrastructureSystem (HOS),以软硬一体机的形式,将超融合软件和硬件一起交付给用户,是超融合产品的最初形态,也是目前市场上企业采用的主流。HOS一体机具备敏捷部署、易于管理和产品软硬件统一支持的优点,可以高效的支持数据中心使用场景。目前市场上的HCIS厂商主要有Dell EMC、HITACHIH3C、华为、浪潮、联想、NetAPP、青云HCI、UIT创新科、深信服、曙光、Smartx、中电52所、中科蓝鲸等比较有代表性的产品有华为的FusionCube系列、H3CUIS超融合一体机系列、浪潮InCloud Rail系列、中科蓝鲸HCS、深信服Sangfor-HO系列等。

  另一种是超融合基础架构软件,以软件形态交付用户HOI软件支持更灵活更弹性的解决方案,包括“自带硬件(BringYour Ow Hardware)”策略,解决了服务器利旧的问题,有助于降低项目TCO (总拥有成本TotalCost of Ownership)。HO软件与底层硬件平台松耦合可支持企业现有的硬件平台,无需锁定供应商,为部署带来更多的灵活性。

  超融合基础设施由于其敏捷弹性、资源高效、管理极简等特征,越来越成为企业部署数据中心的重要选择。据IDC统计,如图1-10所示,2021年中国HO市场保持健康增长,同比增长41.1%,达到18亿美元的规模,未来5年将继续以健康的速度增长,复合年增长率为12.6%,2025年超融合市场规模将达到近33.2亿美元。超融合市场如今慢慢的变成了厂商必争之地,大型IT厂商和勇于探索商业模式的公司纷纷投身其中,不仅Dell、浪潮、华为等服务器大厂积极推出相应的产品,同时还催生了Nutanix、Simplivity以及国内Smartx等为代表的一大批初创企业。

  随着金融在线交易、人机一体化智能系统、政务信息化、文旅数字化等业务的加快速度进行发展,自然灾害、人为破坏、勒索软件攻击对企业核心价值数据的威胁慢慢的变大,如何保障业务不中断、数据不丢失,成为全行业共同关注的焦点,围绕数据生命周期提供“热数据容灾、温数据备份和冷数据归档”的全面保护将慢慢的变重要。2020年全球数据保护市场达到613亿美元,预计到2026年可达1134亿美元,年均复合增长率有9.1%。2021年我国颁布《数据安全法》、《个人隐私保护法》、《数据安全管理条例》等法律和法规以及一系列有关政策,将对未来几年数据复制与保护市场产生积极影响。

  从数据保护场景来看,可分为容灾、备份、归档三大类场景;按数据存储方式能分为在线、近线、离线三种方式。

  数据容灾对需要被高频应用、高密度访问的“热数据”体系来说特别的重要。容灾系统的目的在保证系统数据和服务的“在线性”,即当系统出现故障时,仍然能战场地向 网络系统提供数据和服务,以使系统不致停顿。常见的容灾系统架构包括单中心容灾、同城互备、同城双活、两地三中心等。

  备份是用于做数据的保护。防止应用或者核心数据丢失,定期或者实时将数据保存在其他介质或存储设备上,保证在源端数据丢失的情况下做数据的恢复,同时保存的数据可以做其他开发、测试或其他大数据分析使用

  敬据归档是将不再常常使用的数据移到一个单独的存储设备来进行长期保存的过程,常用的存档介质包括磁带、光学介质存储、磁盘存储、云存档等

  数据备份是容灾的基础,是指为防止系统出现操作失误或系统故障导致数据丢失,而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。传统的数据备份主要是采用内置或外置的磁带机进行冷备份,随技术的持续不断的发展,教据的海量增加,不少的公司开始采用网络备份。网络备份一般是通过专业的数据存储管理软件结合相应的硬件和存储设备来实现。

  随着云计算技术的发展和应用,云数据保护目前应用也较为普遍。云数据保护是采用云应用程序和云存储服务管理数据副本,实现本地数据或云端部分数据损坏、丢失或服务中断时可恢复使用。目前,流行的云数据保护方案有云备份、云归档、多云等技术。

  (本文仅供参考,不代表我们任何投资建议。如需使用相关信息,请参阅报告原文。)

相关产品:

相关新闻: