十四五规划中指出要“加快数字化发展,建设数字中国”。IDC预测,到2022年,全球65%的GDP将由数字化推动。近几年新基建、数字经济和平台经济发展迅猛,给数据中心提出了新的挑战。全闪存数据中心具有速度快、绿色节能等优势,将会是未来数据中心的发展趋势,SSD(固态硬盘)也将会得到更加广泛的应用。
为什么关注SSD寿命预测?
企业关注SSD寿命预测技术,一是因为SSD的应用前景非常广阔,市场上使用率将越来越高。二是SSD损坏导致数据丢失带来的损失是巨大的。三是因为闪存具有擦写次数限制的特点
与传统机械硬盘相比,SSD的优势非常明显,如SSD速度更快,数据访问比机械硬盘快100倍,吞吐量大100倍,单盘IOPS大1000倍以上,并且技术在快速发展,如NVMe、 PCIe将进一步释放SSD的性能;在可靠性表现上,SSD因质量轻、体积小、防震抗摔性更好,更加可靠。再如SSD更节能,与机械硬盘相比,能耗降低70%。今年的政府工作报告中提出要在2030年之前实现“碳达峰”,在2060年之前实现“碳中和”,使用SSD能够大幅降低数据中心的能耗。过去SSD使用率不高的原因主要是其价格昂贵,现在据IDC统计:2015年到2020年,SSD平均每年的价格降幅达到25%,未来5年也将保持这一趋势;2020年,全球范围内企业级SSD上的支出已经超过传统硬盘。
图1 全球企业级机械硬盘和SSD盘支出对比(单位:百万美元),2005-2020
正是由于SSD速度快但价格相对较高,SSD通常用来存放元数据或核心数据,这部分数据丢失将会给用户带来的损失更加严重。并且,SSD闪存介质具有擦写次数限制,因此SSD使用寿命更值得被关注和重视。
SSD寿命预测 如何实现
SSD,是由控制芯片和存储芯片组成的。控制芯片是SSD的大脑,用于调配数据、数据中转等,存储芯片用于存储数据。当前主流的存储芯片为NAND Flash闪存芯片,NAND采用浮栅晶体管存储数据,写入数据时需要先擦除再写入,写操作本质是向浮栅注入电荷,擦除操作是从浮栅挪走电荷,充放电的过程会损耗二氧化硅绝缘层的绝缘能力,最终无法保证浮栅中存有足够多的电荷。因此NAND的擦写次数是有限的,闪存完全擦写一次叫做1次P/E,闪存的寿命就以P/E作单位,例如常用的MLC-SSD擦写次数为10000次。SSD寿命预测,本质上就是预测NAND芯片P/E次数还可用多长时间。
图2 SSD结构
硬盘厂商一般都遵循S.M.A.R.T. 标准进行数据保护,S.M.A.R.T. 标准是一种自动的硬盘状态检测与预警系统和规范。SSD S.M.A.R.T.中包含了一些与寿命相关的指标,不同接口、不同厂商的指标略有不同。浪潮自研NVMe SSD遵循NVMe 1.3标准,提供标准的S.M.A.R.T.输出。部分厂商SATA接口和PCIe接口寿命相关指标如下表所示:
硬盘接口 |
硬盘厂商 |
指标名称 |
指标含义 |
SATA |
Intel |
Smart_233 Media Wearout Indicator |
介质磨损指示 |
Micron |
Smart_202 Percent lifetime remaining |
剩余寿命百分比 |
|
Samsung |
Smart_177 Wear Leveling Count |
擦写次数计数 |
|
Seagate |
Smart_231 SSD Life Left |
SSD剩余寿命 |
|
PCIe |
Inspur等 |
percentage_used |
已使用百分比 |
各个厂商通用的指标为百分比表示的闪存磨损度,SSD寿命预测基于闪存磨损度,预测SSD未来可使用的天数。同时,该寿命预测模型能友好的支持浪潮自研PCIe接口SSD。
SSD寿命预测使用时间序列预测技术,基于硬盘S.M.A.R.T.标准采集预测所需的历史时间序列数据集,再使用浪潮自研的AI预测算法,预测S.M.A.R.T.指标未来变化,得到SSD剩余寿命天数。
图3 SSD寿命预测流程
SSD寿命预测流程如上图所示。整体的预测流程分为两个阶段,绿色为离线训练阶段,目的是为了确定模型选取规则;蓝色为在线预测阶段,用于在用户环境中预测SSD寿命。
离线训练阶段使用大量的SSD全生命周期的S.M.A.R.T.数据,人工将磨损度变化曲线形态标记为3类:平稳变化、减速变化和加速变化,再对三种类型的SSD数据分别进行测试。测试过程中实验了多种数据预处理方式和预测模型,比如Prophet、 ARIMA、 移动平均法(Moving Average, MA)、指数平滑法(Exponential Smoothing,ES)、神经网络等。最终确定模型选取规则,实现全生命周期预测准确率达到75%的国际领先水平。
图4 模型选取规则
在线预测阶段,定时采集硬盘磨损度指标,使用提前定义好的模型选取规则,根据磨损变化数据量的大小和变化趋势,选择最合适的时序预测模型,预测SSD寿命。
六重保护业务永远在线,可靠!
在管理软件层面上,InView平台每天定时采集数据、预测,通过浪潮自研SSD产品S.M.A.R.T.功能,可以客观呈现产品的Percentage used和Available spare信息,并展示所管理的SSD是使用寿命。当预测结果不足2周时,发出告警提示用户,制定备份数据和换盘计划,避免因突发换盘导致业务降级,甚至停机维护。
图5 智能管理软件InView界面中对SSD寿命预测
除了管理软件,浪潮存储还通过核心软件、器件、部件、系统、解决方案层面等,对业务进行端到端的整合,致力于为客户提供一体化的方案服务,做到故障早知道、故障无影响、长期无故障
未来随着数字经济发展,数据要素将在企业数字化转型中扮演越来越重要的角色。浪潮存储将持续加大企业级SSD研发投入,推动集中式全闪、分布式全闪持续技术创新,联合产学研用等生态伙伴,合力提供数据生命周期解决方案,助阵企业提速数字化转型,释放数据价值。