随着Filecoin测试网上线在即，存储赛道备受关注，围绕Filecoin挖矿的上下游产业链也提早展开布局。希捷是目前全球最大的硬盘、磁盘和读写磁头制造商，也是硬盘挖矿赛道的主力品牌。峰会现场，希捷科技资深解决方案工程师李蓁以《分布式数据存储基石，硬盘点亮数据价值》为主题带来分享。以下是演讲内容文字精编非常荣幸有机会和大家分享希捷在分布式系统的思考，以及产品上的进展。大家在参与IPFS项目中的过程中，可能或多或少接触过希捷，我们也是出席本次会议的唯一一家零部件供应商。 希捷是一家非常传统的制造业厂家，机械硬盘在40年前就被发明出来了，当时一块硬盘容量仅仅只有5M，而手机存储容量如今已达到GB级别，128G甚至更高。经过40年发展，希捷年营业额已经超过一百亿美元，去年发货量达到355个EB，员工4万余人，主力生产工厂在泰国和无锡。市场前景展望  很多嘉宾在分享的时候，都反复强调数据对于人们生活的影响。从增量来看， 2002年前产生的数据量总计23个EB，而今年每五个小时就可以产生23个EB的数据，现在是数据爆发式增长的时代。 分布式存储应运而生。其实分布式文件系统出现的时间很早，20年前银行就在大规模使用。还有P2P网络，大家应该使用过BT下载，这并不是新的概念。但是时代赋予了我们新的应用场景，现在我们面对每年产生的数据高达175ZB的新时代。我们需要思考，通过什么形式保存这些数据，以及挖掘这些数据的价值。 石油存储在地下对我们来说一文不值，数据也是如此，只有当我们能够访问数据，处理数据的时候，数据本身才是有价值的。IPFS这类存储项目的优势就在于，我们可以把更广范围、更深层次的数据保存下来，哪怕今天并不知道这些数据可能会产生怎样的价值。  数据究竟从哪些维度对生活产生影响？一是智能网联车，它之所以智能是因为系统通过各种传感器，包括毫米波雷达、激光雷达、摄像头对采集回来的数据进行分析，赋予更加智能的特点，每辆车跑一天的数据量超过1PB；二是工厂里应用大数据，可以将传统制造业的效率提高70%；三是智慧城市，可以通过数据分析改善安全、公共设施利用率和交通管理效率。我经常举一个例子，如果把记者丢到北京街头，不戴帽子或者口罩的情况下，通过智能摄像头找到他连5分钟都不需要。新技术的落地对于希捷而言，硬盘做了40年依然可以有很多创新。机械硬盘今年容量是18T，明年容量到20T，后年容量会达到24T。为了使硬盘应对每年35%左右的年化增长率，需要通过激光热辅助的技术加热碟片上某一点，产生避雷针效应后把数据写进去。 有了这个技术硬盘碟片容量增长率每年可达35%，预计到2025年硬盘容量会达到50TB。SSD的发展也非常迅猛，这符合八二定律的特点。我们知道80%的在存数据访问频率并不高，这就是为什么数据中心超过75%的数据存储在机械硬盘上。IPFS是以一个存储冷数据为主的网络，冷数据存储正应了机械硬盘的特点。还有很多数据类型，比如热数据、超热数据、冷数据、冰数据，不在的今天讨论范围。热辅助技术研制超过20年，当年有很多小故事。 大家知道在华尔街，我们需要给投资银行家讲故事。SSD被发明以后，很多分析师认为机械硬盘没有未来。当年希捷给华尔街演示热辅助技术，传感器使用的还是黄金，一个两百纳米大小的黄金，在被激光反复加热以后，黄金有可能会熔化，而且分布时间是不均匀的，换句话说这个机械硬盘不知道会在什么时间失效。 经过20年的研发，现在每个机械硬盘写入的数据量，热辅助盘超过4个PB，远远超过大家所用的企业级硬盘每年550个TB的水平，平均失效率可以控制在0.4%。 这是热辅助硬盘的特点之一，磁头上有一个亮点，是激光发生器，功率大概是零点几毫瓦，用激光击中碟片的时候加热，就可以把数据写进去。  双磁臂是指两个磁臂同时使用，性能可以翻倍，大家可以理解为将两个机械硬盘做进一个盘体里面。产品组合 简单给大家秀一下希捷的产品组合，碟片方面有HDD，就是大家在存储矿机上面使用的规格。还有SSD，覆盖了大家所使用的各类接口。大家有没有听说过“近存储计算”的概念，国内外不少厂家在做这方面的研究。数据中心从集中式结构演变成分布式结构以后，每个结点之间都会产生大量东西向的数据流动。对于网络而言，这是一种极大的开销。“近存储计算”阶段就是在SSD上面内置一个计算引擎。HDFS也是分布式存储系统，需要对数据进行压缩。如果在SSD内置一个引擎，就不需要跟CPU绑定，不需要采购这样一个硬件，效率会得到极大提升。这是大佬需要思考的问题，在这里就不展开了。 对希捷而言，目前的策略是模块化。大家知道希捷是做盘的厂家，收购了若干厂商以后，希捷也具备了制造机架，以及控制器模块的能力。就像是搭建乐高积木的时候，可以选择不同的积木，希捷也是这样的策略。根据冷数据或者热数据的需求，以及定制化数据处理模式的机器，搭配不同的盘、不同的机架、不同的控制器模块达到所需要的产品形态。对于IPFS存储的思考分享一下我个人对于IPFS存储的思考，我注意到今天参与活动的规格差异非常大。对于希捷而言，从P1到C2的过程并不是我们关心的阶段。现在有很多矿机是所谓的紧耦合的结构，就是把上面这几个阶段统统放在一个盒子里处理。  如果法律阶段要明确这个东西的产权，这是好的解决方案。但是从大规模集群而言，这个形式会带来很大的问题，P1需要绑定AMD的CPU，但是供应能力是不足的。如果所有东西放在一个盒子里，没有办法实现弹性扩展。要么就是存储先耗尽，要么就是计算能力先耗尽，没有办法对资源做单独扩展，这和分布式架构是相悖的结构。 对各个阶段做一个解耦，大家参考所有云服务厂家可以看到，面对不同的存储场景，热数据、冷数据、冰数据都有相应的存储解决方案。IPFS没有办法回避这个事情，就是一定要做解耦。这样做的好处是每个阶段都可以做单独的横向扩展，提升硬件利用率。现在专用硬件的采购量并不需要那么大，同时上线节奏可以极大加快。IPFS本身不具备数据高可用的机制，怎么在大规模存储集群里确保数据在每24小时时空证明阶段在线，这是没有办法回避的一点。我看到有一些矿机是单路电源，在存储集群密度高的情况下，掉线任何一个节点的数据损失都很大，没办法在25秒以内返回结果，惩罚可能大于挖矿的收益。我做了十多年的企业级，知道有多么困难。举个例子，如果用一个10T的盘做数据重建需要50多个小时，在这期间再出现掉盘的情况，那么整个逻辑卷就会失去访问。如果使用我们的RBOD，就可以在RBOD上做好数据保护，再通过以太网或者SAS电缆映射给主机，高可用是在RBOD上面管理，对于用户而言，可以减少很多这方面的痛苦。如果前面没有太多思考，后面做矿池就会遇到很多痛苦的惩罚。 建议大家在存储这方面，一是尽可能使用大容量的HDD，二是把高可用机制卸载到存储设备商。这时候RBOD的形态比JBOD的形态更好，因为有希捷自己的纠删芯片。 (责任编辑：admin1) |