• 注册
    • 查看作者
    • 杉岩数据:MOS对象存储为IPFS打造坚实底座

      IPFS是InterPlanetary File System(星际文件系统)的简称,是一个旨在创建持久且分布式存储和共享文件的网络传输协议。IPFS网络中的节点构成了一个分布式文件系统,它为用户提供了一个支持部署和写入的平台,同时能够支持大文件的分发和版本管理。

      IPFS试图解决什么问题?

      IPFS是对中心化存储的一种补充,具有去中心化、数据不可篡改、全程留痕、可以追溯、集体维护、公开透明的特点。其目标是通过建立对等的分布式文件系统,为数据存储服务的需求者提供一个高吞吐量、按内容寻址的块存储模型,及与内容相关的超链接。分布式内容传递可以节约带宽,和防止HTTP可能遇到的DDoS攻击。

      相较于中心化存储(基于HTTP构建的云存储),IPFS解决了下载速度慢、存储成本高、修复能力不足以及数据隐私安全等问题,且不存在单点故障,网络节点之间不需要相互信任,安全性和可靠性更高。

      IPFS如何保证用户数据被安全地存储?

      从数据存取的角度来看,IPFS的做法是:文件被用户上传时,会切割成N个加密碎片,分散存储在供应方(矿工)提供的存储空间中,在下载时再合成为完整的源文件;通过一种共识机制(复制证明PoRep和时空证明PoSt)来确保正确的数据在正确的时间被有效存储且未被篡改,以保障安全、公开、透明;据此,系统也会得出矿工的实际贡献值,提供对等的报酬。

      杉岩数据:MOS对象存储为IPFS打造坚实底座

      图1.IPFS通过共识机制确保数据安全

      整体流程大致如下:当用户上传原始数据后,矿工向主链提交交易证明并获取出块权,之后按照规则将数据装入扇区继而封装成标准大小(32GB)的数据块;在封装过程中会进行复制证明并提交给主链,以证明矿工确实保存了用户要求存储的数据;数据封装后,系统会按照数据的存储期限,每隔一段时间(一般是半小时一次)运行时空证明,以证明矿工确实在规定时间内存储了准确的数据。

      IPFS需要高度匹配的存储能力

      在运行证明的过程中,需要强大的算力支撑,这既包括对原始数据的封装处理、对证明数据的高效运算,还包括对封装数据的及时写入、对证明数据的检索抽取。这对存储也提出了严苛的要求,主要特点如下。

      杉岩数据:MOS对象存储为IPFS打造坚实底座

      图2.证明过程中计算与存储高频交互

      超大容量

      IPFS要求数据持续可读,历史数据永久保存。一般周数据增量为PB级,年增量可达百PB级甚至EB级。

      高吞吐

      IPFS写入模型是大文件并发写入,存储集群至少要提供100Gbps以上的吞吐量,以保证封装数据的写入效率。

      随机读

      在时空证明阶段,每天完成一次全量证明(分48次进行,每半小时就要完成一个SHARD的证明),均是小数据块随机读,要求存储提供极高的随机读取效率。

      高效运维

      数百PB甚至EB级的海量空间,必然由大规模集群来支撑,高效运维、降低人力成本同样是刚需。

      兼顾安全与低成本

      除了IPFS原有的哈希去重和加密算法,存储集群也需要提供低成本的安全保护策略。业内厂商多采用高性价比的纠删码方案,在保证数据高可用的同时,尽可能降低总体成本。

      MOS对象存储为IPFS打造坚实底座

      从前文的描述中不难看出,选择合适的存储底座无疑能给IPFS带来强有力支撑。杉岩MOS对象存储凭借海量、高性能、智能化、低成本等优势,为IPFS场景提供了极佳的存储底座。

      图3.基于MOS打造强大的存储底座

      EB级弹性扩展,300 Gbps吞吐能力

      MOS可提供单一命名空间的EB级资源池,以及超过300 Gbps的吞吐能力;由于计算与存储分离,存储集群可独立扩展,灵活响应业务变化。

      空间利用率超90%,成本节约超过50%

      为了满足数据高可用和低成本的要求,MOS采用22+2的纠删码技术,将空间利用率提升到了90%以上,相较于3副本策略,硬件成本缩减超过50%。

      15秒读完一个Partition

      针对IPFS高频随机读的特点,MOS也进行了性能优化,可将数百次随机读请求合并为一个请求,将读取效率提升了数倍,每15秒即可读完一个Partition。

      管理超大规模集群仅需1-2人

      MOS提供可视化管理和智能化运维,故障自动监测和即时申报;通过多故障域隔离和智能DNS分配技术,帮助运维人员轻松管控超大规模集群,在提升数据可靠性的同时降低运维复杂度,节省人力成本。

      “工欲善其事,必先利其器。”IPFS需要强大的云算力,除了部署强大的算力集群,选好存储同样重要。杉岩已顺利交付IPFS项目,实践证明,MOS对象存储值得这份信赖。

    • 0
    • 0
    • 0
    • 24
    • 请登录之后再进行评论

      登录
    • 做任务
    • 实时动态
    • 偏好设置
    • 返回顶部
    • 单栏布局 侧栏位置: