想要了解分布式云存储,首先要了解“什么是云存储”?云存储是最流行和最广泛使用的存储数据的方法之一,它为用户提供了一种从世界任何地方存储、共享和访问他们的文件的方法。
随着更快的网速、更便宜的存储硬件和更好的基础设施的出现,云存储技术不断发展,云存储服务的类型也在不断变化。随着时间的推移,他们已经发展到包括由区块链技术支持的分布式云存储解决方案。
分布式云存储正迅速成为首选解决方案,尤其是对于那些希望保护数据免受审查、防止单点故障、防范潜在黑客或恶意行为者以及降低云存储服务成本的人而言。
通过了解分布式云存储服务的工作原理及其相对于集中式类似服务的优势,开发人员可以使用这些工具来创建更加安全、可靠和用户友好的在线体验。
什么是分布式云存储?
简而言之,分布式云存储是一个跨多台计算机或分布式网络存储数据的过程。与AWS或Google Cloud等大多数云存储服务相比,这种替代方案是有意义的,因为后者将所有委托给它们的数据存储在专有的筒仓服务器中。
在云存储服务中,存储文件的传统方式是将这些服务器放在特定的位置,作为集线器或数据中心。当用户选择在这些类型的云存储服务提供商中存储文件时,他们依赖于一个根据地理位置找到文件并根据文件的存储时间向服务提供商支付费用的系统。
由于分布式云存储依靠整个计算机网络来存储用户文件,位置变得无关紧要,取代了上述传统方式。同样,云存储的成本更有竞争力。
在分布式对等云存储网络中,文件分布在独立的存储提供商之间,并根据内容进行定位。这些存储提供商通过加密经济市场来维护其文件的副本。
与其他云存储方案相比,该模式结合了云计算和分布式技术的能力,创建了一个安全可靠的在线文件共享系统。这是建立一个更加分布式的网络基础设施的重要一步。
分布式云存储的必要性
由于集中式云存储仍然是大多数组织和网络服务的规范,其缺点背后仍然是用户体验和整体安全性方面的诸多问题。其中包括:
审查制度
由于基于服务器的集中式云存储通常由私营公司建立,这些服务经常受到机构的压力,这可能导致一些司法管辖区的审查。
云存储成本
云存储成本的竞争格局为新的独立存储提供商带来了进入壁垒,导致现有企业拥有垄断特权的市场环境,从而导致云存储服务用户的不公平定价。
缺乏所有权
然而,集中式云服务提供商存储的数据通常可以由客户随意检索,但当涉及到这些数据集的可移植性时,该服务就有一些困难。供应商锁定、公司控制加密和其他公司政策等因素通常会模糊用户数据所有权的界限。
数据泄露
所有数据都存储在少数数据中心,意味着一旦发生数据泄露等恶意攻击,这些数据可能会遇到“孤注一掷”的问题。黑客通常将这些服务器视为“蜜罐”,可以泄露大量数据。
数据中断
其他黑客攻击,如DDoS攻击,也是传统云存储服务中的常见问题。其中一个漏洞会导致数百万用户长时间无法访问数据。
分布式云存储是如何工作的?
分布式云存储通过使用对等(P2P)技术,将数据存储和检索的责任放在所有网络参与者的计算机上。数据被分解成片段并冗余地存储在参与网络的多个节点上。
另外,文件采用加密哈希机制加密,保证只有知道文件内容地址的人才能访问这些信息。
为了防止恶意行为,分布式云存储系统通常使用所谓的存储证明一致性算法。有关算法的更多细节,请参考Filecoin规范。
该算法根据存储提供商对网络贡献的数据量来选择存储提供商,然后通过随机验证系统来检查存储提供商是否真的持有数据。
与云存储服务相比,分布式云存储为用户提供了对其数据的更多控制,并确保只有用户自己才能访问数据。由于使用参与者的本地网络进行文件传输,分布式云存储系统还可以提供更高的带宽速度。
更重要的是,系统的分布式特性导致没有中心故障点,这使得网络攻击者更难以针对特定文件。
IPFS作为一个面向云存储的P2P文件系统
星际文件系统(IPFS)为分布式云存储奠定了基础。该项目成功引入了分布式云存储系统,将BitTorrent蜂群等点对点技术与加密原理相结合,作为用户在分布式网络上共享文件的一种方式,无需数据中心或中介。
如IPFS白皮书(https://github。com/IPFS/papers/raw/master/ipfs-cap 2 PFS/ipfs-P2P-file-system . pdf)说,“IPFS是一个点对点的分布式文件系统,旨在用相同的文件系统连接所有的计算设备。它在某些方面类似于Web,但IPFS可以被视为一个单独的BitTorrent组,在Git存储库中交换对象。换句话说,IPFS提供了一种高吞吐量的内容寻址数据块存储模型,包括内容寻址超链接。”
内容寻址
在IPFS之前,大多数网上分享的内容都遵循一种叫做HTTP的特定协议规则。这也是为什么每次用户想要访问一个网站或者任何种类的内容,一般都要先输入http://,再输入地址。
问题是HTTP是基于位置的协议。它根据地理位置搜索存储内容的服务器以满足请求。虽然这种方法到目前为止效果很好,但可能有更快、更安全的替代方法。
当使用内容寻址而不是基于位置的协议时,文件根据内容标识符(或CID (https://docs。ipfs.tech/concepts/content-addressing/# what-is-a-cid)),也就是说,它们的加密哈希值不是传统的文件名。这种文件识别方法可以更有效地存储和检索数据,因为用户可以在不依赖单一物理存储位置的情况下查阅文件。
由于其分布式特性,内容寻址在安全性、可靠性和可扩展性方面提供了许多好处。通过加密哈希值来引用文件,不存在中心故障点,攻击者无法轻易针对特定文件。这也有助于避免重复,从而解决数据集中的不一致和潜在的安全问题。
Filecoin的激励机制与分布式云存储
然而,正如Filecoin文档(https://docs . Filecoin . io/developers/introduction/Filecoin-and-ipfs/)中所述,这对于分布式云存储服务来说仍然是不够的:
“IPFS本身并不包含鼓励他人存储数据的内置机制,这是Filecoin要解决的挑战。Filecoin以IPFS为基础,为长期存储创造了一个分布式存储市场。存储容量大的节点可以将其存储空间出租给用户,并获得报酬。
Filecoin网络确保数据的安全存储。然而,存储、验证和解封(分别称为密封、证明和检索)的过程非常昂贵,并且可能需要时间。这尤其与数据检索相关,数据检索应尽快进行。因此,Filecoin提供了一个额外的搜索市场。在这个市场中,专门的节点可以通过保存未密封的缓存副本来帮助快速提供网络中的内容,从而获得报酬。\”
云存储的存储和检索市场
简而言之,Filecoin通过引入区块链网络和激励机制,对提供网络存储能力(https://Filecoin . io/blog/posts/a-guide-to-Filecoin-storage-mining/)、存储容量和文件检索的独立存储提供商进行奖励,进一步推动了IPFS的创新。这两个市场分别被称为网络存储市场和检索市场。
存储市场
Filecoin经济的一个重要部分是存储提供商参与到直接向客户提供存储空间的市场中。该网络将这些存储提供商与客户进行匹配,客户根据他们提供的价格、位置和存储期限等信息做出选择。
存储交易完成后,客户开始将数据传输给存储提供商。然后,网络通过要求存储提供商锁定FIL中的抵押品来确保存储提供商满足交易条件。如果存储商不能在约定时间内提供完整及时存储客户资料的加密证明,抵押物将被“没收”。
存储提供商可以通过存储交易获得两种激励:他们从客户那里获得成功存储数据的FIL报酬,并根据其存储能力和对网络贡献的存储容量参与赚取块奖励的机会。
搜索市场
存储提供商获取FIL的另一种方式是检索存储信息。他们可以向用户提供他们需要的数据,以换取少量的FIL。最及时的信息通常受到青睐,这为处于战略位置的节点参与网络增加了额外的激励。
Filecoin云存储方式的优势
这种分布式模式使得任何能够访问互联网的人都有可能参与全球分布式云存储市场。同时,该协议可以为客户提供比传统云存储提供商更强的文件完整性和可用性保证。
Filecoin的存储证明算法确保存储提供商(SP)拥有客户数据的完整副本。这为客户提供了比大多数云存储提供商更高级别的安全性。因为当不遵守存储协议时,存储提供商将受到惩罚。
一般来说,这意味着Filecoin可以提供数据持久性(https://file coin . io/blog/posts/ipfs-file coin-and-content-persistence/)。
数据持久性
将IPFS的内容寻址与Filecoin网络的加密经济性相结合,开发人员可以创建用于长期存储的数据安全应用程序,并允许快速检索和分发内容。Filecoin擅长长时间存储大量数据,没有链路损坏甚至数据中断的风险。
随着越来越多的应用程序采用这种方法,它将确保用户可以在最需要的时候访问他们的关键数据。这也是分布式云存储基础设施最终能够提供更好的用户体验的原因之一。
Filecoin和IPFS携手并进。
IPFS和Filecoin为用户提供了完整的分布式云存储服务,使他们能够以分布式的方式安全地存储数据,同时,他们可以通过提供这种服务获得经济回报。
与传统的云存储服务相比,将两种协议结合起来,用户可以享受到更多的信任、可靠和去中心化。IPFS有助于确保这些存储提供商存储的数据通过内容寻址保持可访问性,而Filecoin则创造了一个开放的市场,任何人都可以通过数据持久性竞标长期数据存储合同。
分布式云存储的特点
分布式云存储方法就是由这些能力定义的,它通过一系列特征区别于其他云存储类型。主要有以下几点:
抵制审查
鉴于Filecoin上的分布式云存储使用内容寻址作为存储信息的基本层,网络可以绕过基于服务器的云存储存在的诸多风险。辖区或DDoS攻击可能能够检查存储在特定存储提供商中的数据,但它无法检查存储在整个网络中的其他存储提供商中并冗余分布的数据。
速度
相同的冗余分布式数据和内容寻址系统也加快了检索过程。当用户想要访问存储在网络上的数据时,信息是从存储在世界各地节点的多个副本中提取的,而不是从可能受到互联网流量瓶颈影响的中央服务器中提取的。
低数据存储成本
与其他云存储服务相比,分布式存储方案总是更便宜。这是因为Filecoin存储和检索市场本来就竞争激烈。在Filecoin区块链上,客户拥有一组多样化的独立存储提供商,他们可以进行符合其需求的存储交易。这些事务的执行始终受到网络本身逻辑的保护,没有集中式提供者任意决策的风险,同时也避免了云存储的过高成本。
隐私和安全
与集中式云存储服务不同,Filecoin上存储的加密数据的密钥从未被第三方持有或披露。由于P2P和密码学的应用,Filecoin确保只有选择在网络上存储数据的用户才能访问和解密他们的信息,这对于数据备份和敏感数据非常重要。
数据完整性
此外,应用加密原理的相同能力意味着客户数据的副本总是与原始数据相同。基于对哈希值的验证,系统可以检测出数据之间哪怕是最小的差异。Filecoin确保存储在网络上的数据的哈希值始终与客户上传到云存储空间的原始版本相匹配。
不需要信任
Filecoin分布式架构的另一个优点是,它不需要任何参与者信任其他参与者才能正常运行。网络本身负责确保存储事务根据指定的条件执行,并且信息始终可用。这消除了由于需要信任第三方存储而带来的交易对手风险,甚至消除了一些公司政策所暗示的缺乏数据所有权的情况。
源代码开放的
IPFS和Filecoin自始至终都是作为开源解决方案而构建的。这是因为他们的开发一直采用基于社区的方式,可以产生更灵活、更强大的代码。分布式云存储解决方案旨在轻松集成到其他技术堆栈中,并与不断增长的分布式网络的其余部分集成。更重要的是,它们被设计成由任何感兴趣的人来审计,这增加了分布式云存储不需要信任的特性。
可编程序性
最后,Filecoin正在将可编程性和数据计算能力引入其分布式云存储网络。这是一个重大的改进,它将网络的用例扩展到云存储的范围之外,并引入分布式替代方案来取代集中式企业提供的类似云计算功能。有关更多信息,请访问Filecoin虚拟机(https://fvm.filecoin.io/FVM)的网站。
关于Filecoin和分布式云存储的最后思考
回到原问题“云存储是什么?”这个问题很快就会用一种分布式的方法来解决,而不是目前大部分互联网用户所熟悉的基于HTTP服务器的云存储模式。
分布式云存储是云存储服务发展的下一步。随着互联网朝着分布式、开源开发和基于协议的解决方案的发展,将相同的原理应用于数据存储基础设施并非遥不可及。
了解分布式云存储方法,以及如何将其应用于常见网络应用和web3应用中的数据存储和检索,将成为未来产品开发的必要条件。
尤其是Filecoin,它响应了当前数据存储市场对数据的私密性、成本、可编程性和计算性的需求。因为网络具有基于IPFS的内容寻址增加数据持久性的能力,通过存储提供商的激励网络和存储证明的共识算法,这一切都将成为可能。