铜仁市论坛

首页 » 分类 » 分类 » 对象存储,数据爆炸时代的存储架构趋势
TUhjnbcbe - 2021/7/5 1:56:00
刘文斌现在哪里就诊 https://m-mip.39.net/baidianfeng/mipso_8505691.html

之前我们探讨过数据和存储的重要性,这是ABC+IoT等新技术的核心之一,也是百度智能云重点发力的产品和解决方案。从当前数据的增长来看,IDC预测,到年人类产生的数据量将达到ZB;其次,从数据种类来看,照片、视频、音频……每天产生的数据中超过80%是非结构化数据。

由此,数据存储尤为重要,对象存储便是其中的一种。当前,对象存储已经成为应用最普遍的存储技术,甚至可以说没有之一。

对象存储是什么,有什么原理?和文件存储、块存储最大的区别是什么?有什么优势?适用于哪些场景?本文做一个全面梳理。

什么是对象存储?

对象存储,也叫基于对象的存储,是用来描述解决和处理离散单元的方法的通用术语,这些离散单元被称作对象。

这么说可能太抽象,从两个维度来解释。

1.与其他存储方式对比

相同点:顾名思义,对象存储,对象就是要存储的数据,和文件存储、块存储中的文件、块是一个意思。

不同点:存储方式,以文件存储为例,它有很多层级,最熟悉的是大家都用过的Windows系统,要找一个文件,可能需要打开多个层级的文件夹,块存储也类似,对象存储则不然,就两层,很像今天很多互联网企业倡导的扁平化管理方式。

对象存储最重要的一个概念是“桶”,对象就装在桶里面。每个桶会有一个ID,就像我们的身份证号一样,每个对象也有一个ID,所有要寻找某一个对象,只需要知道两个ID即可。其中所有对象都是平级,没有层级的概念,所有桶也都是平级。

2.去楼下代客停车就懂了

业内通常将对象存储比作高级餐厅、高级酒店的代客停车。当顾客需要代客停车时,把钥匙交给服务生,换来一张收据。这个顾客不用知道他的车被停在哪,也不用知道在他用餐时服务员会把他的车移动多少次。

在这个比喻中,车就是对象,酒店或者餐厅就是桶。假如你当天喝多了没开车走,第二天去取车,只需去收据上的酒店把收据给服务生就行,他会帮你开出来,不用关心车究竟停在哪个位置。

所以通俗理解对象存储,它是一种更适合当下时代的一种存储方式,数据量大、数据类型复杂意味着需要存的更方便、存的容量更大、存的更多元,这些都是对象存储的独有的特性。

具有三大优势

如前文所述,对象存储以对象ID为基础,扁平化管理所有对象和桶,根据对象ID便可直接访问数据,解决了很多文件存储和块存储难以解决的问题。

总结起来,对象存储有三大特性:

1、优秀的扩展性:扁平化的数据结构允许对象存储容量从TB级扩展到EB级,管理数十个到百亿个存储对象,支持从数字节(Byte)到数万亿字节(TB)范围内的任意大小对象,解决了文件存储系统复杂iNode机制带来的扩展性瓶颈,并使得对象存储无需像块存储(SAN)那样管理数量庞大的逻辑单元号(LUN)。

2、基于策略的自动化管理:对象存储支持从应用角度基于业务需求设置对象/容器的属性(元数据)策略,如数据保护级别、保留期限、合规状况、远程复制的份数等。这对于当下正广泛普及的云服务来说,使客户能在数据快速增长的同时,避免运维成本飙升。

3、多租户技术:多租户特性可以使用同一种架构,同一套系统为不同用户和应用提供存储服务,并分别为这些用户和应用设置数据保护、数据存储策略,并确保这些数据之间相互隔离。

四个部分构成完整系统

对象存储是一种方式,要应用起来需要完整的一套系统,也就是对象存储系统。对象存储系统由对象、对象存储设备、元数据服务器、对象存储系统的客户端四部分组成。

1、对象(Object)对象(Object)是系统中数据存储的基本单位,一个对象实际上就是文件的数据和一组属性信息(MetaData)的组合,每个对象是数据和数据属性集的综合体,数据属性可以根据应用的需求进行设置,包括数据分布、服务质量等。

2、对象存储设备(ObjectStorageDevice)每个存储单元都是一套完整的系统,具有自己的存储介质、处理器、内存以及网络系统等,负责管理本地的Object,是对象存储系统的核心。

主要提供以下三个主要功能。

数据存储。管理对象数据,并将它们放置在标准的磁盘系统上,存储单元不提供块接口访问方式,Client请求数据时用对象ID、偏移进行数据读写。

智能分布。存储单元用其自身的CPU和内存优化数据分布,并支持数据的预取。由于存储单元可以智能地支持对象的预取,从而可以优化磁盘的性能。

每个对象元数据的管理。存储单元管理存储在其上对象的元数据,该元数据与传统的inode元数据相似,通常包括对象的数据块和对象的长度。而在传统的NAS系统中,这些元数据是由文件服务器维护的,对象存储架构将系统中主要的元数据管理工作由存储单元来完成,降低了Client的开销。

3、元数据服务器(MetadataServer)元数据服务器控制Client与OSD对象的交互,为客户端提供元数据,主要是文件的逻辑视图,包括文件与目录的组织关系、每个文件所对应的存储单元等。

4、对象存储系统的客户端(Client),也就是最终用户端。

整个对象存储系统的文件访问流程如下:

客户端应用发出读请求;

文件系统向元数据服务器发送请求,获取要读取的数据所在的存储单元;

然后直接向每个存储单元发送数据读取请求;

存储单元得到请求以后,判断要读取的Object,并根据此Object要求的认证方式,对客户端进行认证,如果此客户端得到授权,则将Object的数据返回给客户端;

文件系统收到存储单元返回的数据以后,读操作完成。

典型应用场景应对云时代

基于对象存储的特性,包括支持存储的数据类型多、对单个文件大小的限制少,扩展方面等,对一些数据量增长很快、数据类型复杂的应用场景非常适用。

应用场景一图片存储问题。

如果网站有大量的图片,如果都存储在本地,需要大量的磁盘空间,虽然现在磁盘空间的价格已经很低,但是用户访问却需要大量的宽带,如果把所有的图片都存储在云存储里,每年主机成本的降低会非常可观。

应用场景二视频存储问题。

如果有大量的视频,虽然可以选择把视频存储在专门的视频网站,比如爱奇艺等。但问题是,所有的视频都会被视频网站加上播放前的贴片广告,这样其实非常不友好,而如果放网站上,会出现磁盘和宽带不足的情况,这时上传到云存储,就是不错的选择。

应用场景三电商、互联网金融、在线教育等行业的Web和移动应用。

有传统数据库,同时有大量的图片、视频、文件等需要存储,此时用对象存储是更好的选择。

应用场景四企业网盘,后端就是对象存储。

企业遍布各地的各个部门文档都在用企业网盘,分享和管理文件,企业网盘可以非常容易地分享给特定的个人,群组或部门。企业网盘是单独的市场,与个人网盘有很大区别,企业对访问权限认证的管理更细致,数据管理要求更高。

记住这两个关键词:数据量大、数据类型复杂,用对象存储就没错。

小结

总结全文,数据还在不断的爆炸式增长,对象存储作为大数据时代的事实存储标准,应用只会越来越广泛。

百度智能云对象存储产品BOS,提供稳定、安全、高效、高可扩展的云存储服务。您可以将任意数量和形式的非结构化数据存入BOS,并对数据进行管理和处理。BOS支持标准、低频、冷和归档存储等多种存储类型,满足多场景的存储需求。

未来,百度智能云还将继续为客户提供更强大的对象存储产品。

了解更多百度智能云BOS产品信息,

1
查看完整版本: 对象存储,数据爆炸时代的存储架构趋势