肉末茄子,超详尽的fastdfs和别的文件系统差别介紹,优酷会员账号共享

一、概述

一般一般存储计划有:Rsync、DAS(IDE/SATA/SA肉末茄子,超翔实的fastdfs和其他文件体系差别介紹,优酷会员账号同享S/SCSI等块)、NAS(NFS、CIFS、SAMBA等文件体系)、SAN(FibreChannel, iSCSI, FoE存储网络块),Openfiler、FreeNas(ZFS快照仿制)。因为出产环境中往往对存储数据量很大,而SAN存储价格又比较贵重,因而大多会挑选分布式存储来处理以下问题:

海量数据存储问题
数据高可用问题(冗余备份)问题
较高的读写功用驾考宝典科目一和负载均衡问题
支撑多渠道多语言问题
高并发问题

存储计划差异


常用的分布式文件体系

常见的分布式文件体系有FastDFS,GFS、HDFS、Ceph 、GridFS 、mogileFS、TFS等。各自适用于不同的范畴。它们都不是体系级的分布式文件体系,而是运用级的分布式文件存储效劳。

1、FastDFS介绍

前面现已独自一篇介绍过这块了,所以这儿就不做介绍了。

2、GFS(Google File System)

Google公司为了满意本公司需求而开发的根据Linux的专有分布式文件体系。。虽然Google发布了该体系的一些技术细节,但Google并没有将该体系的软件部分作为开源软件发布。

GFS 架构

3、HDFS(Hadoop Distributed File System)

Hadoop 完成了一个分布式文件体系,首要用于大数据核算存储,成考简称HDFS。 Hadozhiop是Apache Lucene创始人Dou肉末茄子,超翔实的fastdfs和其他文件体系差别介紹,优酷会员账号同享g Cutting开发的运用广泛的文本查找库枭。它起源于Apache Nutch肉末茄子,超翔实的fastdfs和其他文件体系差别介紹,优酷会员账号同享,后者是一个开源的网络查找引擎,自身也是Luene项目的新西兰元对人民币汇率一部分。

Aapche Hadoop架构是MapReduce算法的一种开源运用,是Google创始其帝国的重要柱石。

4、Ceph

是加州大学圣克鲁兹分校的Sage 妖少you1weil攻读博士时开发的分布式文件体系。Ceph能够在保护 POSIX 兼容性的一起加入了仿制和容错功用。Sage weil并运用Ceph完成了他的论文。说陆子艺 ceph 功用最高,C++编写的代码,支撑Fuse,而且没有单点故障依靠。

因为 ceph 运用 btrfs 文件体系, 而btrfs 文件体系需求 Linux 2.6.34 以上的内核才支撑。

5、GridFS文件体系

MongoDB是一种闻名的NoSql数据库,GridFS是MongoDB的一个内置功用,它供给一组文件操作的API以运用Mongo柯文哲DB存储文件,GridFS的睾丸癌基本原理是将文立刻件保存在两个Collection中,一个保存文件索引,一个保存文件内容,文件内容按必定巨细分红若干块,每一块存在一个Document中,这种办法不只供给了文件存储,还供给了对文件相关的一些附加特点(比方MD5值,文件名等等)的存储。文件在GridFS中会按4MB为单位进行分块存储。

6、MogileFS

由memcahed的开发公司danga一款perl开发的产品,现在国内运用mog肉末茄子,超翔实的fastdfs和其他文件体系差别介紹,优酷会员账号同享ielFS的有图片保管网站yupoo等。

MogileFS是一套高效的文件主动备份组件,由Six Apart开发arashramni,广泛运用在包含LiveJournal等web2.0站点上。

MogileFS由3个部分组成:

第1个部分是server端,包含mogilefsd和mogstored两个程序。前者便是 mogilefsd的tracker,它将一些大局信息保存在数据库里,例如站点domain,class,host等。后者便是存储节点(store node),它其实是个HTTP Daemon,默许侦听在7500端口,承受客户端的文件备份恳求。在安装完后,要运转mogadm东西将一切的store node注册到mogilefsd的数据库里,mogilefsd会对这些节点进行办理和监控。

第2个部分是utils(东西集),首要是MogileFS的remove一些办理东西,例如mogadm等。

第3个部分是客户端API,现在只要Perl API(Mo肉末茄子,超翔实的fastdfs和其他文件体系差别介紹,优酷会员账号同享gileFS.pm)、PHP,用这个模块能够编写客户端程序,完成文件的备份办理功用。

7、TFS

ThurtFS(Tao小巧bao !FileSystem)是广播体操第九套一个高可扩展、高可用、高功用、面向互联网效劳的分布式文件体系,首要针对海量的非结构化数据,它构筑在一般的Linux机器 集群上,可为外部供给高牢靠和高并发的存储拜访。TFS为淘宝供给海量小文件存储,一般文件巨细不超越1M,满意了淘宝对小文件存储的需求,被广泛地运用 在淘尤莉安宝各项运用中。它采用了HA架构平和亥页滑扩容,确保了整个文件体系的可用性和扩展性。一起扁平化的数据安排结构,可将文件名映射到姐妹文件的物理地址,简化 了文件的拜访流程,必定程度上为TFS供给了杰出的读写功用。


篇幅有限,关于各类文件体系存储方肉末茄子,超翔实的fastdfs和其他文件体系差别介紹,优酷会员账号同享案简略介绍到这,其顶用的最多的仍是fast电视剧下载dfs和HDFS,我们能够自己建立研究一下,后边小编会同享更多devops和DBA方面的内容,感兴趣的朋肉末茄子,超翔实的fastdfs和其他文件体系差别介紹,优酷会员账号同享友走一波重视哩~

评论(0)