用户注册



邮箱:

密码:

用户登录


邮箱:

密码:
记住登录一个月忘记密码?

发表随想


还能输入:200字

公园    -  云代码空间

——

FastDFS分布式文件系统

2017-11-08|885阅||

摘要:FastDFS分布式文件系统

摘要: FastDFS简介 •FastDFS是一个轻量级的开源分布式文件系统

•FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡

•FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储 •支持存储服务器在线扩容

•支持相同内容的文件只保存一份,节约磁盘空间 •FastDFS只能通过ClientAPI访问,不支持POSIX访问方式

•FastDFS特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等)

FastDFS简介

•FastDFS是一个轻量级的开源分布式文件系统

•FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡

•FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储

•支持存储服务器在线扩容

•支持相同内容的文件只保存一份,节约磁盘空间

•FastDFS只能通过ClientAPI访问,不支持POSIX访问方式

•FastDFS特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等)

系统架构-架构图

系统架构-上传文件流程图

• 1. client询问tracker上传到的storage,不需要附加参数;

• 2. tracker返回一台可用的storage;

• 3. client直接和storage通讯完成文件上传。

系统架构-下载文件流程图

• 1. client询问tracker下载文件的storage,参数为文件标识(组名和文件名);

• 2. tracker返回一台可用的storage;

• 3. client直接和storage通讯完成文件下载。

相关术语

• Tracker Server:跟踪服务器,主要做调度工作,在访问上起负载均衡的作用。记录storage server的状态,是连接Client和Storageserver的枢纽。

• Storage Server:存储服务器,文件和meta data都保存到存储服务器上

• group:组,也可称为卷。同组内服务器上的文件是完全相同的

• 文件标识:包括两部分:组名和文件名(包含路径)

• meta data:文件相关属性,键值对(Key Value Pair)方式,如:width=1024,heigth=768

同步机制

•同一组内的storageserver之间是对等的,文件上传、删除等操作可以在任意一台storage server上进行;

•文件同步只在同组内的storage server之间进行,采用push方式,即源服务器同步给目标服务器;

•源头数据才需要同步,备份数据不需要再次同步,否则就构成环路了;

•上述第二条规则有个例外,就是新增加一台storage server时,由已有的一台storageserver将已有的所有数据(包括源头数据和备份数据)同步给该新增服务器。

通信协议

• 协议包由两部分组成:header和body

• header共10字节,格式如下:

– 8 bytes body length

– 1 byte command

– 1 byte status

• body数据包格式由取决于具体的命令,body可以为空

运行时目录结构-tracker server

•  ${base_path}

|__data

|     |__storage_groups.dat:存储分组信息

|    |__storage_servers.dat:存储服务器列表

|__logs

|__trackerd.log:trackerserver日志文件

运行时目录结构-storage server

•  ${base_path}

|__data

|     |__.data_init_flag:当前storageserver初始化信息

|    |__storage_stat.dat:当前storage server统计信息

|    |__sync:存放数据同步相关文件

|    |     |__binlog.index:当前的binlog文件索引号

|    |     |__binlog.###:存放更新操作记录(日志)

|    |     |__${ip_addr}_${port}.mark:存放同步的完成情况

|    |

|     |__一级目录:256个存放数据文件的目录,如:00, 1F

|           |__二级目录:256个存放数据文件的目录

|__logs

|__storaged.log:storageserver日志文件

安装和运行

•#step 1. download FastDFS source package and unpack it,

•# if you use HTTP to download file, please downloadlibevent 1.4.x and install it

•tar xzf FastDFS_v1.x.tar.gz

•#for example:

•tar xzf FastDFS_v1.20.tar.gz

•#step 2. enter the FastDFS dir

•cd FastDFS

•#step 3. if HTTP supported, modify make.sh, uncommentthe line:

•# WITH_HTTPD=1, then execute:

•./make.sh

•#step 4. make install

•./make.sh install

•#step 5. edit/modify the config file of tracker andstorage

•#step 6. run server programs

•#start the tracker server:

•/usr/local/bin/fdfs_trackerd

•#start the storage server:

•/usr/local/bin/fdfs_storaged

FastDFS和集中存储方式对比

FastDFS分布式文件系统

• FastDFS中文:http://www.csource.org/

• FastDFS英文:http://code.google.com/p/fastdfs/

官网资料,分享给大家学习

愿意了解框架技术或者源码的朋友直接加求求(企鹅):2042849237

更多详细源码参考来源:http://minglisoft.cn/technology

顶 0踩 0收藏
文章评论
    发表评论

    个人资料

    • 昵称: 公园
    • 等级: 初级设计师
    • 积分: 2760
    • 代码: 0 个
    • 文章: 89 篇
    • 随想: 0 条
    • 访问: 10 次
    • 关注

    人气代码

      标签

      MVC(9)教程(4)Spring(5)Redis分布式缓存(1)spring,spr(1)mvc,web开发,(1)spring,spr(1)mvc,web开发,(1)Zookeeper集(1)restful,(2)kafka,(2)shiro,Spri(1)MVC,mybati(1)跟我学习dubbo,(1)J2ee分布式架构,(1)shiro(1)跟我学习dubbo-(1)跟我学习dubbo-(1)spring+spr(1)Spring4+Sp(1)DUBBO与ZOOK(1)【分享】微服务分布式(1)Springmvc+(1)JEESZ(1)RestFul服务介(1)J2EE分布式架构(3)dubbo+spri(1)基于redis分布式(1)SSM框架Sprin(1)分布式缓存Redis(1)Centos下单节点(1)JEESZ分布式框架(1)JEESZ分布式框架(1)分布式架构sprin(1)+mybatis(8)+shiro+(3)Activiti(3)分布式服务:spri(1)+(11)Dubbo+Zook(1)JEESZ-kafk(1)JEESZ-Zook(1)FastDFS安装、(1)FastDFS分布式(1)分布式服务:spri(1)Dubbo+Zook(1)分布式架构sprin(1)FastDFS分布式(1)FastDFS安装、(1)Maven启用代理访(1)如何从Maven远程(1)Maven安装配置(1)Maven本地资源库(1)使用Maven创建J(1)使用Maven创建W(1)Maven(2)POM(1)构建生命周期(1)SSM框架——详细整(1)JavaEE的13种(1)使用Maven构建和(1)Maven存储库(1)(一)构建dubbo(1)(二)构建dubbo(1)(三)构建dubbo(1)分布式框架简介SSM(1)springmvc+(1)Maven快照(1)Maven项目模板(1)Maven构建自动化(1)dubbo(4)springmvc(4)mybatis(2)java企业架构(1)SSM框架——Spr(1)分布式服务:spri(1)Dubbo+Zook(1)分布式服务:spri(1)Dubbo+Zook(1)springmvc+(1)分布式架构sprin(1)mvc配置(2)dbcp数据源+jd(1)详细介绍(1)(十三)(1)(十四)(1)(十五)(1)MVC原理(1)入门示例讲解(1)(十六)(1)(十七)(1)Springmvc+(1)j2ee分布式架构核(1)【分享】微服务分布式(1)Springmvc+(1)dbcp数据源+jd(1)DUBBO+SPRI(1)JEESZ分布式系统(1)构建dubbo分布式(1)构建springmv(1)构建dubbo分布式(1)构建dubbo分布式(1)构建springmv(1)构建dubbo分布式(1)构建dubbo分布式(1)构建dubbo分布式(1)Springmvc+(1)构建springmv(1)构建springmv(1)构建dubbo分布式(1)构建dubbo分布式(1)跟我学习dubbo-(1)构建dubbo分布式(1)构建dubbo分布式(1)【企业级框架整合】S(1)构建dubbo分布式(1)【推荐】微服务大型分(1)springmvc整(1)【分享】微服务分布式(1)Springmvc+(1)SpringBoot(4)企业级(4)(十七)上传文件(1)(十四)在sprin(1)(十五)Spring(1)(十六)用restT(1)

      站长推荐