高可用FastDFS多Group多Storage多Tracker主备结合SpringBoot

岁月如歌 2019-10-27

FastDFS前奏

在开始之前，这篇文章并不是初级入门的文章，在该文章发布之前已经有两篇文章讲述了FastDFS和SpringBoot相关的知识，请参阅：

如果需要在FastDFS中实现HTTPS功能，请参阅：

在下图中，任何一个节点都支持水平横向无限扩展。当在某一个Group中添加新的Storage服务器的时候，新加入该Group的服务器会自动同步所有数据。当新添加Group的时候，只需要修改处于前端的Nginx服务器即可。

  • FastDFS服务器通过HTTP提供服务，但是HTTP的性能太弱，所以在V4.05之后的版本中删除了内置的HTTP服务。
  • FastDFS的Group之间的Storage需要复制数据，如果请求的数据正在复制，由于不是源服务器，那么fastdfs-nginx-module将进行重定向源服务器。
  • fastdfs-nginx-module支持配置多个组，一个服务器可以配置多个Group不同的Storage。同一个Group的Storage必须端口相同。
  • Nginx会为FastDFS提供负载均衡和数据缓存的功能。
  • FastDFS集群的总容量等于全部Group容量之和。一个Group的容量等于最小的Storage服务器容量。
  • 组一般用于隔离不同的数据。

FastDFS分布式文件集群HA架构图

高可用FastDFS多Group多Storage多Tracker主备结合SpringBoot

集群中具体机器配置

安装软件机器主机名应用IP地址管理IP地址
fastdfs+fastdfs-nginx-modulefastdfs-storage1-group1192.168.80.11192.168.10.11
fastdfs+fastdfs-nginx-modulefastdfs-storage2-group1192.168.80.12192.168.10.12
fastdfs+fastdfs-nginx-modulefastdfs-storage3-group1192.168.80.13192.168.10.13
fastdfs+fastdfs-nginx-modulefastdfs-storage4-group2192.168.80.14192.168.10.14
fastdfs+fastdfs-nginx-modulefastdfs-storage5-group2192.168.80.15192.168.10.15
fastdfs+fastdfs-nginx-modulefastdfs-storage6-group2192.168.80.16192.168.10.16
fastdfs+fastdfs-nginx-modulefastdfs-storage7-group3192.168.80.17192.168.10.17
fastdfs+fastdfs-nginx-modulefastdfs-storage8-group3192.168.80.18192.168.10.18
fastdfs+fastdfs-nginx-modulefastdfs-storage9-group3192.168.80.19192.168.10.19
fastdfs+fastdfs-nginx-modulefastdfs-storage10-group1-new192.168.80.20192.168.10.20
fastdfsfastdfs-tracker1192.168.80.21192.168.10.21
fastdfsfastdfs-tracker2192.168.80.22192.168.10.22
fastdfsfastdfs-tracker3192.168.80.23192.168.10.23
nginxfastdfs-nginx0192.168.80.50192.168.10.50
nginxfastdfs-nginx1192.168.80.51192.168.10.51

（1）在所有服务器上部署FastDFS服务

yum update
mkdir /source
cd /source
yum install -y gcc gcc-c++ make cmake wget libevent
wget https://github.com/happyfish100/libfastcommon/archive/V1.0.35.tar.gz
wget https://github.com/happyfish100/fastdfs/archive/V5.10.tar.gz
tar -zxvf V1.0.35.tar.gz
tar -zxvf V5.10.tar.gz
cd libfastcommon-1.0.35
./make.sh
./make.sh install
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
cd ../
cd fastdfs-5.10/
./make.sh
./make.sh install
cd ../
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
mkdir -p /data/fdfs/tracker
mkdir -p /data/fdfs/storage
mkdir -p /data/fdfs/client
mkdir -p /data/fdfs/disks/volume0
mkdir -p /data/fdfs/disks/volume1
mkdir -p /data/fdfs/disks/volume2
mkdir -p /data/fdfs/disks/volume3
mkdir -p /data/fdfs/disks/volume4
mkdir -p /data/fdfs/disks/volume5

（2）为Storage部署fastdfs-nginx-module

部署步骤

# 添加用户
useradd nginx -s /sbin/nologin -M

# 安装Nginx需要的pcre（Perl兼容正则表达式）库，允许Nginx使用rewrite模块提供URL重写功能。
yum install pcre pcre-devel perl-ExtUtils-Embed -y

# 安装openssl-devel，允许Nginx提供HTTPS服务。
yum install openssl-devel -y

# 下载软件包
cd /source
wget http://nginx.org/download/nginx-1.16.1.tar.gz
wget http://nchc.dl.sourceforge.net/project/fastdfs/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz

# 解压软件包
tar xvf fastdfs-nginx-module_v1.16.tar.gz
tar -xvf nginx-1.16.1.tar.gz

# 创建必要的软连接
ln -s /usr/include/fastdfs/ /usr/local/include/fastdfs
ln -s /usr/include/fastcommon/ /usr/local/include/fastcommon
cp fastdfs-5.10/conf/http.conf /etc/fdfs/
cp fastdfs-5.10/conf/mime.types /etc/fdfs/
cp fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
mkdir -p /data/fdfs/fastdfs-nginx-module

# 编译安装
cd nginx-1.16.1
./configure --user=nginx --group=nginx --prefix=/application/nginx-1.16.1 --with-http_ssl_module --with-http_gzip_static_module --with-poll_module --with-file-aio --with-http_realip_module --with-http_addition_module --with-http_random_index_module --with-pcre --with-http_stub_status_module --with-stream --add-module=/source/fastdfs-nginx-module/src/
make
make install
ln -s /application/nginx-1.16.1/ /application/nginx

# 修改权限并创建systemd控制单元
chown -R nginx:nginx /application/nginx*
touch /usr/lib/systemd/system/nginx.service

Nginx配置文件

user  nginx;
worker_processes  8;

error_log  logs/error.log;

pid        logs/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    log_format  main  ‘$remote_addr - $remote_user [$time_local] "$request" ‘
                      ‘$status $body_bytes_sent "$http_referer" ‘
                      ‘"$http_user_agent" "$http_x_forwarded_for"‘;

    sendfile        on;

    keepalive_timeout  65;

    gzip  on;

    server {
        listen       80;

        # 配置为主机域名
        server_name  fastdfs-storage1-group1;

        access_log  logs/host.access.log  main;

        location ~/group[0-9] {
            ngx_fastdfs_module;
        }
    }
}

配置mod_fastdfs.conf文件

base_path=/data/fdfs/fastdfs-nginx-module
tracker_server=192.168.80.21:22122
tracker_server=192.168.80.22:22122
tracker_server=192.168.80.23:22122

# 配置所属组的名称
group_name=group1

url_have_group_name = true
store_path_count=6
store_path0=/data/fdfs/disks/volume0
store_path1=/data/fdfs/disks/volume1
store_path2=/data/fdfs/disks/volume2
store_path3=/data/fdfs/disks/volume3
store_path4=/data/fdfs/disks/volume4
store_path5=/data/fdfs/disks/volume5

Nginx SystemD单元脚本

[Unit]
Description=nginx
Documentation=http://nginx.org/en/docs/
After=network.target

[Service]
Type=forking
PIDFile=/application/nginx/logs/nginx.pid
ExecStartPre=/application/nginx/sbin/nginx -t -c /application/nginx/conf/nginx.conf
ExecStart=/application/nginx/sbin/nginx -c /application/nginx/conf/nginx.conf
ExecReload=/application/nginx/sbin/nginx -s reload
ExecStop=/application/nginx/sbin/nginx -s stop
Restart=on-abort
PrivateTmp=true

[Install]
WantedBy=multi-user.target

（3）配置Tracker服务器集群

# 配置tracker的IP地址或者主机域名，前提要进行配置静态hosts解析或者配置DNS
bind_addr=192.168.80.21

# tracker的数据和日志存储目录
base_path=/data/fdfs/tracker

（4）配置Storage服务器集群

# 配置该Storage服务属于哪一个Group
group_name=group1

# 配置绑定的IP地址或者主机域名
bind_addr=192.168.80.12

# 配置日志存储目录
base_path=/data/fdfs/storage

# 配置数据存储目录的个数
store_path_count=6

# 配置数据存储目录
store_path0=/data/fdfs/disks/volume0
store_path1=/data/fdfs/disks/volume1
store_path2=/data/fdfs/disks/volume2
store_path3=/data/fdfs/disks/volume3
store_path4=/data/fdfs/disks/volume4
store_path5=/data/fdfs/disks/volume5

# 配置跟踪服务器的IP地址或者主机域名
tracker_server=192.168.80.21:22122
tracker_server=192.168.80.22:22122
tracker_server=192.168.80.23:22122

在全部主机上执行启动服务并设置为开机自启动

（5）在NGINX节点上配置NGINX进行负载均衡

NGINX配置文件

user  nginx;
worker_processes  8;

error_log  logs/error.log;

pid        logs/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    log_format  main  ‘$remote_addr - $remote_user [$time_local] "$request" ‘
                      ‘$status $body_bytes_sent "$http_referer" ‘
                      ‘"$http_user_agent" "$http_x_forwarded_for"‘;

    sendfile        on;

    keepalive_timeout  65;

    gzip  on;

    # Group1的Storage节点
    upstream g1_pool {
        server 192.168.80.11 weight=1;
        server 192.168.80.12 weight=1;
        server 192.168.80.13 weight=1;
    }

    # Group2的Storage节点
    upstream g2_pool {
        server 192.168.80.14 weight=1;
        server 192.168.80.15 weight=1;
        server 192.168.80.16 weight=1;
    }

    # Group3的Storage节点
    upstream g3_pool {
        server 192.168.80.17 weight=1;
        server 192.168.80.18 weight=1;
        server 192.168.80.19 weight=1;
    }

    server {
        listen       80;
        server_name  localhost;
        access_log  logs/host.access.log  main;

        location ~/group1 {
            proxy_pass http://g1_pool;
        }

        location ~/group2 {
            proxy_pass http://g2_pool;
        }

        location ~/group3 {
            proxy_pass http://g3_pool;
        }

    }
}

启动所有服务

systemctl daemon-reload
systemctl start nginx
systemctl enable nginx

# 如果是跟踪服务器执行这两行
systemctl restart fdfs_trackerd
systemctl enable fdfs_trackerd

# 如果是存储服务器执行这两行
systemctl restart fdfs_storaged
systemctl enable fdfs_storaged

（6）使用FastDFS自带的Client上传图片进行测试

在任意一台服务器配置/etc/fdfs/client.conf

base_path=/data/fdfs/client
tracker_server=192.168.80.21:22122
tracker_server=192.168.80.22:22122
tracker_server=192.168.80.23:22122

在这台服务器进行上传文件测试

可以看到经过多次上传测试，多Group+多Tracker+多Storager生效了。

group2/M00/00/00/wKhQDl2y9aOAcngTACdpr-L7emo254.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group2/M00/00/00/wKhQD12y9aiARzwQACdpr-L7emo948.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group2/M00/00/00/wKhQEF2y9ayAZBcBACdpr-L7emo474.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M00/00/00/wKhQEV2y9a6Af_mrACdpr-L7emo390.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M00/00/00/wKhQEl2y9a-Ae1cWACdpr-L7emo570.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M00/00/00/wKhQE12y9bGAbWemACdpr-L7emo654.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M01/00/00/wKhQEV2y9bKADzEIACdpr-L7emo251.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M01/00/00/wKhQEl2y9bOAHT16ACdpr-L7emo211.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M01/00/00/wKhQE12y9bSAEwBUACdpr-L7emo190.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M02/00/00/wKhQEV2y9bWAc4CSACdpr-L7emo991.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M02/00/00/wKhQEl2y9baAJmqNACdpr-L7emo880.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M02/00/00/wKhQE12y9biAbE8IACdpr-L7emo426.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M03/00/00/wKhQEV2y9bmAGh5pACdpr-L7emo466.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M03/00/00/wKhQEl2y9bmATKQjACdpr-L7emo349.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M03/00/00/wKhQE12y9bmAXVOfACdpr-L7emo921.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M04/00/00/wKhQEV2y9bmAV9sqACdpr-L7emo420.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M04/00/00/wKhQEl2y9bqAOg2NACdpr-L7emo216.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M04/00/00/wKhQE12y9bqAcZKEACdpr-L7emo382.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M05/00/00/wKhQEV2y9bqAJVS9ACdpr-L7emo910.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M05/00/00/wKhQEl2y9buATzq2ACdpr-L7emo523.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M05/00/00/wKhQE12y9buALTHRACdpr-L7emo483.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M00/00/00/wKhQEV2y9buAJO-PACdpr-L7emo079.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M00/00/00/wKhQEl2y9buAP1NpACdpr-L7emo443.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
^[[Agroup3/M00/00/00/wKhQE12y9byAdfYxACdpr-L7emo025.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M01/00/00/wKhQEV2y9byAJB2OACdpr-L7emo747.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M01/00/00/wKhQEl2y9byAIye6ACdpr-L7emo456.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M01/00/00/wKhQE12y9byADddiACdpr-L7emo585.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
^[[Agroup3/M02/00/00/wKhQEV2y9b2AFuifACdpr-L7emo318.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M02/00/00/wKhQEl2y9b2AQ3prACdpr-L7emo501.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group3/M02/00/00/wKhQE12y9b2AbG-UACdpr-L7emo027.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group1/M00/00/00/wKhQC12y9b6AZ866ACdpr-L7emo376.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group1/M00/00/00/wKhQDF2y9b6ABGW6ACdpr-L7emo312.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group1/M00/00/00/wKhQDV2y9b6AFEd_ACdpr-L7emo639.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group1/M01/00/00/wKhQC12y9b-AU07YACdpr-L7emo467.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group1/M01/00/00/wKhQDF2y9b-ALDNrACdpr-L7emo209.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group1/M01/00/00/wKhQDV2y9b-AAsKGACdpr-L7emo483.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group1/M02/00/00/wKhQC12y9b-AfzkvACdpr-L7emo440.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group1/M02/00/00/wKhQDF2y9cCATq8TACdpr-L7emo504.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group1/M02/00/00/wKhQDV2y9cCAUPEnACdpr-L7emo555.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group1/M03/00/00/wKhQC12y9cCABjj9ACdpr-L7emo576.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png 
group1/M03/00/00/wKhQDF2y9cGAHNLqACdpr-L7emo735.png
[ source]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/girl.png

（7）集成到SpringBoot工程进行测试

在SpringBoot中使用FastDFS的时候需要集成fastdfs-spring-boot-starter：

克隆项目到本地

git clone https://github.com/bluemiaomiao/fastdfs-spring-boot-starter.git
cd fastdfs-spring-boot-starter

使用Maven编译打包并安装到本地

mvn clean install
mvn source:jar install
mvn javadoc:jar install

在POM文件中添加依赖

<dependency>
    <groupId>com.bluemiaomiao</groupId>
    <artifactId>fastdfs-spring-boot-starter</artifactId>
    <version>1.0-SNAPSHOT</version>
</dependency>

在主配置类上添加注解 (@EnableFastdfsClient)

@EnableFastdfsClient
@SpringBootApplication
public class DemoApplication {

    @Autowired
    private FastdfsClientService fastdfsClientService;

    public static void main(String[] args) {
        SpringApplication.run(DemoApplication.class, args);
    }
}

添加配置条目(application.properties)

fastdfs.nginx-servers=192.168.80.50:80,192.168.80.51:80
fastdfs.tracker-servers=192.168.80.21:22122,192.168.80.22:22122,192.168.80.23:22122
fastdfs.http-secret-key=2scPwMPctXhbLVOYB0jyuyQzytOofmFCBIYe65n56PPYVWrn

# 在本项目中没有使用Token功能
fastdfs.http-anti-steal-token=false

fastdfs.http-tracker-http-port=8080
fastdfs.network-timeout=30
fastdfs.connect-timeout=5
fastdfs.connection-pool-max-idle=18
fastdfs.connection-pool-min-idle=2
fastdfs.connection-pool-max-total=18
fastdfs.charset=UTF-8

或者添加配置条目(application.yml)

fastdfs:
  charset: UTF-8
  connect-timeout: 5
  http-secret-key: 2scPwMPctXhbLVOYB0jyuyQzytOofmFCBIYe65n56PPYVWrn
  network-timeout: 30
  http-anti-steal-token: false
  http-tracker-http-port: 8080
  connection-pool-max-idle: 20
  connection-pool-max-total: 20
  connection-pool-min-idle: 2
  nginx-servers: 192.168.80.50:80,192.168.80.51:80
  tracker-servers: 192.168.80.21:22122,192.168.80.22:22122,192.168.80.23:22122

测试主要代码

@RestController
@RequestMapping("/file")
public class FileController {

    @Autowired
    private FastdfsClientService fastdfsClientService;

    @PostMapping("/upload")
    public String[] upload(@RequestParam("file") MultipartFile file) {
        String[] remoteInfo = null;
        try {
            remoteInfo = fastdfsClientService.upload("group1", file.getBytes(), "png", null);
        } catch (Exception e) {
            e.printStackTrace();
        }

        return remoteInfo;
    }

    @GetMapping("/download")
    public String download(@RequestParam("group") String group, @RequestParam("file_id") String fileId) {
        String url = "";
        try {
            url = fastdfsClientService.autoDownloadWithoutToken(group, fileId, UUID.randomUUID().toString());
        } catch (Exception e) {
            e.printStackTrace();
        }

        return url;
    }
}
岁月如歌

岁月如歌

相关推荐

python3与fastdfs分布式文件系统交互

注意：client.conf是从fdfs服务器上复制到django代码机器上的文件，需要将里面的base_path路径修改成存放client.conf的路径

joynet00 / 0评论 2020-06-21

阿里云之轻量文件分布式服务器-fastDFS

普通服务器存储过程：直接丢进服务器的硬盘就可以。分布式服务器存储过：分为三部分，1是客户端，2是踪迹服务器，3文件服务器。踪迹服务器，负责记录文件服务器的状态信息，包括其硬盘信息等等。

zhangskd / 0评论 2020-06-21

FastDFS分布式存储

[ src]# yum install gettext gettext-devel libXft libXft-devel libXpm libXpm-devel autoconf libxtst-devel zlib-devel libpng-devel

loviezhang / 0评论 2020-05-30

01 . 分布式存储之FastDFS简介及部署

FastDFS 服务有三个角色:跟踪服务器、存储服务器和 客户端。group 中 storage 存储依赖本地文件系统, storage 可配置多个数据存储目录, 磁盘不做 raid, 直接分别挂载到多个目录,将这些目录配置为 storage 的数据目录即

wqbala / 0评论 2020-05-10

FastDFS+docker建立分布式文件系统

每个客户端服务器都需要安装Nginx

manongxiaomei / 0评论 2020-05-09

从零搭建分布式文件系统MinIO比FastDFS要更合适

前两天跟大家分享了一篇关于如何利用FastDFS组件来自建分布式文件系统的文章，有兴趣的朋友可以阅读下《用asp.net core结合fastdfs打造分布式文件存储系统》。通过留言发现大家虽然感兴趣，但是都觉得部署比较麻烦。的确，fastdfs的部署很繁

isHooky / 0评论 2020-05-05

分布式存储FastDFS

spring: servlet: multipart: max-file-size: 10MB max-request-size: 10MB

亦碎流年 / 0评论 2020-05-01

Docker 和 FastDFS 上传和下载文件

# 其中 delron 是仓库名.我们将 tracker 运行目录映射到宿主机的/var/fdfs/tracker目录中。在命令行运行这句话, 开启 tracker 容器.在 shell 环境中调用刚刚的代码, 然后得到result结果,我们可以打印查看:

tianlong / 0评论 2020-05-01

fastdfs虚拟机单机版搭建

http.server_port=8888 # http访问文件的端口。listen 8888; ## 该端口为storage.conf中的http.server_port相同。server_name 192.1168.138.52;

carolAnn / 0评论 2020-04-26

二、SpringBoot实现上传文件到fastDFS文件服务器

　　上篇文章介绍了如何使用docker安装fastDFS文件服务器，这一篇就介绍整合springBoot实现文件上传到fastDFS文件服务器。-- 连接fastdfs文件系统 -->

diediexiaomi / 0评论 2020-04-19

手把手教你docker搭建fastDFS文件上传下载服务器

　　在搭建fastDFS文件上传下载服务器之前，你需要准备的有一个可连接的linux服务器，并且该linux服务器上已经安装了docker,若还有没安装docker的，先百度自行安装docker。我们下载镜像一定要下载自己的或者官方的镜像。　　到此你已经成

liusaisoso / 0评论 2020-04-18

在阿里云安装fastdfs时遇到的坑

若访问图片提示404可以在nginx.conf里加上user root;

liwf / 0评论 2020-03-03

手把手教你用 FastDFS 构建分布式文件管理系统

说起分布式文件管理系统，大家可能很容易想到 HDFS、GFS 等系统，前者是 Hadoop 的一部分，后者则是 Google 提供的分布式文件管理系统。除了这些之外，国内淘宝和腾讯也有自己的分布式文件管理系统，都叫 TFS。相对于上面提到的这些分布式文件管

Cheetahcubs / 0评论 2020-03-01

Centos7.7部署fastdfs分布式文件系统

yum -y install make cmake gcc gcc-c++ git lrzsz wget automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-d

zhangll00 / 0评论 2020-02-12

016-docker-fastdfs

　　3.2、进行服务的配置。　　　　进入storage容器，到storage的配置文件中配置http访问的端口，配置文件在/etc/fdfs目录下的storage.conf. 　　group：组， 也可称为卷。同组内服务器上的文件是完全相同的 ，同一组内的

baixiaoshi / 0评论 2020-01-29

docker安装FastDFS

加载好镜像后，就可以开启运行FastDFS的tracker和storage了。我们将fastDFS tracker运行目录映射到本机的 /var/fdfs/tracker目录中。　　docker exec -it storage /bin/bash #通过

tianlong / 0评论 2020-01-29

分布式文件服务器FastDFS入门到实战

FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。Fa

我爱熊猫 / 0评论 2020-01-28

FastDFS、nginx配置手记

FastDFS是一款类GoogleFS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用。准确地讲，GoogleFS以及Fast

CSDNMrWang / 0评论 2013-06-27

分布式文件系统FastDFS

　　FastDFS是一个开源的轻量级分布式文件系统，由阿里巴巴余庆大神开发，底层采用C语言，它对文件进行管理，功能包括：文件存储、文件同步、文件访问等，解决了大容量存储和负载均衡的问题。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容

憧憬 / 0评论 2019-12-20

fastdfs下载文件自定义文件名称

root /fdfs/storage/data;add_header Content-Type application/x-download;add_header Content-Disposition "attachment;filename=

咻咻ing / 0评论 2019-12-21

CentOS单机安装FastDFS&amp;整合Nginx

FastDFS是C语言开发的应用。安装必须使用make、cmake和gcc编译器。libfastcommon是从FastDFS 和FastDHT 中提取出来的公共C函数库，　　进行解压libfastcommon-master.zip，命令：unzip li

xinlugang / 0评论 2019-12-21

07.Linux系统-Fastdfs分布式文件系统-互为主从配置搭建部署

yum install -y gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel unzip. 互为主从搭建只需在另一台机器上安装相同版本fastdfs即可安装完后可scp -

亦碎流年 / 0评论 2019-12-05

Linux CentOS7 下使用FastDFS的安装配置

1, rpm包安装的，可以用 rpm -qa 看到，如果要查找某软件包是否安装，用 rpm -qa | grep "软件或者包的名字"。2, yum方法安装的，可以用yum list installed查找，如果是查找指定包，命令后加

xushxbigbear微信 / 0评论 2019-12-02

nginx实现根据URL转发请求的实战经历

因为这久完成了一个分布式文件系统的内网外穿部署，使用fastdfs，该应用部署到8088端口，它的后台管理系统部署在8089端口，该后台管理系统的服务要请求fastdfs服务，可以直接请求，但是我们现在只外穿了后台管理系统，不通过公网分配的IP只能访问到后

fengxu / 0评论 2019-11-17

基于centos7系统部署FastDFS 分布式文件系统第二部分

概述续前面对fastdfs部署方面的内容，今天主要介绍一下nginx的部署方面，下面一起来看看吧~觉得有用的朋友多帮忙转发哦！后面会分享更多devops和DBA方面的内容，感兴趣的朋友可以关注下~

weiyawen / 0评论 2019-11-13

FastDFS整合nginx(三)

drwxr-xr-x 9 es es 186 10月 4 21:41 nginx-1.12.2. -rw-r--r-- 1 root root 981687 10月 4 20:30 nginx-1.12.2.tar.gz.

Neptune / 0评论 2019-11-11

一文看懂分布式文件系统FastDFS之磁盘恢复过程

概述今天主要介绍一下fastdfs磁盘恢复的过程，大家一起来看看吧~FastDFS原生支持该过程，可以自动检测，并完成。FastDFS-Storaged程序在启动时会检查每个Store_path目录下的子目录个数，默认情况下，每个Store_path下面会

lovejk / 0评论 2019-11-10

centOS 6.5 Nginx集成fastDFS模块

进入Nginx目录配置模块，我用的是相对路径，也可以改成绝对路径。

Caleb0 / 0评论 2016-11-22

fastdfs 连接connect timeout异常处理

做图片上传时，总是报这个错误，一开始以为自己程序问题，没有设置好连接时间，最近网上搜一下，才发现是storage server的端口没有全部开放，因为上传的时候不是都报这个异常，有成功的，成功率并不高，这样我才开始怀疑这些端口的开放，查看四个storage

郑帅 / 0评论 2017-12-18

FastDFS集群-安装说明

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问等，解决了大容量存储和负载均衡的问题。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用Fa

OwenJi / 0评论 2019-10-29

FastDFS安装指南

FastDFS是C语言开发，建议在linux上运行，本教程使用Centos7.4作为安装环境。1.3.7 注意：libfastcommon安装好后会自动将库文件拷贝至/usr/lib64下，由于FastDFS程序引用usr/lib目录所以需要将/usr/l

Walter的学习笔记 / 0评论 2019-10-27

Docker来搭建分布式文件系统FastDFS

对于文件存储来说，一般情况下简单的处理就是在Django配置文件中配置存储目录，按照规则对文件进行上传或者下载。实际上，当文件较少的时候，Django是可以应付的过来的。但当文件以海量形式出现的时候，Django就并不是那么好用了，于是FastDFS应运而

MichaelHsu / 0评论 2019-06-03

关于分布式文件服务器FastDFS

FastDFS是阿里用C 语言编写的一款开源的分布式文件系统。客户端请求 Tracker server 进行文件上传、下载，通过 Tracker server 调度最终由 Storage server 完成文件上传和下载。每个 tracker 节点地位平等

Hhaile / 0评论 2019-03-13

文件服务器防盗链--FastDFS+nginx

nginx实现fastdfs通过url访问---此时可以设置location拦截特征，防盗链能访问有关。前几天讲了LAMP Apache如何利用.htaccess进行防盗链，今天我们来说说nginx如何防盗链的。比如Nginx下有3个项目，A、B、C，也就

单调的低调 / 0评论 2019-09-09

python django框架中使用FastDFS分布式文件系统的安装方法

TRACKER_SERVER：IP地址说明不要使用lo 和docker下的IP地址因为在安装镜像中配的是enp3s0下面的IP地址。client.conf配置文件内容：注意tracker_serverIP地址。# tracker_server can oc

Dreamya / 0评论 2019-06-10

fastdfs nginx 安装

systemctl disable firewalld.service #禁止firewall开机启动。firewall-cmd --state #查看默认防火墙状态。chkconfig iptables off #永久关闭防火墙。yum install

Caleb0 / 0评论 2019-05-07

Docker安装fastdfs

docker run -d --name tracker --net=host morunchang/fastdfs sh tracker.sh. 修改spring-boot-fastDFS的fdfs_client.conf配置文件tracker_serv

tosim / 0评论 2019-03-01

fastdfs nginx 生成缩略图

6，这种生成缩略图采用nginx自带模块，采用GD压缩，也可以使用GM模块，这种需要使用nginx支持lua模块，然后自己写lua表达式

zongyuewang / 0评论 2019-03-01

分布式文件系统介绍

lustre是一个大规模的、安全可靠的，具备高可用性的集群文件系统，它是由SUN公司开发和维护。该项目主要的目的就是开发下一代的集群文件系统，可以支持超过10000个节点，数以PB的数量存储系统。新的集群文件系统采用了开源的lustre技术，由美国能源部开

ahaoGG / 0评论 2017-01-20

FastDFS、nginx配置手记

FastDFS是一款类GoogleFS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用。准确地讲，GoogleFS以及Fast

wangfengqingyang / 0评论 2013-06-27

nginx集成FastDFS

安装nginx和FastDFS，并保证能正常运行。上述命令成功执行后，再执行make进行编译，编译过后，将源码目录中objs目录下的nginx复制到nginx安装目录的sbin下即可。然后将fastdfs-nginx-module模块的src目录下的mod

ginkgodia / 0评论 2016-03-23

FastDFS与hadoop的HDFS区别

主要是定位和应用场合不一样。hadoop的文件系统HDFS主要解决并行计算中分布式存储数据的问题。其单个数据文件通常很大，采用了分块（切分）存储的方式；FastDFS主要用于大中网站，为文件上传和下载提供在线服务。所以在负载均衡、动态扩容等方面都支持得比较

李春春 / 0评论 2015-01-12

fastdfs-apache-module模块在centos下的使用说明

fastdfs-apache-module主要作用就是配合sotrage存储器以http方式下载文件，更重要的是解决了storage同步带来的延迟。也许熟悉fastdfs的朋友们知道，以前通过tracker来跳转也可以解决或其他方式也可以解决，舍取就要看大

wenshifang / 0评论 2011-06-17

分布式文件系统FastDFS架构剖析

FastDFS是一款类GoogleFS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用。准确地讲，GoogleFS以及Fast

MichaelHsu / 0评论 2012-05-31

fastdfs nginx 安装

systemctl disable firewalld.service #禁止firewall开机启动。firewall-cmd --state #查看默认防火墙状态。yum install -y pcre pcre-devel zlib zlib-de

Caleb0 / 0评论 2019-05-07

Docker安装fastdfs

docker run -d --name tracker --net=host morunchang/fastdfs sh tracker.sh

tosim / 0评论 2019-03-01

fastdfs nginx 生成缩略图

6，这种生成缩略图采用nginx自带模块，采用GD压缩，也可以使用GM模块，这种需要使用nginx支持lua模块，然后自己写lua表达式

zongyuewang / 0评论 2019-03-01

CentOS安装FastDFS

则nginx.conf配置文件需要改成

huhuhuemail / 0评论 2019-02-16

centOS 6.5 Nginx集成fastDFS模块

unzip master.zip进入Nginx目录配置模块，我用的是相对路径，也可以改成绝对路径。cp mod_fastdfs.conf /etc/fdfs把fastdfs-5.05下面的配置拷贝到/etc/fdfs/

zongyuewang / 0评论 2016-11-22