正文

FastDFS+nginx+keepalived集群搭建

IP云
IP云V管理员/6 阅读
11/25
提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

安装环境

nginx-1.6.2
libfastcommon-master.zip
FastDFS_v5.05.tar.gz（http://sourceforge.net/projects/fastdfs/files/）
fastdfs-nginx-module_v1.16.tar.gz
ngx_cache_purge-2.3.tar.gz（用于清除指定url的缓存）

keepalived

VM虚拟机redhat6.5-x64：192.168.1.201、192.168.1.202、192.168.1.203、192.168.1.204、
192.168.1.201、192.168.1.202、192.168.1.203、192.168.1.204、
Xshell4

部署方案

安装步骤

步骤一：203、204、205、206、207、208安装FastDFS

参考：https://www.cnblogs.com/cac2020/p/9534967.html

步骤二：配置跟踪器（192.168.1.203 、192.168.1.204 节点） 

    mkdir -p /fastdfs/tracker&& cp /etc/fdfs/tracker.conf.sample tracker.conf && vim /etc/fdfs/tracker.conf

修改内容：

    base_path=/fastdfs/tracker

    #关键点：轮询分配到各个group里

    store_lookup=

启动：

    /etc/init.d/fdfs_trackerd start

步骤三：配置FastDFS存储（192.168.1.205-208）

205、206作为group1 , 207、208作为group2 

mkdir -p /fastdfs/storage && cp /etc/fdfs/storage.conf.sample storage.conf && vim /etc/fdfs/storage.conf

修改内容：

disabled=false

group_name=group1      #组名，第一组（、）为 group1 第二组（、）为 group2

port=             #storage 端口号，同组的端口号必须相同

base_path=/fastdfs/storage

store_path_count=     #存储路径个数 需要和 store_path 个数匹配

store_path0=/fastdfs/storage #设置存储路径

tracker_server=192.168.1.203: #tracker 服务器的 ip 和端口

tracker_server=192.168.1.204: #多个 tracker 直接添加多条记录

http.server_port=  #设置 http 端口号

启动：

/etc/init.d/fdfs_storaged start

到此为止我们的 FastDFS 集群环境已经搭建完成!!!!

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

步骤四：4个存储节点（205 206 207 208）整合Nginx 

.安装整合包fastdfs-nginx-module_v1..tar.gz

tar -zxvf /usr/local/software/fastdfs-nginx-module_v1..tar.gz -C /usr/local/fast/

vim /usr/local/fast/fastdfs-nginx-module/src/config

修改内容：去掉第四行中的 local 文件层次

.安装Nginx 加载fastdfs-nginx-module模块

tar -zxvf /usr/local/software/nginx-1.6..tar.gz -C /usr/local

cd /usr/local/nginx-1.6. && ./configure --add-module=/usr/local/fast/fastdfs-nginx-module/src/

重新编译命令： make && make install

.修改整合模块配置

cp /usr/local/fast/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/  && vim /etc/fdfs/mod_fastdfs.conf

修改内容：

注意：第一组(、)和第二组(、) 节点修改内容，只有组名不同

connect_timeout=

tracker_server=192.168.1.203:

tracker_server=192.168.1.204:

storage_server_port=

url_have_group_name = true

store_path0=/fastdfs/storage

group_name=group1 #第一组为 group1  第二组为 group2

group_count =  

#追加以下内容

[group1]

group_name=group1

storage_server_port=

store_path_count=

store_path0=/fastdfs/storage 

[group2]

group_name=group2

storage_server_port=

store_path_count=

store_path0=/fastdfs/storage

.复制配置文件

cd /usr/local/fast/FastDFS/conf/ && cp http.conf mime.types /etc/fdfs/

.创建软连接，在/fastdfs/storage 文件存储目录下创建软连接，将其链接到实际存放数据的目录。

命令： ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

.修改 Nginx 配置文件4个节点

命令：vim usr/local/nginx.conf

修改内容：

listen ;

server_name localhost;

location ~/group([-])/M00 {

    #alias /fastdfs/storage/data;

    ngx_fastdfs_module;

}

启动4个节点Nginx: /usr/local/nginx/sbin/nginx

步骤五：在2个跟踪器节点上安装nginx为4个存储节点提供负载均衡 

.安装ngx_cache_purge-2.3.tar.gz（清除指定url的缓存）

tar -zxvf /usr/local/software/ngx_cache_purge-2.3.tar.gz –C /usr/local/fast/

.安装Nginx  加入 ngx_cache_purge (加入清除缓存模块)

tar -zxvf /usr/local/software/nginx-1.6..tar.gz -C /usr/local

cd /usr/local/nginx-1.6. && ./configure --add-module=/usr/local/fast/ngx_cache_purge-2.3/src/

重新编译命令： make && make install

.修改nginx配置

vim /usr/local/nginx/conf/nginx.conf

修改内容：

events {

    worker_connections  ;

    use epoll;

}

http {

    include       mime.types;

    default_type  application/octet-stream;

    sendfile        on;

    tcp_nopush     on;

    keepalive_timeout  ;

    #设置缓存

    server_names_hash_bucket_size ;

    client_header_buffer_size 32k;

    large_client_header_buffers  32k;

    client_max_body_size 300m;   

    proxy_redirect off;

    proxy_set_header Host $http_host; 

    proxy_set_header Cookie $http_cookie; 

    proxy_set_header X-Real-IP $remote_addr; 

    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; 

    proxy_connect_timeout ;

    proxy_read_timeout ;

    proxy_send_timeout ;

    proxy_buffer_size 16k;

    proxy_buffers  64k;

    proxy_busy_buffers_size 128k;

    proxy_temp_file_write_size 128k;

    #设置缓存存储路径、存储方式、分配内存大小、磁盘最大空间、缓存期限

    proxy_cache_path /fastdfs/cache/nginx/proxy_cache levels=:

    keys_zone=http-chche:200m max_size=1g inactive=30d;

    proxy_temp_path /fastdfs/cache/nginx/proxy_cache/tmp; 

    # weight 权重  max_fails 失败重试次数 fail_timeout 连接失败超时时间

    #设置 group1 的服务器

    upstream fdfs_group1 {

         server 192.168.1.205: weight= max_fails= fail_timeout=30s;

         server 192.168.1.206: weight= max_fails= fail_timeout=30s;

    } 

    #设置 group2 的服务器

    upstream fdfs_group2 {

         server 192.168.1.207: weight= max_fails= fail_timeout=30s;

         server 192.168.1.208: weight= max_fails= fail_timeout=30s;

    } 

 server {

        listen       ;

        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main; 

        #设置 group 的负载均衡参数

        location /group1/M00 {

           proxy_next_upstream http_502 http_504 error timeout invalid_header;

            proxy_cache http-cache;

            proxy_cache_valid    12h;

            proxy_cache_key $uri$is_args$args;

            proxy_pass http://fdfs_group1;

            expires 30d;

        } 

         location /group2/M00 {

            proxy_next_upstream http_502 http_504 error timeout invalid_header;

            proxy_cache http-cache;

            proxy_cache_valid   12h;

            proxy_cache_key $uri$is_args$args;

            proxy_pass http://fdfs_group2;

            expires 30d;

        } 

        #设置清除缓存的访问权限

        location ~/purge(/.*) {

            allow 127.0.0.1;

            allow 192.168.1.0/;

            deny all;

            proxy_cache_purge http-cache $$is_args$args;

        }

        #error_page                /.html;

        # redirect server error pages to the static page /50x.html

        #

        error_page        /50x.html;

        location = /50x.html {

            root html;

        }

}

.按以上nginx 配置文件的要求，创建对应的缓存目录2个跟踪器节点都需要：

mkdir -p /fastdfs/cache/nginx/proxy_cache

mkdir -p /fastdfs/cache/nginx/proxy_cache/tmp

启动ngnix：/usr/local/nginx/sbin/nginx

步骤六：201、202节点安装keepalived+nginx，对203、204提供负载均衡并对外外提供统一访问IP 

.安装nginx

修改nginx配置

vim /usr/local/nginx/conf/nginx.conf

修改内容：

upstream fastdfs_tracker {

    server 192.168.1.203: weight= max_fails= fail_timeout=30s;

    server 192.168.1.204: weight= max_fails= fail_timeout=30s;

}

server {

        listen       ;

        server_name  localhost;

        location / {

            root html;

            index  index.html index.htm;

        }

        error_page        /50x.html;

        location = /50x.html {

            root html;

        } 

        ## FastDFS Proxy 代理路径设置为 /fastdfs

        location /fastdfs {

            root   html;

            index  index.html index.htm;

            proxy_pass  http://fastdfs_tracker/;

            proxy_set_header Host  $http_host;

            proxy_set_header Cookie $http_cookie;

            proxy_set_header X-Real-IP $remote_addr;

            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

            proxy_set_header X-Forwarded-Proto $scheme;

            client_max_body_size  300m;

        }

}

.安装keepalived

修改keepalived配置

参考：https://www.cnblogs.com/cac2020/p/9528106.html

最后注意：千万不要使用 kill - 命令强杀 FastDFS 进程,否则可能会导致 binlog 数据丢失 

关闭集群步骤：

、  两台一级负载节点

关闭 keepalived 命令：service keepalived stop

关闭 nginx 命令：/usr/local/nginx/sbin/nginx –s stop 

、  两台二级负载节点，跟踪器节点

关闭 nginx 命令：/usr/local/nginx/sbin/nginx –s stop

关闭 trackerd 跟踪器命令：/etc/init.d/fdfs_trackerd stop 

、    四台三级负载节点，存储节点

关闭 nginx 命令：/usr/local/nginx/sbin/nginx –s stop

关闭 storage 存储器命令： /etc/init.d/fdfs_storaged stop

注意：千万不要使用 kill - 命令强杀 FastDFS 进程,否则可能会导致 binlog 数据丢失

参考手册：keepalived+nginx+fastdfs集群安装手册.pdf

相关阅读

目录[+]