当前位置 主页 > 服务器问题 > nginx问题汇总 >

    nginx的FastDFS分布式存储模块测试方法

    栏目:nginx问题汇总 时间:2018-12-11 16:50

    很长时间没有关注FastDFS了,第一次使用FastDFS 是在 08年的时候11月的时候,那个时候是为了解决公司的数据存储~那时候可能是对Fastdfs了解不深,功能还不算太健全,最后选择了lustre。 再回过头来看FastDFS更新很快,还看到fastdfs-nginx-module_v1.01.tar.gz nginx模块,所以今天在一台测试机上测试了·测试几天看稳定不稳定,在考虑换掉浪费资源的 lustre !

    环境:

    storage1:192.168.6.100storage2:192.168.6.101tracker:192.168.6.102

    1. 在每个机器上,下载安装 FastDFS

    nginx $> wget http://fastdfs.googlecode.com/files/FastDFS_v2.04.tar.gz# 解压nginx $> tar zxvf FastDFS_v2.04.tar.gznginx $> cd FastDFS# 因为我是给nginx添加fastdfs模块,所以不需要fastdfs支持 http 所以我就不需要去掉 #WITH_HTTPD=1 前的注释了,直接编译nginx $> ./make.shnginx $> ./make.sh install

    2.修改tracker 和 storage 的配置文件
    # tracker 的修改

    tracker $> vim /etc/fdfs/tracker.conf
    disabled=false#配置是否生效bind_addr=192.168.6.102#绑定IPport=22122#服务端口connect_timeout=30#连接超时时间network_timeout=60# tracker server的网络超时,单位为秒。base_path=/home/yangzi#目录地址,里面会创建data(存放存储服务器信息)、logs,日志文件max_connections=256#系统提供服务最大连接数work_threads=4#线程数,通常设置CPU数store_lookup=2上传组(卷) 的方式 0:轮询方式 1: 指定组 2: 平衡负载(选择最大剩余空间的组(卷)上传)这里如果在应用层指定了上传到一个固定组,那么这个参数被绕过store_group=group1当上一个参数设定为1 时 (store_lookup=1,即指定组名时),必须设置本参数为系统中存在的一个组名。如果选择其他的上传方式,这个参数就没有效了store_server=0选择哪个storage server 进行上传操作(一个文件被上传后,这个storage server就相当于这个文件的storage server源,会对同组的storage server推送这个文件达到同步效果)# 0: 轮询方式# 1: 根据ip 地址进行排序选择第一个服务器(IP地址最小者)# 2: 根据优先级进行排序(上传优先级由storage server来设置,参数名为upload_priority)store_path=0选择storage server 中的哪个目录进行上传。storage server可以有多个存放文件的base path(可以理解为多个磁盘)。# 0: 轮流方式,多个目录依次存放文件# 2: 选择剩余空间最大的目录存放文件(注意:剩余磁盘空间是动态的,因此存储到的目录或磁盘可能也是变化的)download_server=0 选择哪个 storage server 作为下载服务器# 0: 轮询方式,可以下载当前文件的任一storage server# 1: 哪个为源storage server 就用哪一个 (前面说过了这个storage server源 是怎样产生的) 就是之前上传到哪个storage server服务器就是哪个了reserved_storage_space = 4GBstorage server 上保留的空间,保证系统或其他应用需求空间(指出 如果同组的服务器的硬盘大小一样,以最小的为准,也就是只要同组中有一台服务器达到这个标准了,这个标准就生效,原因就是因为他们进行备份)log_level=info#选择日志级别run_by_group=#操作系统运行FastDFS的用户组run_by_user=#操作系统运行FastDFS的用户allow_hosts=*#可以连接到此 tracker server 的ip范围(对所有类型的连接都有影响,包括客户端,storage server)sync_log_buff_interval = 10# 同步或刷新日志信息到硬盘的时间间隔,单位为秒# 注意:tracker server 的日志不是时时写硬盘的,而是先写内存。check_active_interval = 120# 检测 storage server 存活的时间隔,单位为秒。# storage server定期向tracker server 发心跳,如果tracker server在一个check_active_interval内还没有收到storage server的一次心跳,那边将认为该storage server已经下线。所以本参数值必须大于storage server配置的心跳时间间隔。通常配置为storage server心跳时间间隔的2倍或3倍。thread_stack_size = 64KB# 线程栈的大小。FastDFS server端采用了线程方式。更正一下,tracker server线程栈不应小于64KB,不是512KB。# 线程栈越大,一个线程占用的系统资源就越多。如果要启动更多的线程(V1.x对应的参数为max_connections,V2.0为work_threads),可以适当降低本参数值。storage_ip_changed_auto_adjust = true# 这个参数控制当storage server IP地址改变时,集群是否自动调整。注:只有在storage server进程重启时才完成自动调整。storage_sync_file_max_delay = 86400# V2.0引入的参数。存储服务器之间同步文件的最大延迟时间,缺省为1天。根据实际情况进行调整storage_sync_file_max_time = 300# V2.0引入的参数。存储服务器同步一个文件需要消耗的最大时间,缺省为300s,即5分钟。http.disabled=true# HTTP服务是否不生效 当然编译的时候我已经把 with_httpd宏去掉了,http.server_port=80# HTTP服务端口# 下列参数只有 开启http服务才有用http.check_alive_interval=30http.check_alive_type=tcphttp.check_alive_uri=/status.htmlhttp.need_find_content_type=true