分布式存储系统FastDFS.docx

《分布式存储系统FastDFS.docx》由会员分享，可在线阅读，更多相关《分布式存储系统FastDFS.docx（16页珍藏版）》请在三一办公上搜索。

1、分布式存储系统FastDFSl. FastDFS 原理1.1功能简介FastDFS是一个开源的轻量级分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、 文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体 的在线服务，如相册网站、视频网站等等。1.2适用的业务场景1. 存储后不做改动；2. 视频或其他文件的断点存取；3. 存储文件的关系度不复杂（如果跟统计项目类似存储文件间关系复杂则不适用）；4. 存储总量预计在500Tb范围内的应用。1.3系统基本结构特征1.2.1轻量级FastDFS服务端只有两个角色：跟踪器（tracker）和存储节点（s

2、torage）。跟踪器主要做调度工 作，在访问上起负载均衡的作用。存储节点存储文件，完成文件管理的所有功能：存储、同步和提供存取接口，FastDFS同时对文 件的meta data进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key value pair） 方式表示，如：width=1024，其中的key为width，value为1024。文件meta data是文件属 性列表，可以包含多个键值对。1.2.2分组方式为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或 多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储

3、系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相 同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。在卷中增加服务器时，同步 已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配 置为一个新的卷，这样就扩大了存储系统的容量FastDFS中的文件标识分为两个部分：卷名和 文件名，二者缺一不可。1.2.3跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时 增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都

4、是对等的，可以根据服务器的压力情况随时增加或减少ClientTracker clusterT racker 2Tracker 1Storage cl ListerCl 心1 口IVClient 1Client MStorage server 1XStorage server I 1Storage senrer 12Vokiiiie 1Volume 2Volume KStoi age server 2YStorage server KZ i jawStorage server 21Storage server K1Storage server 22W IStorage server K2 I I

5、0J&H aTracker N2,上传迁接请求*1.定时向tracker上传状态信息I3.皆询可用storage j4.返M信息(storage的ip和旅口)5.上传文件(file content和 metadata)5.6 .将上传内容写入磁盘上传文件交互过程：（1）client询问tracker上传到的storage，不需要附加参数;（2）tracker 返回一台可用的 storage；（3）client直接和storage通讯完成文件上传。1.5 FastDFS下载文件T nicker1.定时向tracker上传状态信息2.上传连接请求5!* 1 2 36.返回f ile_content

6、1.6 Http方式下载文件1.5.1 方式一 tracker 跳转1.5.2方式二非tracker跳转(l) redirect11web server on storage server Arweb seiwer on server B1lilc LKL including group iflrne and Ilk 口湖状Ifile content!exists)file not exiirIredired io sourc亡 storage web serverfile pRL including group name and Hie name(2) proxyBrowserI file

7、LKL including group name and fik name1.7 FastDFS文件名策略FastDFS中的文件名是在向StorageServer存储文件时由系统指定的，文件名中包含了 VolumelD和 FilelD。也就是说，当客户要读取某个文件时，通过在客户端对文件名进行解析，就可以知道该文件 存储在哪个Volume上和它在StorageServer中的FilelD。但是此时用户还不能读取文件，因为他 不知道Volume内各个StorageServer的ip地址，也不知道应该从Volume内的哪个StorageServer 中读取。所以用户需手持欲访问的文件的Volume

8、lD向TrackerServer询问，TrackerServe会均衡当 前各StorageServer的IO负载状况，返回一个最佳的StorageServer的ip地址。最后用户与该 StorageServer连接，出示欲访问文件的FileID，StorageServer上会维持一个FileID对应偏移量的 表，从而得到欲访问文件的偏移量。I /组名磁盘弓日录I/文件名IIgroupl/M00/00/0C/wKjRbExx2K0AAAAAAAANiSQUgyg37275.h文件名包含：源头storage IP地址和文件创建时间戳、文件大小、随机数、文件拓展名FastDFS的文件名策略将文件存储

9、位置信息隐含在文件名中，从而减少了元数据量，达到了优化小文 件存储性能的作用。1.8FastDFS同步机制在FastDFS的服务器端配置文件中，bind_addr这个参数用于需要绑定本机IP地址的场合。只有这个 参数和主机特征相关，其余参数都是可以统一配置的。在不需要绑定本机的情况下，为了便于管理和维护， 建议所有tracker server的配置文件相同，同组内的所有storage server的配置文件相同。tracker server的配置文件中没有出现storage server，而storage server的配置文件中会列举出所有 的 tracker server。这就决定了 st

10、orage server 和 tracker server 之间的连接由 storage server 主动发起， storage server为每个tracker server启动一个线程进行连接和通讯。tracker server会在内存中保存storage分组及各个组下的storage server，并将连接过自己的storage server及其分组保存到文件中，以便下次重启服务时能直接从本地磁盘中获得storage相关信息。storage server会在内存中记录本组的所有服务器，并将服务器信息记录到文件中。tracker server和storage server 之间相互同步s

11、torage server列表：1. 如果一个组内增加了新的storage server或者storage server的状态发生了改变，tracker server都会 将storage server列表同步给该组内的所有storage server。以新增storage server为例，因为新加入的 storage server主动连接tracker server，tracker server发现有新的storage server加入，就会将该组内所 有的storage server返回给新加入的storage server，并重新将该组的storage server列表返回给该组内的

12、其他 storage server；2. 如果新增加一台 tracker server，storage server 连接该 tracker server，发现该 tracker server 返回的 本组storage server列表比本机记录的要少，就会将该tracker server上没有的storage server同步给该 tracker server。同一组内的storage server之间是对等的，文件上传、删除等操作可以在任意一台storage server上 进行。文件同步只在同组内的storage server之间进行，采用push方式，即源服务器同步给目标服务器。 以

13、文件上传为例，假设一个组内有3台storage server A、B和C，文件F上传到服务器B，由B将文件F 同步到其余的两台服务器A和C。我们不妨把文件F上传到服务器B的操作为源头操作，在服务器B上的 F文件为源头数据；文件F被同步到服务器A和C的操作为备份操作，在A和C上的F文件为备份数据。 同步规则总结如下：1. 只在本组内的storage server之间进行同步；2. 源头数据才需要同步，备份数据不需要再次同步，否则就构成环路了；3. 上述第二条规则有个例外，就是新增加一台storage server时，由已有的一台storage server将已有 的所有数据（包括源头数据和备份数

14、据）同步给该新增服务器。storage server有7个状态，如下：# FDFS_STORAGE_STATUS_INIT:初始化，尚未得到同步已有数据的源服务器# FDFS_STORAGE_STATUS_WAIT_SYNC等待同步，已得到同步已有数据的源服务器# FDFS_STORAGE_STATUS_SYNCING :同步中# FDFS_STORAGE_STATUS_DELETED :已删除，该服务器从本组中摘除（注：本状态的功能尚未实现）# FDFS_STORAGE_STATUS_OFFLINE :离线# FDFS_STORAGE_STATUS_ONLINE :在线，尚不能提供服务# F

15、DFS_STORAGE_STATUS_ACTIVE:在线，可以提供服务当 storage server 的状态为 FDFS_STORAGE_STATUS_ONLINE 时，当该 storage server 向 tracker server 发起一次 heart beat 时，tracker server 将其状态更改为 FDFS_STORAGE_STATUS_ACTIVE。组内新增加一台storage server A时，由系统自动完成已有数据同步，处理逻辑如下：1. storage server A 连接 tracker server，tracker server 将 storage se

16、rver A 的状态设置为 FDFS_STORAGE_STATUS_INIT。storage server A询问追加同步的源服务器和追加同步截至时间点，如果 该组内只有storage server A或该组内已成功上传的文件数为0,则没有数据需要同步，storage server A 就可以提供在线服务，此时tracker将其状态设置为FDFS_STORAGE_STATUS_ONLINE，否则tracker server 将其状态设置为FDFS_STORAGE_STATUS_WAIT_SYNC进入第二步的处理；2. 假设tracker server分配向storage server A同步已

17、有数据的源storage server为B。同组的storage server和tracker server通讯得知新增了 storage server A，将启动同步线程，并向tracker server询问向 storage server A追加同步的源服务器和截至时间点。storage server B将把截至时间点之前的所有数据同 步给storage server A；而其余的storage server从截至时间点之后进行正常同步，只把源头数据同步给 storage server A。到了截至时间点之后，storage server B对storage server A的同步将由追加

18、同步切换为 正常同步，只同步源头数据；3. storage server B向storage server A同步完所有数据，暂时没有数据要同步时，storage server B请求 tracker server 将 storage server A 的状态设置为 FDFS_STORAGE_STATUS_ONLINE；4 当 storage server A 向 tracker server 发起 heart beat 时，tracker server 将其状态更改为 FDFS_STORAGE_STATUS_ACTIV E。2. FastDFS优缺点2.1优点分组存储，灵活简洁-对等结构，不

19、存在单点 文件ID由FastDFS生成，作为文件访问凭证。FastDFS不需要传统的name server 和流行的web server无缝衔接，FastDFS已提供apache和nginx扩展模块大中小文件均可以很好支持，支持海量小文件存储存储服务器上可以保存文件附加属性支持同一文件只保存一份，节约磁盘空间2.2缺点自带的http server端支持不足，storage扩展建议使用nginx需要客户端自行记录存储信息，增加了客户端的信息管理量由于安装的对等需求，所以在存储机制上存在木桶的短板原理，在服务器配置不统 一时不能很好的调节磁盘空间负载压力没有支持python的接口3.FastDFS

20、性能优化3.1提升磁盘IO性能的几个技巧目前磁盘都是机械方式运作的，主要体现在磁盘读写前寻找磁道的过程。磁盘自带的读写缓存大小， 对于磁盘读写速度至关重要。读写速度快的磁盘，通常都带有较大的读写缓存。磁盘的寻道过程是机械方 式，决定了其随机读写速度将明显低于顺序读写。在我们做系统设计和实现时，需要考虑到磁盘的这一特 性。FastDFS最初的实现，文件是按hash方式随机分布到多个目录中的，后来增加了顺序存放的做法。通 过对比测试，发现文件按目录顺序存储，写文件IO效率明显高于按目录随机存储。目前磁盘顺序读取的速度并不差，比如普通硬盘的IO可以达到每秒4060MB，好一些的硬盘可以达 到每秒10

21、0MB。在多进程或多线程并发读取磁盘的情况下，随着并发数的增加，磁盘IO效率将大大下降。 主要是因为每次读写，磁道可能存在较大的偏移，磁道寻址时间加大，导致磁盘IO性能急剧下降。对于这 种场景，优化方案是尽可能减少并发读写的进程数或线程数。可以用锁的机制，也可以采用专门的磁盘IO 线程来对磁盘进行读写。FastDFS 2.x版本，磁盘读写就采用了专门的线程来完成。1. 为了充分发挥多块磁盘的效率，不建议使用传统的RAID方式。比较好的做法是每块磁盘单独mount， 通过程序来控制对多块磁盘进行并发读写。采用单盘mount，文件的备份和冗余可以通过多台机器实 现。2. 文件数多了之后，比如达到上

22、千万个文件，当随机访问众多文件时，文件系统的性能会急剧下降。业 界流行的做法是将多个小文件合并存储到一个大文件中的方式来降低文件数。FastDFS 3.0支持将多个 小文件合并存储到一个较大文件中。3. 提升磁盘IO的另外一个技巧，一次尽可能多写入或多读取。也就是说，将程序的读写buffer设置得 尽可能大一些。例如日志或者redo log的写入，不是每次调用都直接写磁盘，而是先缓存到内存中， 等buffer满了再写入磁盘，也可以定时写入磁盘。4. 操作系统和C库函数通常会对写入的文件内容做缓存，以减少实际写文件的次数。直接调用系统函数 fsync或C函数fflush将使系统的缓存机制失效，此

23、时将强制把内容刷到磁盘上。除非必需，否则不要 执行强制刷盘操作。4.FastDFS服务端目录结构4.1服务器端tracker server目录及文件结构$base_path|data|storage_groups.dat:存储分组信息|storage_servers.dat：存储服务器列表|_logs|trackerd.log： tracker server 日志文件数据文件storage_groups.dat和storage_servers.dat中的记录之间以换行符(n)分隔，字段之间以西文 逗号(,)分隔。4.1.1 storage_groups.dat 中的字段依次为：(1) grou

24、p_name :组名(2) storage_port： storage server 端口号4.1.2 storage_servers.dat 中记录 storage server 相关信息，字段依次为：(1) group_name：所属组名(2) ip_addr： ip 地址(3) status：状态(4) sync_src_ip_addr：向该storage server同步已有数据文件的源服务器(5) sync_until_timestamp：同步已有数据文件的截至时间(UNIX时间戳)(6) stat.total_upload_count：上传文件次数(7) stat.success_

25、upload_count :成功上传文件次数(8) stat.total_set_meta_count：更改 meta data 次数(9) stat.success_set_meta_count:成功更改 meta data 次数(10) stat.total_delete_count:删除文件次数(11) stat.success_delete_count :成功删除文件次数(12) stat.total_download_count：下载文件次数(13) stat.success_download_count :成功下载文件次数(14) stat.total_get_meta_count

26、:获取 meta data 次数(15) stat.success_get_meta_count:成功获取 meta data 次数(16) stat.last_source_update :最近一次源头更新时间(更新操作来自客户端)(17) stat.last_sync_update:最近一次同步更新时间(更新操作来自其他storage server的同步)4.2.存储节点storage server目录及文件结构$(base_path|data|.data_init_flag :当前 storage server 初始化信息|storage_stat.dat:当前 storage serv

27、er 统计信息|_sync :存放数据同步相关文件| |_binlog.index：当前的binlog(更新操作日志)文件索引号|_binlog.# :存放更新操作记录(日志)| |_$ip_addr_$port.mark：存放向目标服务器同步的完成情况|一级目录：256个存放数据文件的目录，目录名为十六进制字符，如：00, 1F|二级目录：256个存放数据文件的目录，目录名为十六进制字符，如：0A, CF|_logs|storaged.log： storage server 日志文件4.2.1 data_init_flag(1) storage_join_time： 本 storage se

28、rver 仓 0建时间；(2) sync_old_done: storage server是否已完成同步的标志(源服务器向本服务器同步已有 数据)；(3) sync_src_server：向本服务器同步已有数据的源服务器IP地址，没有则为空；(4) sync_until_timestamp：同步已有数据文件截至时间(UNIX时间戳)；4.2.2 storage_stat.dat(1) total_upload_count：上传文件次数(2) success_upload_count :成功上传文件次数(3) total_set_meta_count:更改 meta data 次数(4) suc

29、cess_set_meta_count：成功更改 meta data 次数(5) total_delete_count:删除文件次数(6) success_delete_count :成功删除文件次数(7) total_download_count：下载文件次数(8) success_download_count :成功下载文件次数(9) total_get_meta_count:获取 meta data 次数(10) success_get_meta_count:成功获取 meta data 次数(11) last_source_update :最近一次源头更新时间(更新操作来自客户端)(1

30、2) last_sync_update :最近一次同步更新时间(更新操作来自其他storage server)4.2.3 binlog.index只有一个数据项：当前binlog的文件索引号4.2.4 binlog.#为索引号对应的3位十进制字符，不足三位，前面补0。索引号基于0，最大为999。一个binlog文件最大为1GB。记录之间以换行符(n)分隔，字段之间以西文空格分隔。字段依次为：(1) timestamp:更新发生时间(Unix时间戳)(2) op_type :操作类型，一个字符(3) filename：操作(更新)的文件名，包括相对路径，如：5A/3D/FE_93_SJZ7pAA

31、AO_BXYD.S4.2.5 $ip_addr_$port.markip_addr为同步的目标服务器IP地址，port为本组storage server端口。例如：10.0.0.1_23000.mark。文件格式为ini配置文件方式，各个参数如下：# binlog_index:已处理(同步)到的binlog索引号# binlog_offset:已处理(同步)到的binlog文件偏移量(字节数)# need_sync_old:同步已有数据文件标记，0表示没有数据文件需要同步# sync_old_done:同步已有数据文件是否完成标记，0表示未完成，1表示已完成# until_timestamp：

32、同步已有数据截至时间点(UNIX时间戳)# scan_row_count:已扫描的 binlog 记录数# sync_row_count：已同步的 binlog 记录数4.2.6 数据文件名由系统自动生成，包括三部分：当前时间(Unix时间戳)、文件大小(字节数)和随机数。文件名长 度为16字节。文件按照PJW Hash算法hash到65536(256*256,默认配置下)个目录中分散存储。5.FastDFS配置文件详解5.1tracker.conf跟踪器配置项(1) disabled :这个配置文件是否不生效，false为生效(否则不生效)true反之(2) bind_addr:是否绑定IP

33、,bind_addr=后面为绑定的IP地址(常用于服务器有多个IP但只希望 一个IP提供服务)。如果不填则表示所有的(一般不填就OK),相信较熟练的SA都常用到类似功 能,很多系统和应用都有(3) port:提供服务的端口，默认22122(4) connect_timeout:连接超时时间，针对socket套接字函数connect，默认值30 (秒)(5) network_timeout:tracker server的网络超时，单位为秒。发送或接收数据时，如果在超时时 间后还不能发送或接收数据，则本次网络通信失败,默认值60(6) base_path:目录地址(根目录必须存在，子目录会自动创建

34、)(7) max_connections:系统提供服务时的最大连接数。对于V1.x，因一个连接由一个线程服务， 也就是工作线程数，对于V2.x，最大连接数和工作线程数没有任何关系，默认值256(8) work_threads:V2.0引入的这个参数，工作线程数，通常设置为CPU数(9) store_lookup:上传组(卷)的方式0:轮询方式1:指定组2:平衡负载(选择最大剩余空间的 组(卷)上传)，这里如果在应用层指定了上传到一个固定组，那么这个参数被绕过,默认值2(10) store_group:当上store_lookup参数设定为1时(store_lookup=1，即指定组名时)，必须

35、 设置本参数为系统中存在的一个组名。如果选择其他的上传方式，这个参数就没有效了。(11) store_server:选择哪个storage server进行上传操作(一个文件被上传后，这个 storage server就相当于这个文件的storage server源，会对同组的storage server推送这个文件达到同 步效果)0:轮询方式1:根据ip;地址进行排序选择第一个服务器(IP地址最小者)；2:根据优先级进 行排序(上传优先级由storage server来设置，参数名为upload_priority)(12) store_path:选择storage server中的哪个目录进

36、行上传。storage server可以有多个存放文 件的base path (可以理解为多个磁盘)。0:轮流方式，多个目录依次存放文件；2:选择剩余空间最大的目录存放文件(注意：剩余磁盘空间是动态的，因此存储到的目录或磁 盘可能也是变化的)(13) download_server:选择哪个 storage server 作为下载服务器，0:轮询方式，可以下载当前文件的任一 storage servei,1:哪个为源storage server就用哪一个 (前面说过了这个storage server源 是怎样产生的)就是之前上传到哪个storage server服务器 就是哪个了(14) re

37、served_storage_space: storage server上保留的空间，保证系统或其他应用需求空间(指 出如果同组的服务器的硬盘大小一样，以最小的为准,也就是只要同组中有一台服务器达到这个 标准了，这个标准就生效，原因就是因为他们进行备份)(15) log_level:选择日志级另U (emerg for emergency,alert,crit for critical,error,warn for warning,notice,info,debug)，默认值 info(16) run_by_group:操作系统运行FastDFS的用户组(不填就是当前用户组，哪个启动进程就是

38、哪个)(17) run_by_user:操作系统运行FastDFS的用户(不填 就是当前用户，哪个启动进程就是哪个)(18) allow_hosts:可以连接到此tracker server的ip范围(对所有类型的连接都有影响，包括客 户端，storage server)，默认值*(19) sync_log_buff_interval:同步或刷新日志信息到硬盘的时间间隔，单位为秒，注意：tracker server的日志不是时时写硬盘的，而是先写内存。(20) check_active_interval:检测 storage server 存活的时间隔，单位为秒。storage server

39、定期 向 tracker server 发心跳，如果tracker server在一个check_active_interval 内还没有收到storage server的一次心跳，那边将认为该storage server已经下线。所以本参数值必须大于storage server配置的心跳时间间隔。通常配置为storage server心跳时间间隔的2倍或3倍。(21) thread_stack_size:线程栈的大小。FastDFS server端采用了线程方式。更正一下，tracker server线程栈不应小于64KB，线程栈越大，一个线程占用的系统资源就越多。如果要启动更多 的线程(V

40、1.x对应的参数为max_connections，V2.0为work_threads)，可以适当降低本参数 值。(22) storage_ip_changed_auto_adjust:这个参数控制当 storage server IP地址改变时，集群是否 自动调整。注：只有在storage server进程重启时才完成自动调整。默认值true(23) storage_sync_file_max_delay:V2.0引入的参数。存储服务器之间同步文件的最大延迟时间， 缺省为1天。根据实际情况进行调整,注：本参数并不影响文件同步过程。本参数仅在下载文件 时，判断文件是否已经被同步完成的一个阀值(经

41、验值)，默认值86400(24) storage_sync_file_max_time:V2.0引入的参数。存储服务器同步一个文件需要消耗的最大 时间，缺省为300s，即5分钟。本参数并不影响文件同步过程。本参数仅在下载文件时，作为 判断当前文件是否被同步完成的一个阀值(经验值)(25) use_trunk_file:V3.0引入的参数。是否使用小文件合并存储特性，缺省是关闭的。(26) slot_min_size:trunk file分配的最小字节数。比如文件只有16个字节，系统也会分配slot_min_size 个字节(27) slot_max_size:只有文件大小=这个参数值的文件，才

42、会合并存储。如果一个文件的大小大 于这个参数值，将直接保存到一个文件中(即不采用合并存储方式)。(28) trunk_file_size:合并存储的trunk file大小，至少4MB，缺省值是64MB。不建议设置得过大。(29) http.disabled:HTTP 服务是否不生效(30) http.server_port:HTTP 服务端口(31) #include http.conf :如果加载http.conf的配置文件 去掉第一个#5.2 storage.conf存储节点配置项(1) disabled :这个配置文件是否不生效，false为生效(否则不生效)true反之(2) gro

43、up_name:指定 此 storage server 所在 组(卷)(3) bind_addr:是否绑定IP,bind_addr=后面为绑定的IP地址(常用于服务器有多个IP但只希望 一个IP提供服务)。如果不填则表示所有的(一般不填就OK),相信较熟练的SA都常用到类似功 能,很多系统和应用都有(4) client_bind:bind_addr通常是针对server的。当指定bind_addr时，本参数才有效。本storage server 作为 client连接其他服务器(如 tracker server、其他 storage server)，是否绑定 bind_addr。(5) por

44、t:storage server 服务端口，默认 23000(6) connect_timeout:连接超时时间，针对socket套接字函数connect(7) network_timeout:storage server网络超时时间，单位为秒。发送或接收数据时，如果在超时 时间后还不能发送或接收数据，则本次网络通信失败。(8) heart_beat_interval:心跳间隔时间，单位为秒(这里是指主动向tracker server发送心跳)(9) stat_report_interval:storage server向tracker server报告磁盘剩余空间的时间间隔，单位为 秒。(1

45、0) base_path: base_path目录地址，根目录必须存在 子目录会自动生成(注：这里不是上传 的文件存放的地址，之前是的，在某个版本后更改了)(11) max_connections:系统提供服务时的最大连接数。默认值256(12) work_threads:V2.0引入的这个参数，工作线程数，通常设置为CPU数(13) buff_size:设置队列结点的buffer大小。工作队列消耗的内存大小=buff_size * max_connections,设置得大一些，系统整体性能会有所提升，消耗的内存请不要超过系统物理内 存大小。另外，对于32位系统，请注意使用到的内存不要超过3G

46、B(14) disk_rw_direct:设置为true，表示不使用操作系统的文件内容缓冲特性。如果文件数量很多， 且访问很分散，可以考虑将本参数设置为true(15) disk_rw_separated: V2.0引入本参数。磁盘IO读写是否分离，缺省是分离(true)的。(16) disk_reader_threads:针对单个存储路径的读线程数，缺省值为1,读写分离时，系统中的写线程数=disk_writer_threads * store_path_count, 读写混合时，系统中的读写线程数 =(disk_reader_threads + disk_writer_threads) *

47、 store_path_count(17) disk_writer_threads:针对单个存储路径的写线程数，缺省值为1(18) sync_wait_msec:同步文件时，如果从binlog中没有读到要同步的文件，休眠N毫秒后重新 读取。0表示不休眠，立即再次尝试读取，出于CPU消耗考虑，不建议设置为0。如何希望同步 尽可能快一些，可以将本参数设置得小一些，比如设置为10ms(19) sync_interval:同步上一个文件后，再同步下一个文件的时间间隔，单位为毫秒，0表示不休 眠，直接同步下一个文件。(20) sync_start_time:系统同步起始时间，默认值00:00(21) sync_end_time:系统同步结束时间,默认值23:59,允许系统同步的时间段(默认是全天)。一般用于避免高峰同步产生一些问题而设定(22) write_mark_file_freq:同步完N个文件后，把storage的mark文件同步到磁盘，如果mark 文件内容没有变化，则不会同步(23) store_path_count:存放文件时storage server支持多个路径(例如