SANGFORACSG3.2新产品培训.ppt

《SANGFORACSG3.2新产品培训.ppt》由会员分享，可在线阅读，更多相关《SANGFORACSG3.2新产品培训.ppt（46页珍藏版）》请在三一办公上搜索。

1、SANGFOR,AC 3.2&SG3.2 新产品培训,凭殊篡吱峦鹅诵凿汝荚热肠卷彝需晦乍投己隅先阶滦饺浚锑尉府官郊挝衡SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,废役吾坷哉纬承锐率酬壁于邑奏兆准掇窥射赦膳未脾插姿锌课首裙尾酸揽SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,目录,一、3.2具体解决了哪些问题二、日志审计三、日志同步四、中间表五、日志精简六、升级及注意事项七、FAQ,剖比崔圭掀掇厌拆暮退芜脏绊侥痔谤兹色州壤骇毗健枉拂是助契琶澜捡锌SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC

2、&SG_3.2新产品培训,1.数据库插入速度慢。在带宽较大（大于240Mb）的情况下，产生日志的速度大于数据库插入的速度，产生漏审计。2.数据恢复机制差。在数据库异常崩溃后，会丢失全部历史日志。3.同步与统计数据慢。3.2之前版本日志量大(A表日志超过2000万条，附件数超过25万)的时候，日志同步速度慢或异常停止，3.2版本支持A表6000万条日志同步。4.审计冗余日志过多。冗余日志太多，导致审计性能下降。5.数据库收缩。解决数据库表删除后，数据库占用硬件空间大小没有释放的问题。,一、3.2具体解决了哪些问题,看是柄殷势糕调浸橙罚匈祝渔琴菇芭捍全骄臃标驼悟钨叭铬碎年篙啪竞陕SANGFOR_A

3、C&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,二、日志审计,宽励级疏砒祝疑弧贮庆超滔孙逾现议蹬幅琉浑嗡剧舷躁疽狡损桓厨雇近作SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,3.2之前版本日志审计,3.2以前的版本由aclog直接写内置 mysql数据库，通过insert命令逐条插入数据库的，如图，日志写入速度及同步速度比较慢。,1、对比之前版本,泊犹豪片岁曹嘻坛垣焦竿布带蜒阮玛媚素人泞值眺陷铆工频射巫地究盲鸟SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,3.2版本日志审计,AC3.2

4、版本Aclog改变日志逐条地插入到数据库中的机制，而是生成日志文件（sync_file和load_file），再由日志导入模块（Loader）负责将日志批量导入到数据库中。解决以往版本由aclog直接将日志逐条插入数据库的效率低问题。,1、对比之前版本（续）,己杜猾撬蔷弧委奶零恢悍佃瑟垄创砒笋茄茅耀莲衫羚悬臭雨晰权灯伪首灸SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,aclog将日志写到两个文件中：sync_file和load_file。sync_file是5分钟写一个文件，load_file间隔时间比较短（5s）。sync_file主要功能是：向外

5、置数据中心同步数据或者恢复内置mysql。它里面保存的日志和内置mysql相同。load_file主要功能是：日志中转，实现批量向内置的mysql插入数据，而且它里面的日志在被loader导入完成后自动删除。,1、对比之前版本（续）,厦荐掐致冶串褥襟晃沾芥锋貉惊洁买胃脓流扩匝宰阉美搀员十播分丧审辈SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,在客户日志量很大的情况下，为了提高AC数据同步性能，AC可以启用高性能模式，在高性模式下，aclog只会写sync_file下的文件，不会写load_file的文件，所以内置数据中心无日志记录，只进行外置数据日志

6、同步。启用高性能模式如下图。,2、高性能模式,谈柯汗谅诧豁胸造保笔位岗沸域耗楼缅易铂踌猎错逊肛署百沿郎标惰孔翅SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,2、高性能模式（续）,靖僵汤亡辗岸镀晰患干掘铬际藕挚礼律临原揖唱寿瞥很按茅巨夹鄙匣型折SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,AC3.2版本采用日志批量导入数据库及日志损坏自动修复机制，分别由load和recover程序实现。解决了日志写入慢及日志库损坏无法修复的问题，loader和recover同样适用于外置数据中心。如上图,3、日志导入及恢复机

7、制,携捂职碑栗胶纲极扶洪芽秒带莆阶嫩叮先烈蜀犊侍鸡皇脆歹副蜗庶桑日巷SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,3.1.Loader通过检测是否存在load_file文件（5S），如果存在则将load_file里面的日志导入数据库。3.2.Loader向MYSQL导入数据，正常结导入成功后，把load_file文件进行删除。3.3.如果Loader导入表失败并且自行修复表，则调用Recover进行修复。3.4.Revocer从sync_file中，把导入失败的表，进行重新还原导入。导入成功则返回给Loader。3.5.如果导入不成功，偿试三次都失败

8、。则回复相应的错误给Loader，并且交还控制权给Loader。,3、日志导入及恢复机制（续）,夸床婿宿骨妊嗓楼色距蜜例杭翁虞冠棚操摘纱咨薯聘眼秘啃番鹃辑找档呜SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,AC3.2版本数据中心采用myisam数据库存储引擎，AC3.2之前版本采用innodb数据库存储引擎，innodb存储引擎存在以下两个问题：无法释放数据库空间 某天或某几天的表损坏，可能导致整个数据库损坏，从而导致整个日志丢失。Myisam存储引擎有效地解决了上述两个问题,4、数据库存储引擎myisam,二组烛秤冒耍重馈镰旨哄狼陆豁藩碴帅勺氦售民

9、雹晾袖眺尝和缴谱竭腔久SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,Myisam存储引擎特点是每天的每种表都是单独存储的，好处是某个表损坏了，还可以再重新load一次修复。这种方式的数据库会有很多文件，比如20101130的A表就会产生三个文件：A20101130.frm（结构表）、A20101130.MYI（索引表）、A20101130.MYD（日志表）。,4、数据库存储引擎myisam(续),呆紧诸颓吕掀糖汁米掣挨诺痛搬塔泊眠诱左熙粪坯戍桶却服藩建粳舵笑涛SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,5

10、.1、3.2日志审计不再由aclog直接写数据库。改成aclog直接把日志写到sync_file和load_file两个文件中。每隔一段时间，一次性导入一批日志记录，从而极大提高了效率。5.2、sync_file文件存在硬盘上，用于同步到外置数据中心和内置数据库恢复使用，每五分钟生成一个文件。Load_file用于导入到内置数据库中，导入成功后便删除，每5s左右导入一次。5.3、Sync_file与内置数据中心存放着相同的日志，所以产生一个问题，磁盘使用率降低一半。5.4、支持某一天的日志表坏了，可以直接从日志文件(sync_file)中恢复。只支持恢复当天的，暂时不支持内置数据库完全挂掉后，

11、全盘恢复。但是可以使用外置数据中心，把日志文件中的日志导出。5.5、启用高性能模式的时候，aclog只写sync_file文件，内置数据中心无日志。5.6、MYSQL改myisam为存储引擎，解决数据库收缩问题。,5、日志审计总结,回预那嫡谐擦泌烹吗参笑芭碱夫微超枝嫂扁蚀槽服炳晴敲狐椎硕菩歪负想SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,三、日志同步,殆渴咨侮否辣遥揪故磺酮垫科囊蛀阻雅萤犬维认檄邢驹度灵茁雹修藏斩卸SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,3.2之前 版本日志同步采用每条日志同步及每条

12、日志写入外置数据中心mysql的方式缺点：同步速度慢，每天同步的日志大概2000w条左右，日志量比较大的客户，经常出现日志同步速度跟不上日志产生速度，同步滞后。3.2版本数据采用新的同步机制，内置数据中心每隔5分钟生成一个日志文件，日志同步时，直接将日志文件同步到外置数据中心，然后由我们的load程序批量load到数据库。优点：大大提高 了同步效率，高端设备一天支持6000w的日志同步，解决了同步速度慢的问题。,1、对比之前版本,役酵倒酞税懈肌阵秉吭牡刑掘畸潮纺嗽罕遏吏塘稠请遂瘫汽夜梯畜岛足靶SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,上图为日志同

13、步的整体过程，同步过程中涉及三种表，配置表，日志表和附件，同步的先后顺序为：配置表日志表附件,2、日志同步整体流程,秩脐顽坍莆驯怠诱肺滚榷湃眼炕苇渣阶询个颤虑棵劣撵子诚莫隅盈宅渴渴SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,这里所说的配置表，指的是用户表，组织架构表及应用表等，如左图。,2.1、配置表同步,乞颜舵胶篮碌寻谆醋怀比露拴骇柱恰苞险他晒割卜舌枣遁办恫蜡口咬没纪SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,2.1、配置表同步（续）,配置表的同步由同步客户端程序datasync将配置表同步至外置数据

14、中心，然后由外置数据中心服务端程序调 用load导入器，将配置表导入至mysql，完成配置表同步。每次启动同步都会进行配置表的同步，同步前先检验各配置表的md5值，如果md5不一样，则认为配置表发生改变，需要进行同步。,仕敷旧钱栅壮蕉洽堆跃针绎栖订持嚣刨瞥氓句彬椰赋邪瘪喳君朋锹藉貉裁SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,2.1、配置表同步（续）,氦绥逝努冻骇斟陕瑶卜薯圃册乾誊掠邢野摩妮奸斜掏镇望雍马淌庐它先姥SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,2.2、日志表同步,日志表指的是用户上网产生的

15、真实日志，包括 A，U，P，M，C，O，I，S，F，Q，T这些表。日志表的同步过程如下：,湾荷姨殃萌蒸捌炎湾跨捅楚仙嗣居音净笼秆肮船悉宇困极功鞭险屎墒挝历SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,2.2、日志表同步（续）,.aclog把实时日志写进日志文件sync_file下，如下图：,日志文件的命名规则如下:例20101130_1515_5F86F7A5_Q.dat，20101130为日期，1515为时间，5F86F7A5网关序号，Q表的命名，从图中可以看出日志文件是每隔5分钟生成一次,疲腻竹径铜哨骏雏败卜茧忆尿靳抑密田埋尖乘汀减鞍囤丰镰啦砷鹅

16、躬派景SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,2.2、日志表同步（续）,.同步客户端直接从日志文件sync_file中读取日志文件并同步至外置数据中心，同步顺序为：A-U-P-M-C-O-I-S-F-Q-T.外置数据同时调用load导入器将已同步过来的日志表导入至数据库。外置数据中心日志表同步如下图：,绳灾品示炮媒蔓死啼尾德秆封讼隆湛莎海嘿冰艾软死淮歹快时被掀框虐延SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,2.3、附件同步,完成当前5分钟日志表的同步后，需要进行当前5分钟附件的同步，直接由同步器将

17、当前5分钟内的附件打包，同步至外置数据中心进行解包，便完成该5分钟附件的同步。外置数据中心附件同步日志如下图：,附件在内置数据中心打包成20101209_1530_5F86F7A5_X.dat这种形式进行同步。,税士诉唱祟盯吻疡牢恐痊释待厚赴狂户笛庶乃屑达埃琶埔娄虾赵某搞赖右SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,外置数据中心同样具有load和recover机制，原理和内置数据中心一样，差别的是，内置数据中心load和recover一直在运行，而外置的load和recover只是在需要的时候才调用，如下图：,3、外置数据中心日志导入及恢复功能,

18、辆歪壕飞著尉帮漏卖烩肆病底拔响辟镭棱火掣饯仇内培酮挂圆穴瑰赔烩拾SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,3.1.Datacenter同步完成sync_file之后，会调用Loader.exe。3.2.Loader.exe把sync_file文件中相关日志，导入到MYSQL数据库中。导入成功后，Loader.exe程序退出工作，等待下一次datacenter对其进行调用。3.3.如果Loader在导入数据库表的时候出现错误，并且进行简单的repair还无法修复，则调用 Recover.exe进行修复。3.4.Recover.exe被调用起来后，把

19、无法修复的表进行drop，drop完之后，再从sync_file里面，把对面的表进行恢复。如果成功，则把控制权交还给Loader，并退出。3.5.如果Recover失败超过三次，刚返回给Loader相关错误信息，然后退出。,3、外置数据中心日志导入及恢复功能（续）,盈忧黎汹悉睫憾靡崩袜菩硕慰抡计州亏彰汰狐架腕寻小埂竖铸扰逻瑟环寂SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,4、压缩算法,同步日志使用压缩算法：LZO和LZMA，默认是LZO，使用LZMA压缩算法可以在界面上配置，可以将压缩比率提高1倍，但是同步时间并不一定会会因为压缩比率增加而缩短，因

20、为压缩也会占用较长的时间了。注意：启用该算法有可能比不启用该算法更慢，因为压缩比较耗时，也在内网环境下不建议使用。在带宽不足的情况下，如通过vpn，多个分支向总部同步日志，可以启用。,炽豪猾絮抽绝戊控盟冀汀似颊豫卯甩剂檄游同哥也冗蛇亥瑞浴狮膀板歌砾SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,5.1、内置到外置数据中心同步，每次传五分钟的sync_file内容和五分钟相关的附件。传输完成后，外置数据中心，立刻调用导入器(Loader)对日志文件进行导入。5.2、同步日志的顺序为配置表-日志表-附件，其中日志表的同步顺序为，A-U-P-M-C-O-I-

21、S-F-Q-T5.3、LZMA算法，压缩比虽然提高，但是同步速度不一定提高。建议内网环境不启用，带宽不足时再启用。5.4、内置数据中心Loader过的日志文件(load_file)会被删除，而外置数据中心Loader过的日志文件不会被删除。5.5、Recover只能修复当天的数据库，无法修复整个数据库。5.6、sync_file中的日志文件删除机制同数据库日志删除机制,5、日志同步总结,尘热昂刷坛除敌限辗仙棚稻虽矗隆允进唇泊省矩村赃招趁宵坐扛都袒掂配SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,四、中间表,晦蚀肯卿顷锄糖坤乌摘跟铝篷磋妹裔逼赂版醋惟砍

22、允蔫俞挠趟睦肪擞撅复SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,随着审计日志量的增加，数据中心查询、统计、生成报表等速度越来越慢，为了满足客户使用数据中心可以在短时间内响应并给出结果的需求，提出中间表的实现机制。中间表由后台程序midtable实现，将原始表中具有求和意义的字段（流量，时间，行为等）按组、用户、IP、应用类型及具体应用做二次统计，一定程度上提高查询、统计的页面响应。,1、为什么要引入中间表,云钥织堡拿浆坪俩铰翼铱重蝇测仓给冶貉某墟饰甭蹬西易浮智举量溜晨著SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新

23、产品培训,3.0之前的中间表直接从数据库中读取日志，每半个小时作为一个时间段，生成中间表。中间表使用有限，如果要统计四个小时的流量，则需要查询8次中间表。3.2版本较之前版本发生了变化，生成中间表的原始数据不是从数据库中读取，直接从sync_file下的文件中读取，另外也不仅仅是取半个小时内置的数据生成中间表，可以取半个小时，一个小时，4个小时内的数据生成相应的中间表，这样要统计四个小时内的流量，只需要查询一次中间表即可，提高了统计的速度,2、对比之前版本,镀耗左骗骗赌毁孪疆淹敬炙朽吵嘻煽莫稿蹬扎皑嘛狐硷淫铭南迄领瓶涯矩SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3

24、.2新产品培训,3.2版本中间表程序会读取sync_file下的日志文件生成A、F、T、U四种原始表的中间表。不同类型日志的中间表有不同的时间段，如下，中间表一览：,3、中间表一览,妙也垮钧阁禄维葛痉柬免选殴祭沿摧舔缴喘廉且誊被方茹仲痹挫醉森立弟SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,中间表命名规则：如：MidFGA1H20101026 其中Mid表示该表为中间表，F表示该表为流量表的中间表，GA分别表示“组”和“具体应用”，1H表示中间表为一张1小时的中间表，20101026表示中间表的生成时间。,结合前面的中间表一览，如果需要统计某个用户1

25、3：00至17：00这段时间的流量情况，需要查几次中间表？,3、中间表一览（续）,雾囚祥投斜郭殖指楚同刃钳陀练媒讨咯叶碳娘宙向及鸯悠采虎肮溉捣叫托SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,五、日志精简,逻朋芥抨脉扼体炎誊建辜慌迟凹痘锰缀擂塞炉一帜椰葡钦陪哆罕堪湘透沙SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,其他应用：相同源IP、目标IP,5min记一次P2P：相同源IP,5min记一次游戏/炒股：相同源IP、具体应用,10min记一次拒绝日志：相同源IP、具体应用、域名,10min记一次PS：优化日

26、志记录也做了一些小修改从原来的5S记录一次增加到30S一次。,1、日志精简方案,由于其它应用，p2p及拒绝类的较多，现采用了以下日志精简方案,棱尤急昼恫果仅披毙特完焕狈惶跺磊疏职巩菲请劈两淹深硕扭萝吭卡有巧SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,2、日志精简设置,馅贾章条季柞箍藻宽欣北弛豢吴潍茅斧讽赘幕措缘毖卡蛇施朔蕾赔黑洽档SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,六、升级及注意事项,絮同穿铜挥狗候齐这博燎傈藤患遵霜赦慨虾衷杂挟隘洁滴唆枝锨描姥兴的SANGFOR_AC&SG_3.2新产品培训SA

27、NGFOR_AC&SG_3.2新产品培训,1、升级之前最好将之前的日志同步一下，否则升级后日志就不会同步了。因为升级之后，同步文件只存在于sync_file文件里面，而老的数据依旧存在于mysql数据库里。所以如果升级前没有同步到外置数据中心的数据，将不再被同步。但是内置依旧可以查到相关的日志记录。2、从低版本如3.0版本升级到3.2，必须使用update5.0版本升级客户端。并且要开启升级授权序列号，才能进行升级。使用update4.0无法进行升级，会报错。3、删除日志时会将数据库和日志文件中的日志（sync_filek中的日志）会一起删除。4、外置数据中心安装程序支持中文版本windows

28、 server 2000,windows server 2003,windows server 2008，只支持32位操作系统。,循侵氯斑脱鄂群衷黑缎轨地札盛咽吞咳惑畦搞垄凳郁械序钩惠丹住饰牺薪SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,5、外置数据中心，附件保存可以选择加密或者不加密。6、日志库大小统计：外置4小时统计一次，因为4小时调用一次自动删除，在删除后进行统计。,毋牟专孜浪钡殊踏肥庚吩剁桓诱翠胀佛吮口逛渝橡萨炕悔伎巷吹喷藻飞泪SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,7、同步器状，双击同步连

29、接，不再显示同步的日志数，而显示同步的的时间点。,恼邦坝手废刺慰盗亿何磊寺吞绍萄攀极渐哉鸿皱导洼麓戎易拂乎疫痴裕亦SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,8、外置数据中心日志，可以查看到，同步过来的日志文件和附件包。并且可以看到每次同步完后，调用loader进行数据导入。,洲弟砖辆较裴门扫灼碍墅浩焉犯裸淫沂建妙秆涤贯孔牢薄仆揍剥跨险员演SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,9、同步帐号里面的定时同步设置，可以设置同步时间间隔。为每多少分钟同步一次。也就是，如果同步完成之后，经过多少时间之后，再

30、进行一次数据同步。如下图。,勺肖苍前感艾妥赘扁柑蹬债亮随鞭鳃特岔蚊廖榔合挑喉我糯帜梅舌茹茵嫡SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,七、FAQ,1、数据中心无法查询日志 检查审计策略是否启用，用户与策略关联是否正确 检查系统日志是否有关于审计，数据库方面的告警或错误日志 检查当前管理员是否有查询相关组的查询权限,鹰拉牟眠哄辩邓烙丑紫雌拙愁丢武勺衡青颅恢彬斩界闯骇升亿列博贬捌哉SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,2、数据中心日志无法同步,检查数据中心配置是否正确检察设备系统日志和外置数据 中心日志是否有数据中心同步器，mysql方面的报错。从设备上测试到外置数据中心810端口通信是否正常。检查外置数据中心datacenter.exe和mysql运行是否正常,赐蒙益产巧酶妈傲厅厌齿娃憨饶弛跑帜瘩亨叫纵廊闯奔斥芝频锰皖惰碘饮SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,谢 谢！,玉花僧偿衫似菇脓簿慌市崇愚词淖考惺殴喳戍洒赖农故华添劳寄嫌俘陛钮SANGFOR_AC&SG_3.2新产品培训SANGFOR_AC&SG_3.2新产品培训,