注册
个人空间
单位最近有一些需求,我在做一些设计.其中有一些想法想和大家讨论一下看看实现的难度和可行性.
总体目标:将400上的PF在PC平台实现数据同步,不需要实时同步,日同步可以了.
数据量:目前基本上400 PF的最高数据量是在百万级的,部分PF每日增量在万级,日后增长量会增加但不会到10万级.
目前的解决方案,使用SQL,FTP等技术直接实现数据筛选,然后进行抽取同步,带来的问题是由于业务逻辑的问题,抽取后同步时无法做到数据完全一致.同时一些使用SQL更改或插入的数据是无法利用业务逻辑完成的.
所以我考虑使用日志做为新的解决方案.这个方案应该是一个比较通用的解决方案了现在一些双机热备都是使用这样的方案.,不过不好意思的说我还没做过这样的项目,有些技术细节还请大家帮忙.
1.如何解析400的日志信息.解析这部分信息是必须在400处理还是可以在PC端解决.关于日志的部分看哪本书里介绍的比较全.
2.如果可以在PC端解析,那么日志的分拆和下传如何实现
现在好多东西还都是有想法没方案,知道可以做不知怎么做,还请大家给些概念.
jance 回复于：2006-08-07 14:03:10
我不会，但是希望你能在最终实施之后，弄个文档，传上来，让我学习学习，呵呵，先谢谢了并祝你成功！
xuguopeng 回复于：2006-08-07 14:30:52
我们是在每天批次作业完毕后,利用SQL SERVER的DTS将400的数据抽取下来,但我们抽取的数据量不是很大,所以没有过一夜也传不完的情况.
读取日志到不难,主要是如何分析并传送.............期待高见.....
子樵 回复于：2006-08-07 14:49:39
其实不是量大小的问题.而是1.有些业务不是单独增加的,修改的记录如何用业务逻辑同步是很容易出错的.2.后台认为使用的SQL的一些操作很难通过PF识别出来,这个会造成同步异常,所以才想到用日志.
blogliou 回复于：2006-08-07 15:05:39
把400上日志传到PC机备份,需要时再把日志从PC传回400恢复,这是可以的,上海某公司就有这么一个现成产品. 至于要把数据解析出来写到PC的表上,关键看物理表的RRN是否对应.
[ 本帖最后由 blogliou 于 2006-8-7 15:06 编辑 ]
qingzhou 回复于：2006-08-07 17:02:10
目前这边对于DB2/400与SQL2000同步的问题，是使用了第3方软件DBMOTO for NT来实现，可以做到几乎是实时，价格应该不贵，比较省事去折腾同步。
仅给个建议。
子樵 回复于：2006-08-07 17:58:39
谢谢各位了.很久没露头了,最近比较闲,可以关心些技术问题了.过几天就又该潜水了.呵呵.
说实话这个问题想了很久了,第三方软件也是考虑的,只是一直觉得解析日志和根据日志同步应该是个比较成熟的技术了.热备的卖点其实是是如何及时恢复处理,这个虽然是核心但如果对时效要求不高应该可以试试.
其实说实话这块我也不会 :em15:.
qingzhou 回复于：2006-08-08 15:17:10
有个疑问，通过FTP成功定时将JRN传输到PC端了，对于400，是可以识别这些JRN，也可以通过RMVJRNCHG来恢复数据达到近似同步点；但是，传递到PC端的SQL2000、ORACLE，这些数据库是否也可以解析400的JRN呢，是否也可以RTV数据出来？
为了减轻传输的压力，可以先在400端过滤、筛选出符合条件的记录单独放在新表中，然后用SQL2000带的DTS来尝试定时、直接传输DB2/400—>SQL2000中。
关于DBMOTO的介绍，可以浏览参考：
http://www.hitsw.com/products_services/dbmoto/dbmoto.html
xuguopeng 回复于：2006-08-08 16:20:00
我觉得不应该是把JRN复制到PC,而应该是在400端对JRN ENTRY分析完后的结果传到PC上,然后执行相应的增删改操作.这样难度应该会小一些吧
| 论坛热门帖子: | [lch203] 写得蛮好的linux学习笔记(10-21) [黑马制造] 学习java的30个目标(10-19) [笑傲股林] 做测试半年了，有点迷茫，应该再学些什么提高自己的测试水平和测试能力呢？(10-19) [udp8589] 大家用google的来吱一声? 用百度的~~也来报道下?(10-18) [沂偌掳兆] 本人总结的一些认为C++比较经典的书籍，希望对大家有用(10-18) |
| TAG标签: | 问题 解析 记录 日志 同步 数据 PC 回复 可以 如果 PF |
