快三平台-首页

<i id='pwhq08'></i>

_{<blockquote id='pwhq08'><q id='pwhq08'><noscript id='pwhq08'></noscript><dt id='pwhq08'></dt></q></blockquote><noframes id='pwhq08'><i id='pwhq08'></i>}

随着IT应用的快速发展，金融，银行，政府等越来越多的≡用户要求核心业务7*24不断网，不断电持续运行，进而出现了两地三中心的方案，是一些大型企业因为大自然的灾害而在同△城选择两个机房异地选择一个机房而组成的称两地三中心，这样的方案具备高可用和灾难备份能力。多中心应急灾难仿真演练方案仿真测试

解决方案

解决领域方案行业解决方案迁移仿真测试版本升级云集中监控 DB下移容灾备份性能监控诊断

首页

产品介绍

0系列透视诊断系◎列

1系列投产演练系列

3系列迁移比对系列

云平台

X0：数据▂库透视认知系统

X1：数据库仿真测试系统 A1：应用仿真测试系统

T3：增量同步系统 V3：数据比对系统

沃信云上云，一起分享数字财富。用你的专业能力通过平台＠一起提供各种数字服务

了解更多

M3：全量迁移系统

沃信推文

新闻动态

公司新闻产品动态

专栏

数据库迁移主机下移

关于我们 0755-85219803

简体中文

English

用户有哪些需求

结合近年国内出现大范围自然灾害，以同城双中心々加异地灾备中心的“两地三中心”的灾备模式也随之出现，这一方案兼具高ξ　可用性和灾难备份能力。但目前暂无相关工具可对其功能进行验证，所以急需一款既可真实模拟业务场景，又可以驱动灾难演练的工具。

了解技术方案

当发生无法预估的灾害时，如何快速切╱换至备用数据中心？

由仿真模拟♀真实业务场景∏。仿真每五秒读取一次由DNS映射出的IP信号，当信号发生变化时，及时将数据进行回放≡至由负载均衡分配至相应服务器※，确保交易●正常进行。

如何保证』发生不可控灾害时，整∮体的业务不受影响？

由老核心的主备改为两地三中心的方案。即同城双活 + 异地异步复制的方案。同︼城数据中心双活，备数据中心对主数据中心进行实时的备份，保证业务处理不会中断。异地数据中心采用异步数据复制的方法，降低业务数据丢失机率。

方案优势

真实业务场景业务流量重放，交易还原，实景再现

一键仿真仿真全流程一键部署》、启动、可容器化，大大提高演练有效性、可操作性；

水平扩展可根№据演练需求，实现快速扩展落地部署，达到高性能、高质量演练效〓果；

性能、可靠性验证通过加压№回放，可对三中心进行应用的性能测试；

提高切换演练效╳率通过自动化仿真交易回放，可随时进行切▓换演练，减少演练前期的准备工作和人员投入；

简单高效便捷的统一管理平台，WEB可视化界面，减少运维〓成本；

真实业务场景业务流量重放，交易还原，实景再现

一键仿真仿真全流程一键部署、启动、可容器化，大大提高演练有效性、可操作性；

水平扩展可根据演练需求，实现快速扩展落地部署，达到高性能、高质量演练效果；

性能、可靠性验证通过加压回放，可对三中心进行应用的性能测试；

提高切换演练效率通过自动化仿真交易回放，可随时进行切换演练，减少演练前期的准备工作和人员投入；

简单高效便捷的统一管理平台，WEB可视化界面，减少运维成本；

首先，我们将同城备机上的数据变化通过MIMIX同步到AS400迁移机上。然后，将接收到的AS/400的增量日志进行格式解析、转码、存储和排序处理，再按数据表并发识♂别事务窗口后，生成SQL，并按照分布式数据库要求填补分片键，发往▲分布式数据库。最后，数据库代理收到同步机发送的单条SQL语句后，完成数据库写入和更新处理。

断点恢复

采用文件偏移断点, 批量文件整体回滚, 内存文件信息重入等多种技术手段来完成全链路的断点恢复, 保障数据同步传输的正确性。

大字段同步

所有的大字段数据从日志中剥离, 同时构建大字段和行主键和控制字段的映射关系, 按照◣大字段的META结构进行内容提取和转码, 重新组合形成MYSQL支持的文本格式, 然后生成UPDATE语句, 当不含大字段的数据APPLY完成后, 触发大字段UPDATE语句的APPLY动作。

表名异构策々略

1) 表名替换：采用META映射关系来解决
2) 一拆多：原始日志中的一条SQL语句需要根据拆分规则构造出几条不同的SQL语句
3) 多合一：含主∑键信息日志记录操作类型不变, 不含主键信息日志记录转换为UPDATE语句

主键并发载入

采用数据库客户端异步连接方式, 按主键值分类进行排队, 不同主键可以并发载入, 相同主键下操作卐串行。

数据补录

比对引擎将错误记录集合△中的日志数据转码, 补充分片键, 生成对应的INSERT语句文本文件。

迁移保障解决下移方案的可行性、可靠性、安全性、正确性的问题及并提供可靠的技术保证

快速迁移迁移速度可达50G/小时，缩短停业切换窗口，大幅度降低对业务的影响。

无侵入不需在生产环境部署程序，且只读取●备库日志，对生产环境无影响

灵活控制增量迁移过程支持暂停和重启，遇到故障可♀支持断点续传。

程序自愈迁移程序拥有守护进程，全流程自愈，降低运⌒维难度。

无数据＠丢失风险能够在数据迁移完成后检验数据迁移的情况，通过特有的校验算法来验证数据的一致性，保证数据〒的完整性、正确性、有效性。

数据迁移在核心系统下移属于非常重要的环节，并且√要在很短的窗口期内完成，面临着以下痛点:

1. 源数据库对象关系、表间逻辑依赖关系复杂
2. 目ξ　标数据库架构部署，规格需求规划；
3. 迁移过程业务中断时间要求短；
4. 需要同步进行数据对比验证；
5. 需要做数据逆向回流，确保安全性和应用回切的兜底方案；沃信在集中式数据库到分布式数据库提供了全链路迁移解决方案：全量迁移、增量迁移、数据比对校验、数据补录/修正，为异构数据库间数据迁移大大降低门槛、提高效率。

全量数据迁移、全量数据比对流程是：

多并发（多进程）从旧核心AS400源表读取数据文件，转码后生成标准的数据块文件，下载传输到X86服务器，再按原表结构数据批量导入到分布式数据库中。

每当一张表迁移完之后，就给比对系统发信号，系统驱动比对组件，快速比对两套数据库中数据表字段内容，完成数据比对。

这过程中消耗点：

1. 网卡带宽性能受限，AS400下数网卡☉是千兆卡
2. AS400磁盘IO存在瓶颈
3. 拆解》过程中，部分表还需要补分片键和大字段转换

为满足数据迁移和一次性切换、数据实时比对要求，需进行增量数据迁移与比对：

1. 准实时将AS/400的增量数据同步到分布式数据库。
2. 速度：12小时Ψ内完成AS/400核心系统500G数据库增量日志的同步。
3. 一致性：要求数据同步前后的数据完全一致。
4. 易用性：支持手动暂停和启动、同步过程中遇到错误支持记录日志、支持断点续传。

增量数据迁移流程是：

400同城镜像机：在AS/400核心系统同城机房部署同城镜像机，将同城备机上的数据变化通过MIMIX同步过来。在镜像机上部署▓JRN日志采集程序ξ，准实时采集增量JRN日志推送到数据同▽步机。

数据同步机：接收到AS/400的增量JRN日志后进行格式解析和转码处理，然后进行存储和排序处理后，按数据表并发识别事务窗口∩后，生成SQL，并按照分布式数据库要求填补分片键，发往分布式数据库。

分布式数据库：数据库代理收到同步机发送的单条SQL语句后，完成数据库写和更新处理。

（增量迁移流程图）

增量数据比对流程是：

分析JRN日志中变化表的变化记录集合的历史信息，取最后一次变化表☆主键信息，通过向目标分布式数据库进行数据抽取，同目标库的相关记录进行实时、滚动比对。

（增量比对流程）

整体一次性切换流程图：

（X86核心数ζ据迁移过程规划图）

核心切换产品工具链：

1.异构复杂表的全量移植

将AS/400核心系统将复杂表进行抽取，码制转换，大字段类型解析，数据内容转换，补数据分片键，最终生成Insert语句∞和连接下高并发、大批量将数据迁移到分布式数据库内。

2.异构数据库全量数据比对

在AS/400核心系统和X86分布式ω　数据库静止状态下，针对指定的数据表范围和字段范围，快速比对两套数据库中全量数据表字段内容。

3.数据日志同步

将AS/400核心系统中数据库变化情况，增量同步到分布式数据库中，保证两套数据库的数据变化情况完全一致，数据同步过程支持暂停和』重启，遇到故障可支持断点续传，全过程需保证两套数据库的事务一致性。

4.异构数据库抽样数据比对

在系统切换之前，AS/400核心系统与X86分布式数据库持续同步数据，通过不停机↙滚动比较，验证数据同步的一致性，降低系统切换期间的全量数据检核压力，减少切换时间窗【口。

工作原理:

通过网络旁路镜像技术，从交换机捕获数据，由透视诊断系统▆的分析服务器负责分析数据并将分析完的数据入库。web页面展示由web服务器返回的准实时数据和报警信息

数据库健康状态检测：

数据库服务器与应用服务器分别被看作是一个一个的节点，它△们之间通过tcp进行数据传输交互。通过分析从交换机数据，观察出应用与数据库的实时运行状态。

应用端和数据库之间的交互是通过请求和应答建立的，通过沃信cnstat模块获取应用和数据库之间的数据，分析得到应用和数①据库的HANG，DOWN，颠，亚，慢五种状态。

(1)HANG：

应用HANG：一段№时间内应用有连接但无请求无响应。

数据库HANG：一段时间内数据库有连接和响应率但无响应。

(2)Down：

应用Down：一段时间内应用无连接无请求无响应。

数据库Down：一段时间内数据库无连接无请求无响应。

(3)颠：

以一段时间的平均响应时间为数据进行线性拟合计算，得出平均响应时间的方差。方差越大，应用/数据库平均响应时间波◆动越大。方差超过阈值判定为颠。

(4)亚：

数据库亚：一段时间内，平均响应时间呈上升趋势且趋势大于阈值。

应用段亚：一段时间内，连接数呈下降趋势且趋势大于阈值。

(5)慢：应用/数据库响应时间回归平均数大于阈值。

提前预∴测问题

统计每类SQL的执行参数，分析获得高并发热点、单点数据，提前预测，是否存在隐患，以此为基础提¤出优化解决方案。

对查询类SQL按规则进行聚类，统计聚类后不同SQL语句和该语句下不同查询字段的次数和平均响应时间, 并对响应时间偏长的进行提前预警。

快速定①位问题

4.1 故障根卐因分析-异常SQLCODE分类诊断: 通过对SQLCODE进行分类, 直接给出出错连接下相关语句，问题根因，异常数及异常SQLCODE种类数。如: 键值重复, 空间满等错误可以直接说明。

4.2 TPS偏低诊断

通过对TPS和产出率两个维度，判断当TPS偏低时责任是否在数据库：

当TPS和产出率同时低于各自的阈值※时，可以判定责任是数据库；

当TPS低于阈值，但是产出率正常时，可◥以判定责任不是数据库。

4.3 通道未提交诊断

发现连接时间超过阈值，仍没有commit/rollback的应用连接及该事务。通过事务聚◣类找出与其相似的事务有哪些，预测下一条sql的可能性。

4.4 大事务分析诊断▼

发现及预测可能成为大事务（影响行数大于阈值）的事务。

分析影响行数大于阈值的sql语句，获取对应的SQL类型，判断影响行数大于阈值的sql语句的次数占该类sql类型总执行次数的比〖例是否达到报警值，如果达到报警值则在通过事务类型和该SQL类型的关系，找到可能成为大事务的事务。

4.5 慢SQL语句类型诊断

找出平均响应时间大于数据库平均响应时间的SQL类型。

通过SQL类型语句的执行次数和该类SQL类型的总响应时间占数据库总响应时间】的比例，找到最影响数据库性能的SQL类型。

全方位准实时监控数据库运行状态

(1)性能监控

[1] 产出率：数据库正常应答的占比，以此来评估数据库的服务能力。

[2] 响应率：数据库应答数占请求数的比例，是评估数○据库的服务能力的重要参数。

[3] 异常SQLCODE占比：检索所有的交易，分类出异常SQLCODE，实时⊙展示异常SQLCODE占比。

[4] 回滚率：回滚的事务占总事务的占比，及时发现高回滚的事务。

[5] TPS：每秒的事务量，是衡量数据库服务能力的重要』指标。

[6] RSPT：数据库的每秒平均响应时间，是衡量数据库服务能力的重要指标。

[7] 未提交事务〗量：当前连接长时间未提交的事务量，快速定位是哪类事务挂起从而影响了数据库的整体性能。

[8] TOP慢SQL：监控TOP级别的语句执行响应时间，发现慢语句并预测响应时间趋势。

(2)资源监控

[1] SQLCODE类型：根据不同SQLCODE返回码类型，快速判定数据◤库、表空间等异常行为。

[2] 影响行数：每条SQL语句的影响的行数，是评估SQL语句对数据库的影响能力的重要指标。

[3] 通道监控：监控所有连接是否正常进★行。

[4] DDL语句监控：监控所有♂的DDL语句。