摘要：业务多活架构是企业实现BCM（业务连续性管理）的核心支撑。通过多地节点同时提供服务，可规避因自然灾害（如地震、洪水）、人为事故（如网络攻击、误操作）或基础设施故障（如电力中断）导致的业务中断风险。
文/红塔证券股份有限公司信息技术部 钟艺华
业务多活架构是企业实现BCM（业务连续性管理）的核心支撑。通过多地节点同时提供服务，可规避因自然灾害（如地震、洪水）、人为事故（如网络攻击、误操作）或基础设施故障（如电力中断）导致的业务中断风险。
依据证监会发布的《证券期货业安全管理管理办法》《证券基金经营机构信息技术管理办法》等规定，实时重要信息系统应当实现同城双中心、异地三中心运行，具备分钟级切换能力；非实时重要信息系统应当实现同城双中心、异地三中心运行，具备小时级切换能力。
基于业务多活要求，红塔证券已经构建了同城双中心、异地三中心的“两地三中心”基础框架。随着业务的不断扩展，公司业务系统数量众多、互访逻辑日趋复杂。在传统的基于IP的业务交互模式中，IP与业务紧密关联，一旦某个业务系统中的某台服务器的地址发生变更，整个业务链条甚至周边业务系统都需要进行配合改动，这无疑极大地增加了系统的复杂性和维护成本。此外，IP地址具有唯一性，其灵活性不足，在进行灾备切换时，需人工修改IP地址，导致灾备切换效率低下且充满风险，恢复时间（RTO）往往较长，难以满足证券业务对连续性的高要求。
红塔证券为打破IP业务强关联带来的局限性，实现业务容错容灾，经过前期技术论证后，确定了内网业务系统域名化改造方案。该方案打破原有IP访问的紧耦合关系，将内网业务交互的基本方式由IP指向转变为域名指向，构建冗余、智能、灵活的域名服务体系，可在保持域名不变的情况下，实现业务在不同数据中心的灵活调度和调节。
1. 制定内网域名规范
进行内网域名化改造之前，红塔证券内网业务系统之间都是以IP方式互访，没有成体系的域名规范设计，需要从无到有，逐步实现内网的域名体系建设。
制定内网域名规范是整个域名化改造的基础，其设计需要兼顾现网业务逻辑，做到语义清晰、层级明了、全网唯一，并考虑未来内网业务的增量需求。基于以上设计原则，红塔证券确立了内网域名最多四级的命名架构：节点名称（NodeName）、数据中心简称（DatacenterName）、应用简称（AppName）、顶级域名（TopDomainName）。顶级域名采用一级命名规则：TopDomainName.通过区域划分为三个顶级域prod、test、dev，以对应内网业务的生产、测试、开发区域。
通过科学的制定内网域名规范，可以快速地输出内网每套业务系统域名，做到不同业务使用域名不重复、全网唯一，通过域名规范可以有规律地、清晰地识别各类业务系统。
图1 红塔证券内网域名规范体系
2. 域名化改造测试验证
内网业务系统域名化改造的测试验证，是域名化改造过程当中的关键阶段。我们不仅需要在这一阶段充分调研、测试，验证业务系统对于域名化改造的支持程度，同时在测试过程中需要充分验证未来内网域名解析系统的架构、各类应用系统的域名解析调度模型、域名解析的TTL时间、应用系统的健康探测模型等关键环节，为后期域名解析业务在生产上线提供充分的实践依据。在这一阶段的测试重点是通过域名来实现数据库OceanBase的多数据中心调度，为未来内网业务系统全面转型提供有力支撑。
在按照生产环境1:1搭建的OceanBase测试环境中，设置OceanBase的测试域名为example.ob.test，域名解析对应6条A记录按照1:1:1等比例分布在红塔证券三个数据中心DC1，DC2，DC3。在测试过程中充分验证了域名解析系统对于OceanBase数据库SQL的健康探测方式；OceanBase数据库基于域名所实现的主备、就近、多活的调度模型；通过域名解析调度实现OceanBase数据库秒级的故障切换时间。
通过前期的OceanBase域名化改造测试，充分验证了内网业务系统域名化改造的可行性，为内网应用系统全面域名化，实现红塔证券应用多数据中心调度奠定了技术基础。
3. 搭建高可用域名解析系统
在通过业务系统域名化改造测试阶段后，红塔证券开始按照测试阶段已验证的域名解析服务架构来搭建内网域名解析系统，支撑内网业务全面域名化。
域名解析系统整体采用“两地三中心”架构，系统管理平面与业务平面分离，DNS节点分布式部署在各中心，由管理节点统一管理，三中心业务解析节点采用OSPF的Anycast集群架构部署，为客户端和服务端提供统一的域名解析入口IP。
从管理层面上看，域名解析系统承担全网DNS解析节点的管理功能，实现配置的统一下发、DNS服务状态的实时监控、日志数据的收集统计与展示，实现运维管理的可视化、平台化、自动化；从服务层面看，在三个数据中心部署DNS解析集群，面向终端、服务器提供域名解析服务。解析节点集群采用IP ANYCAST技术架构，利用OSPF的最短路径原理，实现客户端、服务器解析请求的最优选路，精准控制解析流量走向；集群使用统一的ANYCAST IP对外提供DNS域名解析服务，实现DNS解析服务IP的统一规范化。
图2 内网域名网络架构
4. 生产业务改造
在内网域名解析系统建设完成后，红塔证券开始在生产区逐步上线域名解析业务。生产区的域名化改造按照先非实时业务、后实时业务；先外围业务、后核心业务的原则分批次改造内网业务系统。通过前期改造外围业务系统，积累经验，发现未知问题，后期改造核心业务系统的方式，当前已基本完成了内网业务系统访问方式由IP互访向域名访问的过渡。
目前，已经完成了“两地三中心”的标准证券行业域名服务架构，在此基础网络服务架构的支撑下，正逐步将生产环境域名化改造由非核心业务扩展至实时核心业务，实现内网业务系统内部、业务系统之间、客户端访问业务系统都使用域名访问。在已有的“两地三中心”架构基础之上，主数据中心、同城数据中心、异地灾备中心将利用DNS系统的GSLB全局负载功能，感知应用健康状态，实现自动化的流量负载和灾备切换。
图3 “两地三中心”基于域名的全局流量负载调度
GSLB即全局负载均衡（Global Server Load Balance）。作用是实现在广域网上不同地理位置的服务集群间的流量调配，根据各种策略和条件，将用户的请求定向到最合适的节点或区域，从而提高服务的可用性、性能和用户体验。红塔证券在内网域名化改造完成后，基于内网DNS系统的GSLB功能可以方便的实现“两地三中心”的智能流量调度以及日常的业务容灾切换演练。
1. 业务健康探测模型
DNS GSLB实现业务智能调度的核心在于通过持续的健康探测来实时监测多中心应用集群的运行状态，并根据预设的解析调度策略在主中心应用集群出现故障时迅速切换到备中心应用集群，确保业务的不间断运行。健康探测是整个机制的基础。
红塔证券在域名化改造过程中也探索出了一套适合自己的应用健康探测模型。首先，通过将分布在“两地三中心”的6个解析服务节点组成一个健康探测同步组，组内成员实时同步节点自身应用健康探测状态，保障应用状态的实时性；然后，针对本数据中心的应用优先使用本中心解析服务节点进行健康检测，当本数据中心解析服务节点异常后，自动切换为其他数据中心节点探测，保障探测节点的容灾；最后，再通过主备探测机制顺序执行探测任务，主探测机制采用轮询探测的方式将探测请求平均分布到数据中心内多个解析服务节点，备份探测机制采用全局可用的方式，保障健康探测结果万无一失。
图4 健康探测机制图
2. OceanBase全局可用性调度
红塔证券已顺利完成了网内数据库OceanBase的域名化改造，并且通过DNS的GSLB功能实现了OceanBase数据库“两地三中心”的部署以及业务容灾调度。
正常情况下，通过OceanBase数据库域名example.ob.test，将应用请求数据库流量调度至本地主数据中心OceanBase数据库集群；当本地主数据中心OceanBase数据库集群故障，DNS系统通过健康探测自动感知集群状态变化，按照预设的解析调度策略，将应用请求数据库流量调度至同城数据中心OceanBase数据库集群或者异地灾备数据中心OceanBase数据库集群，从而保证了应用数据库连接的稳定性和持续性。
图5 基于内网域名调度的故障切换
3. NAS存储服务就近访问调度
在基于GSLB实现多中心业务智能容灾调度的场景中，需要为不同类型的业务选择合适的调度算法，通过契合的调度算法，才能按照业务需求实现智能的流量调度。
红塔证券在对内网的数据存储业务NAS系统做域名化改造时，选择了基于用户来源的就近访问调度算法。通过判断用户所在的网段，并综合考虑网络状况和各数据中心NAS服务节点的负载情况，将用户请求引导至就近的数据中心内网络质量最佳且负载较低的NAS服务节点，以提供最快的访问速度和最佳的用户体验。
正常情况下，DNS系统通过判断用户来源，按照设置的就近调度算法，将本数据中心的NAS请求引导至本中心NAS服务节点；当本中心NAS服务节点故障，DNS系统通过健康探测自动感知NAS节点状态变化，按照预设的解析调度策略配合就近调度算法，将客户端的NAS请求引导至最近数据中心内可用的NAS服务节点。
图6 NAS就近调度访问图
从最初的制定内网域名规范、业务系统域名化改造前期测试验证，后期完成内网高可用域名解析服务架构的搭建，到最终完成内网生产区域名化改造工作。红塔证券从无到有，逐步实现了内网域名体系建设。应用系统实现域名化访问后，打破了内网IP与业务强关联带来的局限性，大幅提高应用的灵活性，实现内网应用的多中心容灾切换，将多个系统的RTO时间缩小至分钟级。
未来，红塔证券将持续不断对“两地三中心”业务架构、互联网域名解析架构及域名解析安全等方面进行探索与实践，通过新技术支撑新证券业务场景落地，满足未来业务发展需要，加快推进数字证券、科技证券建设，为客户提供更优质的证券业务服务。
来源：金融电子化