近年來(lái)，隨著我國(guó)信息技術(shù)基礎(chǔ)設(shè)施的建設(shè)快速發(fā)展，各行業(yè)領(lǐng)域的自主可控軟硬件產(chǎn)品如百花齊放班涌現(xiàn)，但其產(chǎn)品特征、行業(yè)應(yīng)用領(lǐng)域、適用場(chǎng)景以及評(píng)測(cè)標(biāo)準(zhǔn)參差不齊，如何甄別適合的產(chǎn)品、如何評(píng)估驗(yàn)證該產(chǎn)品是否滿足自身業(yè)務(wù)需求、如何實(shí)現(xiàn)產(chǎn)品應(yīng)用后的平滑過(guò)渡或替代等問題是現(xiàn)階段金融科技創(chuàng)新的難點(diǎn)。立足現(xiàn)狀,貴陽(yáng)農(nóng)商銀行以銀行核心業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫(kù)應(yīng)用試點(diǎn)作為突破口，構(gòu)建出一套基于交易回放控制的鏡像架構(gòu)平臺(tái)，以全面提升銀行系統(tǒng)驗(yàn)證的準(zhǔn)確性、一致性、時(shí)效性等，進(jìn)一步縮短銀行系統(tǒng)建設(shè)周期、版本迭代周期和產(chǎn)品更換周期，通過(guò)研發(fā)與試點(diǎn)融合應(yīng)用驗(yàn)證，切實(shí)推動(dòng)銀行業(yè)科技創(chuàng)新發(fā)展。

貴陽(yáng)農(nóng)商銀行信息科技部 總經(jīng)理 徐黔

驗(yàn)證現(xiàn)狀與驗(yàn)證難點(diǎn)

(資料圖片)

新產(chǎn)品大規(guī)模商用前的系統(tǒng)性驗(yàn)證一直是其邁向生產(chǎn)系統(tǒng)運(yùn)行的重要組成部分，是保證應(yīng)用系統(tǒng)正常工作的前提，是預(yù)警潛在威脅的排雷兵，是降低系統(tǒng)運(yùn)行風(fēng)險(xiǎn)的重要程序。系統(tǒng)的開發(fā)、測(cè)試、操作、維護(hù)等取決于開發(fā)人員、測(cè)試相關(guān)人員的技能水平和過(guò)程流程的規(guī)范性，智者千慮必有一失，再資深的技術(shù)人員和再完善的規(guī)范性流程也難以避免軟件應(yīng)用Bug發(fā)生。隨著銀行業(yè)務(wù)的快速發(fā)展，新功能新需求的快速迭代，新版本的更新周期持續(xù)縮短，如何快速驗(yàn)證系統(tǒng)一致性是我們面臨的難題，主要表現(xiàn)如下。

1.兼容問題，難以暴露。近幾年，隨著信創(chuàng)項(xiàng)目的試點(diǎn)深入，數(shù)字化轉(zhuǎn)型提質(zhì)加速，各行業(yè)領(lǐng)域信創(chuàng)替代產(chǎn)品琳瑯滿目、品類繁多。如何選擇一個(gè)合適的產(chǎn)品就必須有的放矢，比如在產(chǎn)品的適配可用性和兼容性問題上，我們往往需要花費(fèi)較大的人力財(cái)力和時(shí)間成本去測(cè)試、回歸與發(fā)現(xiàn)，在產(chǎn)品應(yīng)用系統(tǒng)層兼容方面的問題更為復(fù)雜且難以窮舉發(fā)現(xiàn)，解決隱蔽性較深的問題須有不撞南墻不回頭的決心，但可能造成摸索試探驗(yàn)證時(shí)間較長(zhǎng)或者最后臨近投產(chǎn)時(shí)才發(fā)現(xiàn)系統(tǒng)的不可用，試點(diǎn)應(yīng)用相對(duì)較大的代價(jià)是銀行開展科技創(chuàng)新應(yīng)用過(guò)程中最大的阻力。

2.考慮不全，設(shè)計(jì)疏漏。系統(tǒng)設(shè)計(jì)的合理性往往只能通過(guò)大量的實(shí)踐與應(yīng)用來(lái)證明，單從經(jīng)驗(yàn)或設(shè)計(jì)文檔出發(fā)很難判斷一個(gè)系統(tǒng)的縝密程度。若唐突升級(jí)或更換生產(chǎn)系統(tǒng)運(yùn)行的軟硬件產(chǎn)品，很可能直接造成不可估量的業(yè)務(wù)連續(xù)性風(fēng)險(xiǎn)或系統(tǒng)性金融風(fēng)險(xiǎn)。站在系統(tǒng)提供方或服務(wù)方角度，他們可能對(duì)自身產(chǎn)品或系統(tǒng)滿懷信心，但站在銀行經(jīng)營(yíng)機(jī)構(gòu)方角度，面對(duì)各式各樣的信創(chuàng)產(chǎn)品，有國(guó)外引進(jìn)自研的、有獨(dú)立設(shè)計(jì)研發(fā)的、有買斷式的等等，盲目的選擇與嘗試只會(huì)事倍功半。

3.性能不足，力不勝任。不管是系統(tǒng)升級(jí)還是產(chǎn)品替代，任何產(chǎn)品源代碼調(diào)整或參數(shù)調(diào)整都可能對(duì)其性能產(chǎn)生直接影響，尤其針對(duì)一些復(fù)雜性較高模塊的邏輯修改，亦或是底層中間件及數(shù)據(jù)庫(kù)參數(shù)等變更，性能表現(xiàn)可能有天壤之別。即便是系統(tǒng)上線投產(chǎn)前可進(jìn)行大規(guī)模的性能測(cè)試，但測(cè)試像是個(gè)無(wú)底洞，每次變更都需要重復(fù)覆蓋性的測(cè)試，需投入大量的人力物力，非長(zhǎng)久之計(jì)。

工欲善其事必先利其器——鏡像架構(gòu)平臺(tái)

1.平臺(tái)由來(lái)，初露鋒芒。貴陽(yáng)農(nóng)商銀行積極響應(yīng)國(guó)家自主可控軟件替代工程的號(hào)召，分別從數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量、數(shù)據(jù)可控等行業(yè)應(yīng)用短板方面研判分析，深知數(shù)據(jù)庫(kù)只有經(jīng)受銀行核心業(yè)務(wù)的高并發(fā)實(shí)時(shí)交易的驗(yàn)證，方能打開自主可控?cái)?shù)據(jù)庫(kù)在金融行業(yè)領(lǐng)域商用的鑰匙，故而選取了以銀行核心業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫(kù)應(yīng)用試點(diǎn)作為突破口，為銀行業(yè)核心數(shù)據(jù)安全、自主可控?cái)?shù)據(jù)庫(kù)應(yīng)用探索實(shí)踐，提供切實(shí)有效的典型案例參考。為此，貴陽(yáng)農(nóng)商銀行在政府支持下專門啟動(dòng)了銀行核心業(yè)務(wù)系統(tǒng)的分布式數(shù)據(jù)庫(kù)驗(yàn)證與替代項(xiàng)目，并在幾年的試點(diǎn)應(yīng)用過(guò)程中，通過(guò)不斷的技術(shù)迭代、總結(jié)分析、架構(gòu)重構(gòu)與嘗試和專家技術(shù)論證等，逐步探索出一套基于交易回放控制的鏡像架構(gòu)平臺(tái)，用于在生產(chǎn)環(huán)境同步跟蹤驗(yàn)證數(shù)據(jù)庫(kù)的可用性，既不會(huì)對(duì)生產(chǎn)運(yùn)行系統(tǒng)造成業(yè)務(wù)連續(xù)性中斷，又可有效監(jiān)測(cè)和驗(yàn)證數(shù)據(jù)庫(kù)適配應(yīng)用效果。經(jīng)過(guò)幾年的試點(diǎn)應(yīng)用，該平臺(tái)不斷改進(jìn)和升級(jí)，已不僅僅是作為數(shù)據(jù)庫(kù)是否可行的驗(yàn)證工具，還是一套通用的基礎(chǔ)技術(shù)架構(gòu)平臺(tái)。在基礎(chǔ)平臺(tái)適配、組件適配、中間件適配、數(shù)據(jù)庫(kù)適配、新功能驗(yàn)證、自動(dòng)化測(cè)試等場(chǎng)景均可有所作為。

圖 鏡像架構(gòu)

2.合理架構(gòu)，解耦獨(dú)立。鏡像平臺(tái)的架構(gòu)是通過(guò)交易回放控制系統(tǒng)作為“大腦”中樞，把原生系統(tǒng)的業(yè)務(wù)數(shù)據(jù)異步剝離出來(lái)，并通過(guò)自研的交易回放控制系統(tǒng)對(duì)原生數(shù)據(jù)進(jìn)行加工、轉(zhuǎn)換、重組，再根據(jù)不同場(chǎng)景的測(cè)試點(diǎn)，搭配不同的鏡像參數(shù)配置，將處理過(guò)的數(shù)據(jù)回放至鏡像系統(tǒng)以完成交易回放。最后通過(guò)對(duì)比引擎比對(duì)原生系統(tǒng)與鏡像系統(tǒng)的交易結(jié)果，以結(jié)果為導(dǎo)向去驗(yàn)證是否滿足場(chǎng)景需求，即在不影響原生系統(tǒng)運(yùn)行的基礎(chǔ)上進(jìn)行驗(yàn)證。該模式不同于沙盒系統(tǒng)，因鏡像平臺(tái)是獨(dú)立的環(huán)境，且鏡像中的操作不影響原生環(huán)境，同時(shí)鏡像平臺(tái)又與原生環(huán)境存在關(guān)聯(lián)，鏡像平臺(tái)中的操作都是從原生環(huán)境中完全加工拷貝過(guò)來(lái)的，而運(yùn)行結(jié)果還會(huì)根據(jù)需要與原生環(huán)境結(jié)果數(shù)據(jù)進(jìn)行比對(duì)，從而達(dá)到驗(yàn)證目的。鏡像平臺(tái)的基礎(chǔ)架構(gòu)如上圖所示。

該架構(gòu)使得貴陽(yáng)農(nóng)商銀行對(duì)各種業(yè)務(wù)創(chuàng)新場(chǎng)景的測(cè)試或驗(yàn)證實(shí)現(xiàn)快速響應(yīng)，為系統(tǒng)的版本迭代和系統(tǒng)替換提供了重要指導(dǎo)方法。

3.數(shù)據(jù)支撐，立竿見影。貴陽(yáng)農(nóng)商銀行鏡像架構(gòu)平臺(tái)自投入以來(lái)，在克隆模式下可基本回放了原生系統(tǒng)的全部交易，有效支撐原生系統(tǒng)99%的TPS，且同步延遲在3秒以內(nèi)，架構(gòu)資源消耗較小，共發(fā)現(xiàn)問題800多個(gè)，保障了原生系統(tǒng)的安全穩(wěn)定運(yùn)行，避免了直接使用替代產(chǎn)品帶來(lái)的未知風(fēng)險(xiǎn)，對(duì)同業(yè)替代項(xiàng)目具有很好的借鑒意義。

技術(shù)攻關(guān)，關(guān)鍵技術(shù)成果分享

在鏡像平臺(tái)的設(shè)計(jì)開發(fā)和技術(shù)迭代過(guò)程中，逐步演化出交易回放控制技術(shù)、滯后采集技術(shù)、時(shí)間片調(diào)度技術(shù)、分組并發(fā)技術(shù)等四項(xiàng)關(guān)鍵技術(shù)，以貴陽(yáng)農(nóng)商銀行新核心自主可控分布式數(shù)據(jù)庫(kù)試點(diǎn)項(xiàng)目為例，對(duì)四項(xiàng)關(guān)鍵技術(shù)的簡(jiǎn)述如下。

1.交易回放控制技術(shù)。鏡像平臺(tái)通過(guò)連接兩套獨(dú)立的核心應(yīng)用，兩套核心應(yīng)用的數(shù)據(jù)源又分別連接兩套異構(gòu)的數(shù)據(jù)庫(kù)（分別稱為參照庫(kù)和驗(yàn)證庫(kù)），運(yùn)用交易回放控制系統(tǒng)作為中樞驅(qū)動(dòng)，采集參照庫(kù)的原始交易與原始結(jié)果，經(jīng)過(guò)數(shù)據(jù)加工，重新自動(dòng)回放新交易在驗(yàn)證庫(kù)所在的核心應(yīng)用里執(zhí)行。通過(guò)對(duì)比重新執(zhí)行的結(jié)果，從交易層面驗(yàn)證兩套異構(gòu)庫(kù)運(yùn)行結(jié)果是否一致，并且通過(guò)每日從參照庫(kù)與驗(yàn)證庫(kù)中抽取關(guān)鍵技術(shù)指標(biāo)進(jìn)行核對(duì)，多維度準(zhǔn)確、全面、及時(shí)反映驗(yàn)證庫(kù)是否可以替代參照庫(kù)的可行性。

2.交易回放延遲采集技術(shù)。架構(gòu)是由兩套獨(dú)立的應(yīng)用分別連接兩套異構(gòu)數(shù)據(jù)庫(kù)，為保證交易執(zhí)行結(jié)果具備一致性、可比性，交易不能直接通過(guò)隊(duì)列的形式分發(fā)到兩套獨(dú)立應(yīng)用（若因數(shù)據(jù)庫(kù)行鎖等原因出現(xiàn)結(jié)果執(zhí)行不一致時(shí)，沒有唯一參考系，交易結(jié)果不具備可比性，達(dá)不到驗(yàn)證效果），架構(gòu)通過(guò)從原生系統(tǒng)采集處理成功的交易轉(zhuǎn)發(fā)到鏡像系統(tǒng)執(zhí)行，做到應(yīng)用獨(dú)立而交易不獨(dú)立，原生系統(tǒng)成功的交易鏡像系統(tǒng)理論必然成功，而原生系統(tǒng)失敗的交易可能因?yàn)闀r(shí)序等原因在鏡像系統(tǒng)里執(zhí)行成功（這樣也會(huì)導(dǎo)致結(jié)果不具參考性，所以失敗的交易未進(jìn)行采集），因此鏡像系統(tǒng)回放的交易必須等待原生系統(tǒng)先執(zhí)行完成。特別是處理代發(fā)代扣等耗時(shí)交易時(shí)，要避免鏡像系統(tǒng)后發(fā)先至、先發(fā)后至等問題。所以滯后采集技術(shù)就成為架構(gòu)時(shí)序一致的重要環(huán)節(jié)。

3.交易回放時(shí)間片調(diào)度技術(shù)。為保證鏡像系統(tǒng)跟跑效率，同時(shí)驗(yàn)證多并發(fā)下交易結(jié)果一致性，鏡像系統(tǒng)執(zhí)行交易時(shí)需要模擬原生系統(tǒng)的并發(fā)量。這個(gè)過(guò)程很像地鐵進(jìn)站時(shí)人群從四面八方過(guò)來(lái)，原生系統(tǒng)通過(guò)多個(gè)閘機(jī)（即并發(fā)處理）進(jìn)站后排隊(duì)等待形成有先后順序的一列。而鏡像系統(tǒng)回放交易時(shí)需要重新模擬進(jìn)站時(shí)的場(chǎng)景，把已經(jīng)排好隊(duì)的人群再次進(jìn)站，且進(jìn)站后排隊(duì)的先后順序需要和之前的一致。這里面存在兩個(gè)矛盾點(diǎn)，即排隊(duì)順序和進(jìn)站速度。若要保持順序完全一致就只能開一個(gè)閘機(jī)（即不開啟并發(fā)），這就會(huì)導(dǎo)致進(jìn)站速度緩慢；若要保持速度一致就需開多個(gè)閘機(jī)，但此時(shí)無(wú)法控制多個(gè)閘機(jī)進(jìn)站后的排隊(duì)順序。對(duì)應(yīng)到鏡像平臺(tái)，在鏡像系統(tǒng)回放交易時(shí)就要避免后發(fā)生的交易已經(jīng)調(diào)用而其依賴的前序交易還未執(zhí)行的時(shí)序問題，這要求交易發(fā)生的先后順序要和原生系統(tǒng)發(fā)生的一樣；另一方面原生系統(tǒng)本身是并發(fā)的，若鏡像系統(tǒng)不開啟并發(fā)則會(huì)導(dǎo)致回放速度滯后，交易會(huì)產(chǎn)生大量積壓而導(dǎo)致架構(gòu)癱瘓。為了平衡這兩個(gè)矛盾點(diǎn)，鏡像平臺(tái)采用時(shí)間片調(diào)度技術(shù)把交易劃分成一個(gè)個(gè)時(shí)間片批次，每次并發(fā)處理時(shí)只處理該時(shí)間片的交易，待第一個(gè)時(shí)間片的交易全部處理完后才進(jìn)入第二個(gè)時(shí)間片，這樣通過(guò)該技術(shù)兼顧了交易時(shí)序與處理效率的問題。

4.交易回放分組并發(fā)技術(shù)。在時(shí)間片調(diào)度技術(shù)的基礎(chǔ)上，單個(gè)時(shí)間片里的交易不再考慮先后順序（基于在單個(gè)時(shí)間片里不會(huì)有多個(gè)人操作同一個(gè)賬戶的設(shè)定），而根據(jù)關(guān)鍵字段進(jìn)行分組，這樣鏡像系統(tǒng)就可以開啟并發(fā)。貴陽(yáng)農(nóng)商銀行的示列中，通過(guò)對(duì)核心業(yè)務(wù)系統(tǒng)所有交易的通用字段運(yùn)用特定算法進(jìn)行運(yùn)算，使不同機(jī)構(gòu)、不同的柜員發(fā)起的交易進(jìn)入不同的線程組隊(duì)列，對(duì)單個(gè)時(shí)間片的交易進(jìn)行分組，處理交易時(shí)即可根據(jù)分組情況開啟并發(fā)。通過(guò)分組并發(fā)技術(shù)，保證了鏡像系統(tǒng)的執(zhí)行效率，鏡像系統(tǒng)最大可能地復(fù)原了原生系統(tǒng)的交易執(zhí)行情況，使得架構(gòu)具備可執(zhí)行性。

驗(yàn)證優(yōu)勢(shì)，促進(jìn)銀行科技創(chuàng)新發(fā)展

1.降低成本，避免重復(fù)造車。鏡像平臺(tái)架構(gòu)提供了一套通用有效的驗(yàn)證解決方案。無(wú)論是針對(duì)操作系統(tǒng)、服務(wù)器、數(shù)據(jù)庫(kù)還是中間件的驗(yàn)證替代，更或是針對(duì)同一產(chǎn)品的新舊功能點(diǎn)，都可以通過(guò)鏡像平臺(tái)在不影響原有系統(tǒng)的前提下對(duì)新系統(tǒng)進(jìn)行生產(chǎn)驗(yàn)證，做到一套架構(gòu)多處應(yīng)用，從根本上推動(dòng)銀行科技的創(chuàng)新發(fā)展。

2.反向驗(yàn)證，換位優(yōu)化迭代。傳統(tǒng)驗(yàn)證主要針對(duì)新系統(tǒng)、新功能的一致性驗(yàn)證，都是以舊驗(yàn)新，但對(duì)于比較年久的、比較底層的模塊大家都是望而卻步。秉承只要系統(tǒng)不掛絕不改的原則，這就會(huì)導(dǎo)致技術(shù)故步自封，新功能不敢大膽嘗試。而通過(guò)平臺(tái)技術(shù)驗(yàn)證，在不影響原生系統(tǒng)的基礎(chǔ)上，針對(duì)性地更改某個(gè)點(diǎn)，一點(diǎn)一滴地回溯驗(yàn)證老系統(tǒng)功能模塊，換個(gè)思維角度反向優(yōu)化老產(chǎn)品的功能，充分發(fā)揮銀行科技創(chuàng)新能力。

3.真實(shí)交易，結(jié)果更具說(shuō)服力。相比于傳統(tǒng)的從生產(chǎn)環(huán)境抽取歷史數(shù)據(jù)進(jìn)行交易回放或“造數(shù)”進(jìn)行交易回放等手段，采用鏡像平臺(tái)可以進(jìn)行實(shí)時(shí)回放。通過(guò)上述的四項(xiàng)關(guān)鍵技術(shù)，鏡像平臺(tái)可以在鏡像系統(tǒng)復(fù)刻原生系統(tǒng)實(shí)際發(fā)生的所有場(chǎng)景，如交易的波峰波谷、短時(shí)間的高并發(fā)場(chǎng)景等，有助于更好地驗(yàn)證新技術(shù)在銀行業(yè)實(shí)際生產(chǎn)環(huán)境將要面臨的各種挑戰(zhàn)，保證銀行科技創(chuàng)新有據(jù)可依。

4.風(fēng)險(xiǎn)隔離，科技創(chuàng)新共贏。在金融業(yè)信息科技領(lǐng)域，信息技術(shù)應(yīng)用重在穩(wěn)而不在新，金融安全穩(wěn)定是銀行業(yè)信息科技的風(fēng)險(xiǎn)底線。在信息科技創(chuàng)新的過(guò)程中，首當(dāng)其沖的是創(chuàng)新可能產(chǎn)生的風(fēng)險(xiǎn)，科技創(chuàng)新是一把雙刃劍，使用得當(dāng)將促進(jìn)業(yè)務(wù)發(fā)展、科技持續(xù)創(chuàng)新，使用不當(dāng)將可能引發(fā)系統(tǒng)性金融風(fēng)險(xiǎn)。通過(guò)鏡像平臺(tái)可有效降低直接應(yīng)用新技術(shù)、新功能等帶來(lái)的未知風(fēng)險(xiǎn)，新事件的可行性可得以提前驗(yàn)證，通過(guò)鏡像平臺(tái)驗(yàn)證再迭代到生產(chǎn)環(huán)境，可有效提升信息系統(tǒng)支撐效率，可有效實(shí)現(xiàn)科技創(chuàng)新嘗試與風(fēng)險(xiǎn)緩釋保障的雙贏。

回放控制驗(yàn)證價(jià)值

基于鏡像平臺(tái)架構(gòu)驗(yàn)證新模式，我們也在加大研發(fā)力度，努力構(gòu)建一個(gè)行業(yè)應(yīng)用模板與典范，將其應(yīng)用并融入到科技創(chuàng)新的各個(gè)環(huán)節(jié)中，真正讓技術(shù)的創(chuàng)新結(jié)果更有說(shuō)服力、更有影響力、更有驅(qū)動(dòng)力。順應(yīng)科技創(chuàng)新時(shí)代潮流，抓住機(jī)遇迎接挑戰(zhàn)，必須堅(jiān)持以科技創(chuàng)新為驅(qū)動(dòng)力，以監(jiān)管指導(dǎo)為底線，以風(fēng)險(xiǎn)控制為前提，全面把握金融科技領(lǐng)域技術(shù)的發(fā)展特征，推動(dòng)金融行業(yè)創(chuàng)新型科技發(fā)展，構(gòu)建從科技賦能到科技引領(lǐng)的金融新氣象，為金融科技數(shù)字化的高質(zhì)量發(fā)展、為自主可控軟件的蓬勃發(fā)展盡綿薄之力。

（欄目編輯：楊昆樺）

標(biāo)簽：