作者:胡敏 / 日期:2016-05-31
從美國“棱鏡門事件”之后銀監會出于國家安全考慮,在2014年發布39號文,號召國內金融機構采用自主研發技術代替原本核心業務系統普遍采用的“IOE”(指IBM的小型機、Oracle數據庫、EMC存儲設備)架構,國內金融圈就掀起了核心業務系統的“自主”熱潮。但更換核心業務系統并非易事,尤其核心數據平臺的遷移,不僅復雜度和難度高,對于銀行業務也影響巨大。到2016年時,國內也僅有中國郵政儲蓄銀行、新疆建行、洛陽銀行等幾家在銀行關鍵應用系統采用國產主機系統。
近日,大連銀行宣布上線基于自主系統的新一代基礎數據平臺,不僅將整體性能提高了2.5倍以上,成本還比原有的IOE架構降低了1/3,也大幅降低了后期數據系統的維護成本。至此大連銀行成為繼前3家銀行之后在銀行關鍵應用系統采用國產主機系統的又一個成功試點項目。
這無疑給國內重點金融機構和城商行在核心基礎數據平臺上引入國產主機系統起到了示范作用,大連銀行是如何完成其數據平臺的遷移的?
破解數據平臺難題
大連銀行是國內少數具有一定實力采用“IOE””架構的城商行之一。作為區域性銀行,大連銀行在城商行中已經率先建立了集中管理的業務架構、IT系統和數據平臺。基礎數據平臺已完成32個上游業務系統的數據接入。隨著大連銀行總資產的逐步增長,不斷推出“九鉆完美貴賓卡”等創新金融業務,以及分行數量不斷增多,大連銀行原有系統架構的數據平臺漸漸無法滿足業務增長的需要。
原有數據平臺的基礎架構以共享存儲方式搭建,一般適用于支付、結算等OLTP(On-Line Transaction Processing聯機事務處理過程,也稱為面向交易的處理過程,其基本特征是前臺接收的用戶數據可以立即傳送到計算中心進行處理,并在很短的時間內給出處理結果,是對用戶操作快速響應的方式之一)交易型金融業務,對于管理分析、監管報送等數據類項目,當業務規模達到一定程度時,就會凸顯出系統方面存在的瓶頸。
大連銀行在數據處理方面,從晚上八九點到次日的凌晨4點半左右,不同系統分別將當天業務數據傳送至基礎數據平臺,特別是重要核心、信貸、總賬系統為基礎數據平臺預留的數據加工時間更是非常有限;如何在有限的時間內為下游系統提供更為及時準確的數據,已經成為基礎數據平臺所面臨的最大考驗。
抱著嘗試和創新探索的想法,大連銀行申報參與由銀監會組織的863國產高端主機試點項目,用浪潮天梭K1替換IBM小機。運行一年左右,國產主機運行穩定。隨著業務增長需要、跑批等管理需求,以及成本考慮,把傳統關系型的甲骨文數據庫替換成分布式數據庫成為大連銀行的現實選擇。
業內同類項目普遍采用的一體機都比較封閉,后期擴容成本非常高。每年的維護成本是采購成本的22%。對于城商行來說,這是一個非常大的壓力。在原有數據平臺的共享存儲架構之下,也無法通過橫向擴展的方式增加系統處理性能。
隨著大連銀行基礎數據平臺數據容量的不斷擴充,必須建立能夠滿足業務彈性擴張的分布式存儲的數據架構。
當前流行的Hadoop技術,因為具有分布式架構的技術特點,又因其屬于開源數據技術,所以受到越來越多客戶的青睞。但是由于其技術的復雜性,對企業技術人員的要求比較高,需要投入很多人力去不停地調優和維護,而當前大多數城商行的科技人員配置相對短缺,沒有那么多的人力成本投入維護工作當中,所以也不能很好的解決大連銀行未來發展需要。
在對比各種方案利弊后,大連銀行的新一代數據平臺決定采用DB2 DPF分布式數據庫技術替換原有的Oracle數據庫產品。
系統遷移要過哪些坎?
大連銀行最終選擇“浪潮天梭K1+DB2 DPF”構建新一代基礎數據平臺,由文思海輝負責軟件集成。這也是國產主機系統——浪潮天梭K1在城商行的第一個重點項目,因此三方成立了專門的實施團隊(包括項目經理、硬件工程師、數據庫工程師和應用遷移工程師)共同配合實施“遷移工程”。
新舊系統遷移的過程,主要分為評估、計劃、驗證、測試和上線五個階段,其中的重點是數據遷移和應用改造,以及POC驗證三大部分。
比如數據遷移方面,大連銀行有兩大疑慮:此前沒有案例可以借鑒;從Oracle到DB2的跨平臺、大數據量遷移,會不會丟失數據?會不會出現平臺不一致,數據庫無法相融的局面?
三方工程師根據兩款數據庫的差異,提出了三套解決方案進行驗證,但測試成績均不理想。在此過程中,大連銀行完全按照遷移時間窗口的最大容忍度要求,制定遷移速率指標,即在12小時內完成1.5T數據量的遷移工作。
為達到這一目標,整個項目團利用了近一個月的時間,開發測試完畢最終的遷移工具。該工具采用標準OCI接口進行開發,支持自定義的并行度設置,從而滿足遷移過程中的數據導出要求。
歷時兩年的探索和嘗試,大連銀行新一代基礎數據平臺運行穩定。大連銀行基礎數據平臺的的近5TB數據順利從原有架構遷移到新一代數據平臺上,而實際修改的代碼量不到總代碼的1%。據浪潮實驗室對原平臺和新一代平臺前后執行效率進行比較后發現,新平臺比老系統執行效率有明顯提升,特別是在整合處理包括文件加載的過程中,極限性能甚至超過原平臺的九倍,整體性能提高了2.5倍以上。
比如在銀行管理層比較關心的行內報表數據方面,以前往往需要花費10多個小時處理,以及于相關數據報表在第二天上午的上班時間仍然無法查看。而現在90%的報表在每天早上6點之前就加工完畢,其它復雜報表也在7點之前就完成,再也沒有出現“上班之后領導看不到報表”的情況。
現在,客戶在前臺即可完成對公客戶回單和賬單的統一打印、支取和管理,實現客戶自助打印回單,不僅提升效率和客戶體驗,也提高了客戶滿意度。讓城商行最頭疼的監管報送問題,如今也輕松化解。新一代數據平臺不僅不會耽誤監管報送的時間要求,也提高了報送效率。
特別是當業務規模擴展了之后,客戶不必像過去那樣,拋棄老系統采用重建方式,只需要在原有系統上進行一個擴展就可以滿足未來業務的需求,從而加速了大連銀行未來的業務創新。
“像嘗過鮮一樣,往后我們再做新的嘗試的時候,可能會更積極一些,不至于瞻前顧后,因為至少我們做過了,不會太懼怕一些不成型的、創新的項目。”大連銀行相關負責人總結道。下一步,大連銀行也會更加深入推進數據倉庫等重要內容在國產主機上的應用。