引言: 融合數(shù)據(jù)湖與數(shù)倉的創(chuàng)新之路

　　在數(shù)字金融時代，數(shù)據(jù)已成為金融機構的核心競爭力。杭銀消費金融作為一家持牌消費金融機構，雖以金融業(yè)務為核心，卻始終保持著強烈的科技創(chuàng)新精神，發(fā)明專利的話屈居行業(yè)第二。面對業(yè)務高速發(fā)展帶來的數(shù)據(jù)挑戰(zhàn)，公司開始了一場圍繞數(shù)據(jù)基礎設施的變革——構建基于鏡舟數(shù)據(jù)庫的GLH湖倉一體平臺。

　　GLH代表了公司在湖倉一體化道路上的探索與實踐，是連接業(yè)務與技術的關鍵橋梁。

　　一、GLH建設背景：數(shù)據(jù)痛點驅動創(chuàng)新

　　1.業(yè)務場景需求

　　作為一家以“數(shù)據(jù)、場景、風控、技術”為核心的消費金融機構，公司業(yè)務發(fā)展迅速，但傳統(tǒng)數(shù)據(jù)處理架構已無法滿足日益增長的數(shù)據(jù)需求，這些需求不僅關系到日常運營，更直接影響公司戰(zhàn)略決策和合規(guī)底線。

　　策略數(shù)據(jù)實時性：金融風控策略需要準時獲取數(shù)據(jù)支持決策，哪怕幾分鐘的延遲都可能導致風險控制失效；

　　多表數(shù)據(jù)一致性：不同庫表間數(shù)據(jù)同步必須保持時間點一致性，一旦出現(xiàn)不一致，可能導致業(yè)務邏輯混亂；

　　經(jīng)營數(shù)據(jù)準確性：管理層關注的經(jīng)營日報必須準確及時，這直接影響了公司戰(zhàn)略決策走向；

　　業(yè)務對賬需求：日間數(shù)據(jù)支持業(yè)務對賬流程，而傳統(tǒng)ETL無法滿足這一時效性要求；

　　監(jiān)管合規(guī)要求：監(jiān)管上報數(shù)據(jù)必須滿足時效性和準確性。

　　2.核心痛點分析

　　在傳統(tǒng)數(shù)據(jù)架構下，公司遇到了幾個關鍵問題：

　　問題1：數(shù)據(jù)回溯困難

　　數(shù)據(jù)傳輸過程出現(xiàn)異常，可能造成數(shù)據(jù)缺失，問題發(fā)現(xiàn)不及時，數(shù)據(jù)回溯成本高。

　　問題2：變動明細缺失

　　監(jiān)管報送場景下，生產(chǎn)系統(tǒng)中客戶信息一天內多次變更則需要報送每次的狀態(tài)，但生產(chǎn)系統(tǒng)沒有保存每次的變更信息，只能靠每日批量獲取日終最后一次狀態(tài)，無法滿足監(jiān)管要求全量報送每次變更的需求。

　　問題3：時點數(shù)據(jù)不準

　　受資源限制，抽取任務執(zhí)行時點也可能存在偏差或無法執(zhí)行，導致跨表數(shù)據(jù)同步存在時間差，同一業(yè)務在不同表中的數(shù)據(jù)狀態(tài)不一致，造成業(yè)務邏輯混亂。

　　問題4：跨系統(tǒng)日切問題

　　以交易對賬還款場景為例，交易系統(tǒng)和賬務系統(tǒng)等不同系統(tǒng)間對同一交易的處理時間不同，導致日切數(shù)據(jù)嚴重不準確，直接影響業(yè)務對賬。

　　這些痛點不僅僅是技術困擾，更直接威脅業(yè)務發(fā)展：無法實時同步數(shù)據(jù)影響業(yè)務策略執(zhí)行效果；數(shù)據(jù)不一致導致業(yè)務對賬困難；數(shù)據(jù)質量無法保證使監(jiān)管合規(guī)面臨風險；數(shù)據(jù)回溯困難使審計工作耗時且成本高昂。

　　二、融合鏡舟數(shù)據(jù)庫打造湖倉一體架構

　　1.GLH功能架構

　　這一架構不僅滿足功能需求，更兼顧了系統(tǒng)的穩(wěn)定性、擴展性和可維護性，為湖倉一體平臺奠定了堅實基礎。

　　2.為什么選擇鏡舟數(shù)據(jù)庫替代GreenPlum

　　在數(shù)據(jù)倉庫選型這一關鍵決策上，團隊經(jīng)過反復論證和實踐測試，最終選擇鏡舟數(shù)據(jù)庫(StarRocks 企業(yè)版)作為核心存儲引擎。團隊面臨的選擇并不容易——原有的26臺生產(chǎn)環(huán)境GreenPlum集群隨著業(yè)務量增加，性能日益下降，而擴容意味著高昂的投入：

　　降本增效：GreenPlum的授權費用高昂且橫向擴展成本高，而鏡舟數(shù)據(jù)庫提供了更具性價比的選擇，符合公司降本增效的戰(zhàn)略需求；

　　實時寫入能力：相比Hive等傳統(tǒng)大數(shù)據(jù)工具，鏡舟數(shù)據(jù)庫支持實時數(shù)據(jù)寫入和事務查詢，在實時數(shù)據(jù)場景下有著天然優(yōu)勢；

　　統(tǒng)一數(shù)據(jù)平臺：數(shù)據(jù)分散在各個系統(tǒng)形成“數(shù)據(jù)孤島”，而鏡舟數(shù)據(jù)庫作為統(tǒng)一的數(shù)據(jù)存儲與計算平臺，能夠滿足需求。

　　3.基于鏡舟數(shù)據(jù)庫的湖倉一體架構設計

　　在新架構中，GLH與鏡舟數(shù)據(jù)庫深度融合，共同構建了真正意義上的湖倉一體平臺。

　　存算分離設計：底層采用HDFS存儲(規(guī)劃未來遷移至S3)，靈活應對數(shù)據(jù)規(guī)模增長，既保證性能又控制成本；

　　多模型表設計：結合StarRocks的明細表和寬表能力，設計出支持時間序列、數(shù)據(jù)回溯等特性的自定義表結構，滿足各種業(yè)務場景需求；

　　統(tǒng)一數(shù)據(jù)處理：采用“一次采集、多次加工”的理念，所有數(shù)據(jù)只需維護單一處理流程，避免重復開發(fā)，顯著提升了開發(fā)效率和數(shù)據(jù)一致性；

　　靈活數(shù)據(jù)分發(fā)：支持通過Kafka向其他系統(tǒng)分發(fā)數(shù)據(jù)，滿足Flink CDC等場景需求，打造了開放、靈活的數(shù)據(jù)生態(tài)。

　　三、顯著成效：業(yè)務性能與成本效益兼顧

　　在實際部署過程中，團隊積累了寶貴的經(jīng)驗：

　　批次時間優(yōu)化：團隊根據(jù)業(yè)務需求靈活調整數(shù)據(jù)同步批次時間，有的表需要5秒同步一次，有的則是幾分鐘，這種差異化策略既滿足了業(yè)務需求，又平衡了系統(tǒng)性能；

　　分區(qū)分桶調優(yōu)：分析業(yè)務特點，重新設計了分區(qū)策略，以減少小文件合并開銷，大幅提升了系統(tǒng)性能；

　　資源合理分配：計算節(jié)點與存儲節(jié)點資源配比優(yōu)化，監(jiān)控顯示，18個CN節(jié)點和FE節(jié)點組成的集群運行穩(wěn)定，CPU利用率常年保持在50%以下，在下午和凌晨的業(yè)務高峰期也能從容應對，確保系統(tǒng)穩(wěn)定運行。

　　顯著業(yè)務成效

　　建成后取得了顯著成效：

　　全面數(shù)據(jù)覆蓋：已實時接入3,800+表，涵蓋公司所有業(yè)務系統(tǒng)；

　　分鐘級同步：從數(shù)據(jù)產(chǎn)生到可用，實現(xiàn)了分鐘級無延遲同步，與傳統(tǒng)T+1模式相比，業(yè)務響應速度提升了數(shù)十倍；

　　批處理能力提升：支持每日運行6,500+個任務，包括800+個數(shù)倉任務，與原有架構相比，處理效率提升顯著；

　　業(yè)務應用深化：打破了原有只允許批量查詢的限制，開放實時查詢接口，使業(yè)務系統(tǒng)能夠直接獲取實時數(shù)據(jù)；

　　這些成效不僅僅是數(shù)字上的提升，更轉化為了業(yè)務響應速度的提高和客戶體驗的改善，為公司核心競爭力的提升作出了實質性貢獻。

　　四、未來發(fā)展展望

　　GLH已完成核心功能建設，包括API服務、調度引擎、存儲接入引擎以及數(shù)據(jù)管理、節(jié)點管理、任務管理等基礎功能。未來發(fā)展方向包括：

　　更開放的接口：支持接入更多計算引擎和存儲引擎；

　　豐富的插件生態(tài)：開發(fā)更多數(shù)據(jù)處理插件，增強平臺數(shù)據(jù)處理能力；

　　深化業(yè)務融合：進一步與業(yè)務系統(tǒng)深度融合，提供更精準的數(shù)據(jù)服務；

　　技術持續(xù)演進：跟進存儲技術發(fā)展，規(guī)劃S3對象存儲遷移。

　　結語

　　基于鏡舟數(shù)據(jù)庫構建的GLH湖倉一體平臺，不僅解決了杭銀消費金融在數(shù)據(jù)管理中面臨的關鍵痛點，還為公司數(shù)字化轉型提供了堅實的數(shù)據(jù)基礎。通過構建“湖倉一體”的數(shù)據(jù)架構，公司實現(xiàn)了數(shù)據(jù)資產(chǎn)的整合與價值釋放，為業(yè)務創(chuàng)新提供了強有力的數(shù)據(jù)支撐。

免責聲明：以上內容為本網(wǎng)站轉自其它媒體，相關信息僅為傳遞更多信息之目的，不代表本網(wǎng)觀點，亦不代表本網(wǎng)站贊同其觀點或證實其內容的真實性。如稿件版權單位或個人不想在本網(wǎng)發(fā)布，可與本網(wǎng)聯(lián)系，本網(wǎng)視情況可立即將其撤除。

中宏網(wǎng)版權申明：凡注有“中宏網(wǎng)”或電頭為“中宏網(wǎng)”的稿件，均為中宏網(wǎng)獨家版權所有，未經(jīng)許可不得轉載或鏡像；授權轉載必須注明來源為“中宏網(wǎng)”，并保留“中宏網(wǎng)”的電頭。