數(shù)字經(jīng)濟(jì)時代，最具戰(zhàn)略意義的生產(chǎn)力是什么？
毫無疑問，是大數(shù)據(jù)。
全新的數(shù)字化生產(chǎn)方式催化生產(chǎn)力資源的重新分配，金融機(jī)構(gòu)在大數(shù)據(jù)體系建設(shè)上投入的資源呈指數(shù)級增長。而大數(shù)據(jù)集群作為大數(shù)據(jù)存儲與計算的載體，近年來各大銀行更是不惜重金爭先擴(kuò)大其建設(shè)規(guī)模。但這樣一股腦兒的投入資源，真的能收獲更高的生產(chǎn)效率和收益嗎？
生產(chǎn)力資源管理 重塑企業(yè)競爭力
縱觀各種經(jīng)典商業(yè)成功案例可以發(fā)現(xiàn)，能做好生產(chǎn)力資源管理的企業(yè)，往往才有著更強(qiáng)的競爭力。
即便是員工電腦分配這種最基礎(chǔ)的IT資源管理，無論國內(nèi)外，成熟的企業(yè)也通常會配備一套穩(wěn)定的IT資源評估與管理機(jī)制，基于各部門需求彈性分配電腦及配套的IT基礎(chǔ)設(shè)施資源，并由歸口部門對公司上下的生產(chǎn)力工具進(jìn)行統(tǒng)一管理與維護(hù)，最大程度保障員工生產(chǎn)效率。
這種對生產(chǎn)力資源統(tǒng)一管理的重視，源自工業(yè)革命時期便流傳下來的一條金科玉律——工業(yè)化的本質(zhì)就是建立統(tǒng)一標(biāo)準(zhǔn)，降低人工的不確定性，進(jìn)而提高整個企業(yè)的生產(chǎn)效率和抗風(fēng)險能力，并以此承載更具規(guī)模化的業(yè)務(wù)與管理模式。
于是，文章開頭拋出的問題，想必我們心里都有了答案——在金融機(jī)構(gòu)紛紛加大 IT 投入的大背景下，大數(shù)據(jù)集群的建設(shè)已初具規(guī)模，但隨之而來的采購、運(yùn)維、人力等成本需要常年花費(fèi)巨額資金。高昂投入下如何提升資源利用效率以實(shí)現(xiàn)降本增效，成為擺在大數(shù)據(jù)集群建設(shè)者和使用者面前的一道必答題，一套與之匹配的科學(xué)管理方法論亟需快速落地。
“大數(shù)據(jù)集群資源管理”這一概念走向前臺。
大數(shù)據(jù)集群資源管理的精細(xì)化運(yùn)營之路
“大數(shù)據(jù)集群資源管理”并不是什么新造詞匯，這一概念的誕生與發(fā)展，可以說是與金融行業(yè)大數(shù)據(jù)體系的演變過程同頻共振。
概念源起
早期商業(yè)銀行的數(shù)據(jù)體系建設(shè)以O(shè)DS為主。這個階段，行內(nèi)各部門紛紛獨(dú)立建設(shè)大數(shù)據(jù)集群和數(shù)據(jù)應(yīng)用系統(tǒng)，豎井式分散的管理模式導(dǎo)致大數(shù)據(jù)集群資源無法被充分利用，資源大量浪費(fèi)的問題已然初步顯現(xiàn)。
2008年伊始，國內(nèi)銀行已經(jīng)意識到數(shù)據(jù)集中管理的重要意義，紛紛展開數(shù)據(jù)倉庫的建設(shè)工作。這個階段，隨著數(shù)據(jù)規(guī)模開始快速增長，銀行在大數(shù)據(jù)存儲與計算上投入了大量物理資源，大數(shù)據(jù)集群無序管理的問題日益顯著，存在分配不均衡、資源浪費(fèi)的現(xiàn)象，針對大數(shù)據(jù)集群資源使用進(jìn)行評估、分析與治理的理念逐步形成。
粗放式管理
大數(shù)據(jù)集群的建設(shè)者和使用者開始利用各種工具輔助管理，譬如大數(shù)據(jù)平臺管理工具、硬件平臺管理工具等，并在大數(shù)據(jù)集群資源的申請、回收過程中增加了評審環(huán)節(jié)，但依然存在諸多問題：
首先，數(shù)據(jù)整體是分散、不聚合的狀態(tài)，評估指標(biāo)也不夠精細(xì)，因此在大數(shù)據(jù)集群資源申請或回收的評審環(huán)節(jié)，缺乏強(qiáng)有力的標(biāo)準(zhǔn)支撐；
其次，過多依賴人工介入，缺乏自動化手段及工具，造成大數(shù)據(jù)集群資源的調(diào)配結(jié)果存在適用性及可靠性差等問題。
這個階段，受限于自動化程度不高、監(jiān)控指標(biāo)權(quán)威性不足，在大數(shù)據(jù)集群的實(shí)際管理中，依然未能有效解決投入資源增長過快和回收不及時等問題。
精細(xì)化運(yùn)營
伴隨著數(shù)據(jù)架構(gòu)從單一平臺架構(gòu)走向混搭式協(xié)同平臺架構(gòu)、包含多種技術(shù)的綜合架構(gòu)，數(shù)據(jù)形式也由單一的批量結(jié)構(gòu)化數(shù)據(jù)，邁向結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、準(zhǔn)實(shí)時數(shù)據(jù)、實(shí)時數(shù)據(jù)等多種形態(tài)，整體數(shù)據(jù)體量已由TB級向PB級邁進(jìn)。
對于規(guī)模較大的銀行來說，大數(shù)據(jù)集群節(jié)點(diǎn)的數(shù)量高達(dá)幾千，面臨如此大規(guī)模的數(shù)據(jù)集群環(huán)境，如何解決資源難以管控和成本急劇攀升等問題，已刻不容緩。粗放式的人工管理顯然無法持續(xù)，精細(xì)化的大數(shù)據(jù)集群資源管理勢在必行，暨通過建立科學(xué)評估、分析與治理體系，追蹤和監(jiān)控大數(shù)據(jù)集群資源的使用情況，基于評估指標(biāo)進(jìn)行精細(xì)化管控，從而有效控制集群過快增長、合理分配資源。
大方向既定，但具體到實(shí)施層面，“大數(shù)據(jù)集群資源管理”從概念到落地，尚需要先行者走出一條可行路線。
國內(nèi)首個大數(shù)據(jù)集群資源管理項(xiàng)目成功落地！
2022 年初，某頭部股份制銀行正式啟動大數(shù)據(jù)集群資源管理項(xiàng)目。
彼時在大數(shù)據(jù)集群資源使用的評估分析體系建設(shè)方面，業(yè)界尚無一套科學(xué)成熟的評估方法可供參考。長亮科技作為該項(xiàng)目的承建商，從該行的業(yè)務(wù)場景出發(fā)，圍繞集群野蠻增長、資源占用不合理等核心問題，以推動資源優(yōu)化改造、提升資源使用效率、實(shí)現(xiàn)降本增效為目標(biāo)，為該行量身打造了一套大數(shù)據(jù)集群資源管理建設(shè)方案。
構(gòu)建科學(xué)評估方法：構(gòu)建集群資源、硬件資源、節(jié)點(diǎn)資源、模型、任務(wù)等多維度的評價指標(biāo)，實(shí)現(xiàn)大數(shù)據(jù)集群資源的科學(xué)計量與評估；
資源使用可視化監(jiān)控：建立集群資源配置及消耗信息可視化頁面，并支持全行視角、中心/團(tuán)隊(duì)視角、開發(fā)者視角的監(jiān)控分析，為資源的優(yōu)化配置及合理利用提供決策支撐；
完善資源管理機(jī)制：基于資源分析和模型分析方案，建立資源治理事前、事中、事后的管理與評估體系，通過大數(shù)據(jù)資源治理平臺，落實(shí)資源治理的閉環(huán)管理建設(shè)。
近期，該股份制銀行大數(shù)據(jù)集群資源管理項(xiàng)目已成功上線，通過對大數(shù)據(jù)集群進(jìn)行精細(xì)化管理，有效控制了在線大數(shù)據(jù)集群的數(shù)量，促進(jìn)低效集群下線、合并、縮容降配，提升集群的綜合利用率。該行資源的過快增長得到了有效控制，并逐步建立資源的有效評估機(jī)制，長亮科技再度助力客戶打造了一個業(yè)內(nèi)首創(chuàng)！
即使已經(jīng)邁出了第一步，但大數(shù)據(jù)集群資源評估、分析與治理體系的建設(shè)，絕對不會是一項(xiàng)一勞永逸的工作。伴隨著各大金融機(jī)構(gòu)大數(shù)據(jù)體系的持續(xù)演變，長亮科技將與時俱進(jìn)、不斷迭代解決方案，立足于大數(shù)據(jù)集群資源側(cè)與應(yīng)用側(cè)的全局視角，幫助金融機(jī)構(gòu)全面提升資源利用效率，打造面向未來的新一代“數(shù)字經(jīng)濟(jì)基礎(chǔ)設(shè)施”，讓數(shù)字生產(chǎn)力創(chuàng)造更大價值！
