每天，除定期巡檢服務(wù)器、接待來訪客戶等工作外，中國煤炭地質(zhì)總局煤航集團(tuán)煤航大數(shù)據(jù)中心工程師陳衛(wèi)斌還有一項(xiàng)重要工作：在“大數(shù)據(jù)中心資源使用統(tǒng)計(jì)表”上登記，調(diào)配計(jì)算資源，以滿足各項(xiàng)目的數(shù)據(jù)計(jì)算需求。

“目前項(xiàng)目已排到2020年12月底?！标愋l(wèi)斌邊登記邊說。

數(shù)據(jù)計(jì)算是煤航大數(shù)據(jù)中心針對(duì)實(shí)景三維、地質(zhì)災(zāi)害遙感識(shí)別、多元遙感影像的集成與整合等高密計(jì)算而提供的一項(xiàng)服務(wù)功能。批處理、速度快、算力大幅提升，如同給數(shù)據(jù)處理裝上“超級(jí)大腦”。運(yùn)行近5個(gè)月，經(jīng)不斷測試，煤航大數(shù)據(jù)中心計(jì)算功能完全滿足超密數(shù)據(jù)計(jì)算需求。

建成地理空間大數(shù)據(jù)中心

伴隨云計(jì)算、5G、人工智能等信息技術(shù)的不斷發(fā)展，我國“數(shù)字化”“智慧化”進(jìn)程加快，其對(duì)地理信息行業(yè)的生產(chǎn)效率及其產(chǎn)品豐富性的要求也越來越高。數(shù)據(jù)計(jì)算是數(shù)據(jù)處理的重要環(huán)節(jié)，提高地理空間數(shù)據(jù)的計(jì)算效率尤為迫切。

作為中國煤炭地質(zhì)總局從事地理信息技術(shù)研發(fā)與應(yīng)用的高科技企業(yè)，煤航大數(shù)據(jù)中心不斷生產(chǎn)遙感、測繪等地理空間數(shù)據(jù)，并且每年以100萬億字節(jié)速度增長。

與大多數(shù)國有企業(yè)類似，煤航大數(shù)據(jù)中心曾存在“數(shù)據(jù)孤島”現(xiàn)象，大部分?jǐn)?shù)據(jù)分散在基層企業(yè)，數(shù)據(jù)處理由下屬企業(yè)自行完成。煤航大數(shù)據(jù)中心航測工程分公司作為測繪數(shù)據(jù)主要生產(chǎn)單位，近年來承接的實(shí)景三維模型項(xiàng)目不斷增多，其中涉及大量的傾斜航攝像片數(shù)據(jù)處理，對(duì)計(jì)算資源要求更高。

“以前數(shù)據(jù)處理都是在公司作業(yè)室完成，由一臺(tái)主機(jī)分發(fā)給多個(gè)分機(jī)。”航測工程分公司三維中心主任趙帥表示，有時(shí)項(xiàng)目時(shí)間緊張，這種計(jì)算方式存在設(shè)備配置低、穩(wěn)定性差、分機(jī)占用速度慢等問題，嚴(yán)重影響生產(chǎn)效率。

解決行業(yè)數(shù)據(jù)痛點(diǎn)成為當(dāng)務(wù)之急。煤航大數(shù)據(jù)中心緊緊抓住“數(shù)字化”“新基建”等重大機(jī)遇，結(jié)合信息技術(shù)，建成地理空間大數(shù)據(jù)中心。

“我們建立服務(wù)器集群和‘?dāng)?shù)據(jù)湖’，實(shí)現(xiàn)資源統(tǒng)一調(diào)配和管理，打造敏捷高效的數(shù)據(jù)接收、存儲(chǔ)、處理和分析平臺(tái)，以實(shí)現(xiàn)設(shè)施資源的最大化集成利用?！泵汉郊瘓F(tuán)黨委書記、董事長賴百煉介紹。最大限度地整合計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源、提升算力，是煤航大數(shù)據(jù)中心功能之一。

數(shù)據(jù)處理效率提升3倍

煤航大數(shù)據(jù)中心建成后隨即投入測試。測試結(jié)果顯示，一個(gè)房地一體化項(xiàng)目的4萬多張無人機(jī)傾斜影像，如果按照以往計(jì)算模式，大概需要12天才能完成。使用煤航大數(shù)據(jù)中心分配的計(jì)算資源，大概需要4天時(shí)間就能完成。數(shù)據(jù)處理效率至少提升了3倍。

該中心相關(guān)人員表示，煤航大數(shù)據(jù)中心架構(gòu)穩(wěn)定、容錯(cuò)能力強(qiáng)、效率高，能夠滿足現(xiàn)行三維實(shí)景生產(chǎn)的需求，運(yùn)行效率能夠達(dá)到業(yè)內(nèi)較高水平。目前，該公司承接的項(xiàng)目中涉及高密數(shù)據(jù)的計(jì)算均由煤航大數(shù)據(jù)中心完成。

煤航大數(shù)據(jù)中心的超算功能對(duì)承接的地質(zhì)災(zāi)害項(xiàng)目中的光學(xué)遙感、雷達(dá)遙感數(shù)據(jù)處理也發(fā)揮了重要作用。煤航遙感信息公司承擔(dān)的“藏東南地區(qū)地質(zhì)災(zāi)害隱患綜合遙感識(shí)別與調(diào)查”項(xiàng)目涉及16萬平方公里地質(zhì)災(zāi)害早期識(shí)別，大約2000景SAR數(shù)據(jù)。

“該項(xiàng)目涉及數(shù)據(jù)量大，時(shí)間任務(wù)重，高性能數(shù)據(jù)計(jì)算成為重中之重。”該公司水工遙感所所長羅東海介紹，公司常規(guī)的計(jì)算機(jī)難以承擔(dān)如此大面積的數(shù)據(jù)計(jì)算。

“以前都是先將數(shù)據(jù)裁剪成多個(gè)子區(qū)塊進(jìn)行處理，然后對(duì)處理后的值區(qū)塊進(jìn)行拼接，需要180天才能完成；借助大數(shù)據(jù)中心分配的計(jì)算資源，對(duì)這些數(shù)據(jù)進(jìn)行批處理，同等條件下僅需60天就可以完成，數(shù)據(jù)處理效率提高了3倍，且?guī)缀尉葍?yōu)于傳統(tǒng)方法?！蓖ㄟ^項(xiàng)目驗(yàn)證，羅東海給出結(jié)論：批處理、運(yùn)行速度快，多線程處理之間互不影響。

截至目前，煤航大數(shù)據(jù)中心已為航測、遙感、地信、智慧鐵路、工程監(jiān)理等企業(yè)的數(shù)據(jù)處理提供了計(jì)算服務(wù)，對(duì)實(shí)景三維、地質(zhì)災(zāi)害遙感識(shí)別、多元遙感影像的集成與整合等高密數(shù)據(jù)具備高效處理能力。

“目前主要是分配計(jì)算資源，一旦遇上重大緊急項(xiàng)目，大數(shù)據(jù)中心可以集中軟硬件資源，集中力量辦大事，處理速度將比現(xiàn)在更快，效率也將更高?！标愋l(wèi)斌對(duì)大數(shù)據(jù)中心超算優(yōu)勢充滿信心。（魯建偉 杜旭濤）