大數(shù)據(jù)概述

大數(shù)據(jù)（Big Data）是將規(guī)模龐大、結(jié)構(gòu)復(fù)雜、動(dòng)態(tài)演變的數(shù)據(jù)進(jìn)行采集、篩選、管理、搜索、分析、挖掘與表達(dá)的技術(shù)統(tǒng)稱，是連通信息世界和知識(shí)世界的橋梁，也是數(shù)據(jù)科學(xué)（Data Science）的重要研究方向。大數(shù)據(jù)的概念原本取自以谷歌為代表新一代IT公司利用數(shù)據(jù)密集型復(fù)雜挖掘技術(shù)處理海量數(shù)據(jù)，并創(chuàng)造驚人價(jià)值的現(xiàn)象，創(chuàng)立之初就頗有 “沙里取金”的奪人眼球的效果。美國政府年初宣布的“Big Data Initiative”更是將其變成在包括中國在內(nèi)的全球各國炙手可熱的新“掘金點(diǎn)”， MapReduce詞匯迅速成為學(xué)術(shù)界、產(chǎn)業(yè)界被反復(fù)炒作渲染，甚至讓人產(chǎn)生過度炒作的隱憂。

“大數(shù)據(jù)”技術(shù)來自搜索、電子商務(wù)、科學(xué)計(jì)算等領(lǐng)域長期與海量數(shù)據(jù)打交道所積累下的經(jīng)驗(yàn)積累，目前尚不存在公認(rèn)的基礎(chǔ)理論和解決方案，所以要真正理解大數(shù)據(jù)，用好大數(shù)據(jù)就必須跳出現(xiàn)有概念的窠臼，一方面從底層數(shù)據(jù)科學(xué)入手，提煉和解答出數(shù)據(jù)背后的科學(xué)問題，尋找數(shù)據(jù)真正的意義和基礎(chǔ)規(guī)律，另一方面需要遵循“從實(shí)踐中來，到實(shí)踐中去”的原則，在實(shí)際應(yīng)用中了解大數(shù)據(jù)，研究不同領(lǐng)域的數(shù)據(jù)情況，明確大數(shù)據(jù)理念可以創(chuàng)造的核心價(jià)值與實(shí)現(xiàn)難點(diǎn)。本文就簡要介紹了地理信息產(chǎn)業(yè)的情況，應(yīng)用基礎(chǔ)，并展望了大數(shù)據(jù)時(shí)代的產(chǎn)業(yè)發(fā)展。

 

2、 地理信息是天然的大數(shù)據(jù)

從60年代誕生之日起，海量數(shù)據(jù)問題一直是地理信息領(lǐng)域的“阿基里斯之踵”。究其原因，主要如下：

a、            地理科學(xué)面對(duì)的是一個(gè)復(fù)雜巨系統(tǒng)。1986年錢學(xué)森院士在現(xiàn)代人類知識(shí)體系將地理科學(xué)歸結(jié)為自然科學(xué)與社會(huì)科學(xué)之間的橋梁科學(xué),研究整個(gè)地球表面同人類息息相關(guān)的大氣對(duì)流層、巖石圈上部、水圈、生物圈和人類圈環(huán)境。所以上至衛(wèi)星遙感數(shù)據(jù)、下至地震傳感數(shù)據(jù)，以及我們常見的統(tǒng)計(jì)、環(huán)境、水利、資源、土地等領(lǐng)域數(shù)據(jù)都屬于地理數(shù)據(jù)，所以地理信息技術(shù)需要處理的范圍廣，數(shù)據(jù)源多，數(shù)據(jù)類型多樣，其數(shù)據(jù)量巨大是不言而喻的。

b、            地球表面的信息量巨大，感知手段多樣。以谷歌地圖使用Landsat TM影像為例，其空間分辨率為30米，則單一時(shí)相全球完整覆蓋其整體數(shù)據(jù)量約為2TB。2012年底，我國已對(duì)成功發(fā)射天繪、天鏈、天拓、遙感、資源、氣象、海洋等多系列衛(wèi)星，建立起環(huán)境與災(zāi)害監(jiān)測(cè)預(yù)報(bào)小衛(wèi)星星座, “嫦娥一號(hào)”對(duì)月觀測(cè)也已取得良好效果，而整個(gè)十二五期間我國計(jì)劃發(fā)射百余顆衛(wèi)星。以今年發(fā)射成功的資源三號(hào)為例，其幾何定位精度為30米，重訪周期僅5天，則一年內(nèi)的基礎(chǔ)數(shù)據(jù)量就可達(dá)數(shù)百TB。當(dāng)中國遙感未來邁入國際上快鳥(QuickBird)等高分辨率衛(wèi)星已達(dá)到的1m分辨率的門檻后，則全球單次掃描的遙感影像結(jié)果數(shù)據(jù)量將至少超過1800TB，這對(duì)于目前的數(shù)據(jù)處理能力來說是不可想象的，更別說還要考慮多波段、多時(shí)相、多產(chǎn)品、歷史數(shù)據(jù)、中間數(shù)據(jù)、重疊區(qū)、雷達(dá)、點(diǎn)云數(shù)據(jù)等問題。遙感數(shù)據(jù)之外，北斗定位系統(tǒng)的建立、移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的快速發(fā)展也會(huì)導(dǎo)致包括來自車輛、風(fēng)力、雨量、溫度、濕度等各種傳感器以及個(gè)人網(wǎng)絡(luò)活動(dòng)的高頻空間關(guān)聯(lián)信息的數(shù)據(jù)洪流涌入，并且要求快速處理響應(yīng)。

 

3、 龐大的地理信息數(shù)據(jù)蘊(yùn)含巨大價(jià)值

隨著谷歌地球等互聯(lián)網(wǎng)電子地圖的普及，目前公眾已逐漸接受并熟悉了位置服務(wù)（LBS）、地圖瀏覽查詢、車輛導(dǎo)航等地理信息服務(wù)，地理信息已經(jīng)創(chuàng)造了巨大的價(jià)值，但是這只是諸多地理信息應(yīng)用的冰山一角。無論是遙感數(shù)據(jù)、物聯(lián)網(wǎng)傳感器數(shù)據(jù)、地圖數(shù)據(jù)還是個(gè)人網(wǎng)絡(luò)活動(dòng)數(shù)據(jù)都可以看作是地理自然與人文環(huán)境的采樣與記錄，只要使用合適的分析方法就可揭示其蘊(yùn)含在背后的深刻而復(fù)雜的社會(huì)自然意義。

地理信息系統(tǒng)擅長于進(jìn)行空間分析及與其他領(lǐng)域模型的關(guān)聯(lián)分析，例如利用遙感數(shù)據(jù)再分類可用于、特征識(shí)別與提取技術(shù)可快速提取地表的水域、農(nóng)田、城區(qū)、建筑等，對(duì)農(nóng)業(yè)估產(chǎn)、城市規(guī)劃等應(yīng)用有重要作用；城市傳感器數(shù)據(jù)的建模、分析可用于了解區(qū)域溫度、PM2.5等指標(biāo)真實(shí)分布，輔助政府市民進(jìn)行出行活動(dòng)決策；將政區(qū)與耕地?cái)?shù)據(jù)集進(jìn)行疊加，通過格網(wǎng)分析即可快速統(tǒng)計(jì)行政區(qū)域內(nèi)的耕地面積，這對(duì)于土地紅線控制具有重要參考作用；空間關(guān)系分析針對(duì)當(dāng)前互聯(lián)網(wǎng)中產(chǎn)生的大量簽到信息進(jìn)行商區(qū)聚類分析，從而幫助商業(yè)選址、廣告優(yōu)化；網(wǎng)絡(luò)分析則更是應(yīng)用廣泛，從現(xiàn)代物流倉儲(chǔ)選址、配貨調(diào)度，到公路網(wǎng)，鐵路網(wǎng)、電力網(wǎng)、市政管網(wǎng)等設(shè)施的優(yōu)化管理調(diào)度，再有水系分析，管理、應(yīng)急、導(dǎo)航路徑分析、交通規(guī)則處理等等都是網(wǎng)絡(luò)分析的用武之地；而時(shí)空分析則可用于區(qū)域環(huán)境變化監(jiān)測(cè)，快速發(fā)現(xiàn)土地、建筑、氣溫、環(huán)境、水文的變化，從而積極響應(yīng)。

目前國內(nèi)地理信息產(chǎn)業(yè)建立了從數(shù)據(jù)生產(chǎn)、軟件平臺(tái)、應(yīng)用服務(wù)的全產(chǎn)業(yè)鏈，上游有四維圖新等專業(yè)圖商，中游有超圖軟件等地理信息軟件平臺(tái)商；下游有天地圖、百度地體、超圖云服務(wù)等服務(wù)商。地理信息技術(shù)不僅已成功應(yīng)用于水利環(huán)保、能源礦產(chǎn)、氣象環(huán)保、國土房產(chǎn)等行業(yè)中，而且成為國家數(shù)字城市與智慧城市建設(shè)的核心平臺(tái)。

大數(shù)據(jù)時(shí)代下，地理信息產(chǎn)業(yè)挑戰(zhàn)與機(jī)遇并存。大數(shù)據(jù)不僅需要地理信息系統(tǒng)海量數(shù)據(jù)采集、篩選、存儲(chǔ)、分析與顯示技術(shù)的升級(jí)，而且要徹底扭轉(zhuǎn)傳統(tǒng)地理信息系統(tǒng)重視數(shù)據(jù)管理與顯示，輕視數(shù)據(jù)分析的狀況。大數(shù)據(jù)的意義只有在將地理信息產(chǎn)業(yè)的核心關(guān)注轉(zhuǎn)移到用戶價(jià)值上之后才能得到體現(xiàn)，否則大數(shù)據(jù)不如小數(shù)據(jù)，因?yàn)閷?shí)現(xiàn)同樣的價(jià)值前提下前者成本只會(huì)更高。但是如果在大數(shù)據(jù)浪潮下，地理信息產(chǎn)業(yè)可以完成一次升級(jí)，那么就不僅意味著產(chǎn)業(yè)鏈上下游的完全重構(gòu)，而且可以在物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、國土、環(huán)保、水利領(lǐng)域分析挖掘其紛繁數(shù)據(jù)的空間意義，產(chǎn)生巨大的社會(huì)經(jīng)濟(jì)價(jià)值。

 

4、 總結(jié)

“問渠那得清如許，為有源頭活水來”，地理信息動(dòng)態(tài)龐大的數(shù)據(jù)流代表著一個(gè)巨大的價(jià)值寶藏，基于地理信息技術(shù)從多源大數(shù)據(jù)中獲取對(duì)自然與人文環(huán)境的知識(shí)，從而提高政治商業(yè)與個(gè)人生活效率的美好未來并不遙遠(yuǎn)。“前途是美好的，道路是曲折的”，要達(dá)到這一目標(biāo)，當(dāng)前幾個(gè)亟待解決的問題是：

1、研究地理信息適用的大數(shù)據(jù)技術(shù)，目前流行的MapReduce等技術(shù)只能看做是大數(shù)據(jù)技術(shù)示范，相比起傳統(tǒng)分布式計(jì)算、并行計(jì)算技術(shù)其適用的范圍較窄，難以提高GIS中大部分運(yùn)算效率，需要要處理地理信息大數(shù)據(jù)必須要建立自身的大數(shù)據(jù)技術(shù)體系。

2、解放沉睡的數(shù)據(jù)。大數(shù)據(jù)產(chǎn)業(yè)需要各個(gè)領(lǐng)域的數(shù)據(jù)融合才能更真實(shí)的對(duì)世界建模分析。美國政府已依照Government 2.0建設(shè)理念也發(fā)布了Data.gov 網(wǎng)站，截止2012年11月已提供了來自聯(lián)邦政府各部門的392,590個(gè)數(shù)據(jù)與工具，其中包含空間數(shù)據(jù)服務(wù)386429個(gè)，歐洲也已相應(yīng)提出Inspire計(jì)劃。雖然中國目前也推出了北京市政府?dāng)?shù)據(jù)資源網(wǎng)，推動(dòng)包括地理信息數(shù)據(jù)在內(nèi)政府?dāng)?shù)據(jù)資源的對(duì)外服務(wù)，但是各個(gè)部門行業(yè)數(shù)據(jù)被閑置、堆積、浪費(fèi)而不共享的情況仍然非常嚴(yán)重，嚴(yán)重制約了行業(yè)與應(yīng)用的發(fā)展。

3、產(chǎn)學(xué)研結(jié)合，跨領(lǐng)域合作。大數(shù)據(jù)產(chǎn)業(yè)要成功，就必須完成從數(shù)據(jù)到知識(shí)再到價(jià)值的整個(gè)加工流程，這就必須充分融合企業(yè)和科研院所的各自優(yōu)勢(shì)。此外大數(shù)據(jù)分析是一個(gè)多領(lǐng)域知識(shí)結(jié)構(gòu)化集成的結(jié)果，所以必須要提倡跨領(lǐng)域合作。