Hadoop與海量GIS數(shù)據(jù)的結(jié)合

  關(guān)于GIS和Esri
  我們每天都在提出這樣一些問(wèn)題：農(nóng)田中的土壤有哪些特征？下一個(gè)服裝店應(yīng)該開在什么地方？貨物如何才能最快的送到客戶手中？如何找到離我的新家最近的超市？要回答這樣一些問(wèn)題，需要訪問(wèn)具有多維（x,y,z坐標(biāo)和時(shí)序）、大容量和高處理費(fèi)用的地理空間信息。

地理信息系統(tǒng)（Geographic InformationSystem，GIS）是用于回答地理學(xué)問(wèn)題問(wèn)題的藝術(shù)、科學(xué)、工程和技術(shù)的統(tǒng)稱，是一種特定的十分重要的空間信息系統(tǒng)。它是在計(jì)算機(jī)硬、軟件系統(tǒng)支持下，對(duì)整個(gè)或部分地球表層（包括大氣層）空間中的有關(guān)地理分布數(shù)據(jù)進(jìn)行采集、儲(chǔ)存、管理、運(yùn)算、分析、顯示和描述的技術(shù)系統(tǒng)。
  美國(guó)環(huán)境系統(tǒng)研究所公司（Environmental SystemsResearch Institute, Inc. 簡(jiǎn)稱Esri）成立于1969年，多年來(lái)，Esri公司始終將GIS視為一門科學(xué)，并堅(jiān)持運(yùn)用獨(dú)特的科學(xué)思維和方法，緊跟IT主流技術(shù)，開發(fā)出豐富而完整的產(chǎn)品線。公司致力于為全球各行業(yè)的用戶提供先進(jìn)的GIS技術(shù)和全面的GIS解決方案。Esri其多層次、可擴(kuò)展，功能強(qiáng)大、開放性強(qiáng)的ArcGIS解決方案已經(jīng)迅速成為提高政府部門和企業(yè)服務(wù)水平的重要工具。
  空間信息
  地球本身構(gòu)成了世界上最基礎(chǔ)的信息。人和事物的地理定位是信息的主要組成部分。1978年全球定位系統(tǒng)（GPS）的正式構(gòu)成，讓我們無(wú)論是汽車上的導(dǎo)航設(shè)備還是自能手機(jī)，都可以快速、廉價(jià)的進(jìn)行地理定位。定位時(shí)時(shí)刻刻都在生成信息，這些位置信息構(gòu)成了龐大的地理數(shù)據(jù)。這些數(shù)據(jù)越來(lái)越多的被用在各種分析上面，如無(wú)線運(yùn)營(yíng)商通過(guò)收集和分析這些數(shù)據(jù)來(lái)提升移動(dòng)互聯(lián)網(wǎng)的服務(wù)水平。交通部門通過(guò)這些信息來(lái)預(yù)測(cè)交通情況。
  通過(guò)地理的手段來(lái)分析空間位置的相關(guān)信息，來(lái)揭示相關(guān)的模式與關(guān)聯(lián)信息，在大數(shù)據(jù)的背景下，是GIS界新前沿、新發(fā)展和新機(jī)遇。
  空間數(shù)據(jù)是一種特殊結(jié)構(gòu)的信息，要對(duì)空間數(shù)據(jù)進(jìn)行分析，就需要了解空間數(shù)據(jù)的特性和運(yùn)作方式。如何啟用hadoop來(lái)對(duì)空間數(shù)據(jù)進(jìn)行分析，是Esri在大數(shù)據(jù)上一直為之努力的目標(biāo)。
  ArcGIS與Hadoop
  隨著ArcGIS 10.2版本的發(fā)布，一同推出的開源工具包GIS Tools for Hadoop，完美的詮釋了海量空間數(shù)據(jù)與分布式運(yùn)算的結(jié)合。
  GIS Tools for Hadoop 是一個(gè)開源的工具包，它定義和構(gòu)建了一整套空間分析的環(huán)境，在GIS與hadoop之間搭建起了一個(gè)橋梁。
  從20世紀(jì)60年代至今，GIS已經(jīng)迅速發(fā)展成了一個(gè)獨(dú)特的研究與應(yīng)用領(lǐng)域，并形成一個(gè)全球性的重要行業(yè)。
  Esri這些年來(lái)，一直致力于研究GIS信息與數(shù)據(jù)的標(biāo)準(zhǔn)化，推出了ArcSDE這樣的空間數(shù)據(jù)引擎，讓空間數(shù)據(jù)與關(guān)系型數(shù)據(jù)庫(kù)之間搭起了一個(gè)通路，可以讓空間數(shù)據(jù)保存在主流的商業(yè)數(shù)據(jù)庫(kù)中，使用每種DBMS所支持的標(biāo)準(zhǔn)SQL類型來(lái)管理數(shù)據(jù)，并且支持所有的空間數(shù)據(jù)類型（包括要素、柵格、拓?fù)洹⒕W(wǎng)絡(luò)、地形、測(cè)量數(shù)據(jù)、表格數(shù)據(jù)，以及位置數(shù)據(jù)，例如地址、模型和元數(shù)據(jù)），而無(wú)需用戶考慮DBMS的底層實(shí)現(xiàn)。
  但是，空間數(shù)據(jù)更多的是像影像、TIN(Triangulated IrregularNetwork)這樣的非結(jié)構(gòu)化數(shù)據(jù)，而數(shù)據(jù)庫(kù)中的查詢語(yǔ)言，正如其名稱的簡(jiǎn)寫——SQL，就顯示了它的僵化。所以急需新的，非關(guān)系型、非結(jié)構(gòu)化的數(shù)據(jù)庫(kù)和數(shù)據(jù)分析方法的出現(xiàn)。
  Hadoop以其高可靠性、高擴(kuò)展性、高效性和高容錯(cuò)性，特別是在海量的非結(jié)構(gòu)化或者半結(jié)構(gòu)化數(shù)據(jù)上的分析處理優(yōu)勢(shì)，給我們提供了另外一種思路。 Hadoop的核心算法就是“分而治之”，這個(gè)與GIS里面很多算法是相通的，GIS里面很多應(yīng)用場(chǎng)景都是要去分析不同區(qū)域內(nèi)的各種信息，把這樣的計(jì)算放到Hadoop上，正好利用了Hadoop的分布式計(jì)算特性。特別是一直讓GIS界最頭痛的海量影像數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析，在Hadoop的分布式存儲(chǔ)和分布式運(yùn)算架構(gòu)上，更是能夠體現(xiàn)出Hadoop在GIS應(yīng)用上的優(yōu)勢(shì)。
  當(dāng)我們數(shù)據(jù)量不夠的時(shí)候，我們需要設(shè)計(jì)一套很復(fù)雜的算法，在樣本數(shù)據(jù)中去探尋其中的規(guī)律，而且還要使用各種手段來(lái)保證數(shù)據(jù)的準(zhǔn)確無(wú)誤，但是當(dāng)數(shù)據(jù)量足夠大的時(shí)候，往往只需要一些很簡(jiǎn)單的算法就可以從海量的數(shù)據(jù)中得到滿意的結(jié)果了。但是限于技術(shù)手段，特別是空間分析對(duì)計(jì)算資源的消耗，我們以前根本做不到基于如此龐大數(shù)據(jù)的分析。而放在hadoop上，可以利用Hadoop強(qiáng)大的分布式分析功能，來(lái)處理和分析更多的數(shù)據(jù)集。
  比如在出租車輛定位的研究中，GPS數(shù)據(jù)每個(gè)1秒鐘就將記錄一條信息，信息的內(nèi)容包括經(jīng)緯度、海拔、時(shí)間、車速、方向等等，每輛車每天生成的數(shù)據(jù)量就高達(dá)8萬(wàn)多條，北京市的目前有出租車約為7萬(wàn)輛，也就是說(shuō)每天生成GPS數(shù)據(jù)就高達(dá)60億條記錄。如果把這個(gè)信息的收集范圍擴(kuò)展到全國(guó)，年復(fù)一年，日復(fù)一日，那么收集上來(lái)的數(shù)據(jù)，將遠(yuǎn)遠(yuǎn)超出人們的想象。
  這些數(shù)據(jù)如同地下的金礦，等著我們?nèi)グl(fā)掘，有了這些數(shù)據(jù)，利用空間分析的方法，我們就可以計(jì)算出很多有意義的結(jié)果。如用戶可以知道，在各種時(shí)段中，在何處打車最容易？出租車司機(jī)們可以知道在什么地方趴活最容易拉到客戶，而保證最省油。運(yùn)營(yíng)公司可以知道在不同時(shí)間段出租車運(yùn)營(yíng)數(shù)量最少的區(qū)域，進(jìn)行調(diào)整合理分配資源；交通部門可以根據(jù)出租車的時(shí)速來(lái)得到各道路的交通情況等等。
  計(jì)算機(jī)和軟件的處理是有限的，當(dāng)數(shù)據(jù)量到達(dá)一定極限的時(shí)候，常規(guī)的手段就對(duì)這些龐大的數(shù)據(jù)無(wú)能為力了。這樣就需要有新的技術(shù)來(lái)實(shí)現(xiàn)這種突破，以轉(zhuǎn)變我們的處理手段。最能代表這種轉(zhuǎn)變的，就是Hadoop的流行。
而GIS Tools for Hadoop的發(fā)布，讓hadoop正式登上了空間分析的舞臺(tái)。
  目前GIS Tools for Hadoop只是邁出了小小的一步，實(shí)現(xiàn)了包括相交、包含、緩沖等常用的空間分析功能，并且與ArcGIS產(chǎn)品無(wú)縫的集成，可以在ArcGIS for Desktop中直接調(diào)用，并且將結(jié)果以空間信息的方式展現(xiàn)出來(lái)。但是還僅僅是開始，未來(lái)我們還期待著能夠解決更多的問(wèn)題，如GIS界最頭疼的地圖緩存切片生成和存儲(chǔ)的問(wèn)題、海量遙感影像的計(jì)算、大規(guī)模批空間插值、海量空間數(shù)據(jù)聚合、空間數(shù)據(jù)處理等等。
  GIS Tools for Hadoop的發(fā)布表現(xiàn)了Esri始終關(guān)注IT界的熱點(diǎn)技術(shù)，并努力為不同行業(yè)用戶提供更多專業(yè)的支持。同時(shí)也是ArcGIS平臺(tái)集成大數(shù)據(jù)一次很好的嘗試。這個(gè)工具解決了Esri在大數(shù)據(jù)應(yīng)用方面從無(wú)到有的問(wèn)題，有著重要的意義。GIS Tools for Hadoop在未來(lái)還有很大的發(fā)展空間，期待在后面的版本中會(huì)增加對(duì)影像數(shù)據(jù)的支持，這樣對(duì)GIS行業(yè)來(lái)說(shuō)將有更加重要的應(yīng)用。