Hadoop與海量GIS數(shù)據(jù)的結(jié)合

  關(guān)于GIS和Esri
  我們每天都在提出這樣一些問題：農(nóng)田中的土壤有哪些特征？下一個(gè)服裝店應(yīng)該開在什么地方？貨物如何才能最快的送到客戶手中？如何找到離我的新家最近的超市？要回答這樣一些問題，需要訪問具有多維（x,y,z坐標(biāo)和時(shí)序）、大容量和高處理費(fèi)用的地理空間信息。

地理信息系統(tǒng)（Geographic InformationSystem，GIS）是用于回答地理學(xué)問題問題的藝術(shù)、科學(xué)、工程和技術(shù)的統(tǒng)稱，是一種特定的十分重要的空間信息系統(tǒng)。它是在計(jì)算機(jī)硬、軟件系統(tǒng)支持下，對整個(gè)或部分地球表層（包括大氣層）空間中的有關(guān)地理分布數(shù)據(jù)進(jìn)行采集、儲存、管理、運(yùn)算、分析、顯示和描述的技術(shù)系統(tǒng)。
  美國環(huán)境系統(tǒng)研究所公司（Environmental SystemsResearch Institute, Inc. 簡稱Esri）成立于1969年，多年來，Esri公司始終將GIS視為一門科學(xué)，并堅(jiān)持運(yùn)用獨(dú)特的科學(xué)思維和方法，緊跟IT主流技術(shù)，開發(fā)出豐富而完整的產(chǎn)品線。公司致力于為全球各行業(yè)的用戶提供先進(jìn)的GIS技術(shù)和全面的GIS解決方案。Esri其多層次、可擴(kuò)展，功能強(qiáng)大、開放性強(qiáng)的ArcGIS解決方案已經(jīng)迅速成為提高政府部門和企業(yè)服務(wù)水平的重要工具。
  空間信息
  地球本身構(gòu)成了世界上最基礎(chǔ)的信息。人和事物的地理定位是信息的主要組成部分。1978年全球定位系統(tǒng)（GPS）的正式構(gòu)成，讓我們無論是汽車上的導(dǎo)航設(shè)備還是自能手機(jī)，都可以快速、廉價(jià)的進(jìn)行地理定位。定位時(shí)時(shí)刻刻都在生成信息，這些位置信息構(gòu)成了龐大的地理數(shù)據(jù)。這些數(shù)據(jù)越來越多的被用在各種分析上面，如無線運(yùn)營商通過收集和分析這些數(shù)據(jù)來提升移動(dòng)互聯(lián)網(wǎng)的服務(wù)水平。交通部門通過這些信息來預(yù)測交通情況。
  通過地理的手段來分析空間位置的相關(guān)信息，來揭示相關(guān)的模式與關(guān)聯(lián)信息，在大數(shù)據(jù)的背景下，是GIS界新前沿、新發(fā)展和新機(jī)遇。
  空間數(shù)據(jù)是一種特殊結(jié)構(gòu)的信息，要對空間數(shù)據(jù)進(jìn)行分析，就需要了解空間數(shù)據(jù)的特性和運(yùn)作方式。如何啟用hadoop來對空間數(shù)據(jù)進(jìn)行分析，是Esri在大數(shù)據(jù)上一直為之努力的目標(biāo)。
  ArcGIS與Hadoop
  隨著ArcGIS 10.2版本的發(fā)布，一同推出的開源工具包GIS Tools for Hadoop，完美的詮釋了海量空間數(shù)據(jù)與分布式運(yùn)算的結(jié)合。
  GIS Tools for Hadoop 是一個(gè)開源的工具包，它定義和構(gòu)建了一整套空間分析的環(huán)境，在GIS與hadoop之間搭建起了一個(gè)橋梁。
  從20世紀(jì)60年代至今，GIS已經(jīng)迅速發(fā)展成了一個(gè)獨(dú)特的研究與應(yīng)用領(lǐng)域，并形成一個(gè)全球性的重要行業(yè)。
  Esri這些年來，一直致力于研究GIS信息與數(shù)據(jù)的標(biāo)準(zhǔn)化，推出了ArcSDE這樣的空間數(shù)據(jù)引擎，讓空間數(shù)據(jù)與關(guān)系型數(shù)據(jù)庫之間搭起了一個(gè)通路，可以讓空間數(shù)據(jù)保存在主流的商業(yè)數(shù)據(jù)庫中，使用每種DBMS所支持的標(biāo)準(zhǔn)SQL類型來管理數(shù)據(jù)，并且支持所有的空間數(shù)據(jù)類型（包括要素、柵格、拓?fù)?、網(wǎng)絡(luò)、地形、測量數(shù)據(jù)、表格數(shù)據(jù)，以及位置數(shù)據(jù)，例如地址、模型和元數(shù)據(jù)），而無需用戶考慮DBMS的底層實(shí)現(xiàn)。
  但是，空間數(shù)據(jù)更多的是像影像、TIN(Triangulated IrregularNetwork)這樣的非結(jié)構(gòu)化數(shù)據(jù)，而數(shù)據(jù)庫中的查詢語言，正如其名稱的簡寫——SQL，就顯示了它的僵化。所以急需新的，非關(guān)系型、非結(jié)構(gòu)化的數(shù)據(jù)庫和數(shù)據(jù)分析方法的出現(xiàn)。
  Hadoop以其高可靠性、高擴(kuò)展性、高效性和高容錯(cuò)性，特別是在海量的非結(jié)構(gòu)化或者半結(jié)構(gòu)化數(shù)據(jù)上的分析處理優(yōu)勢，給我們提供了另外一種思路。 Hadoop的核心算法就是“分而治之”，這個(gè)與GIS里面很多算法是相通的，GIS里面很多應(yīng)用場景都是要去分析不同區(qū)域內(nèi)的各種信息，把這樣的計(jì)算放到Hadoop上，正好利用了Hadoop的分布式計(jì)算特性。特別是一直讓GIS界最頭痛的海量影像數(shù)據(jù)存儲和數(shù)據(jù)分析，在Hadoop的分布式存儲和分布式運(yùn)算架構(gòu)上，更是能夠體現(xiàn)出Hadoop在GIS應(yīng)用上的優(yōu)勢。
  當(dāng)我們數(shù)據(jù)量不夠的時(shí)候，我們需要設(shè)計(jì)一套很復(fù)雜的算法，在樣本數(shù)據(jù)中去探尋其中的規(guī)律，而且還要使用各種手段來保證數(shù)據(jù)的準(zhǔn)確無誤，但是當(dāng)數(shù)據(jù)量足夠大的時(shí)候，往往只需要一些很簡單的算法就可以從海量的數(shù)據(jù)中得到滿意的結(jié)果了。但是限于技術(shù)手段，特別是空間分析對計(jì)算資源的消耗，我們以前根本做不到基于如此龐大數(shù)據(jù)的分析。而放在hadoop上，可以利用Hadoop強(qiáng)大的分布式分析功能，來處理和分析更多的數(shù)據(jù)集。
  比如在出租車輛定位的研究中，GPS數(shù)據(jù)每個(gè)1秒鐘就將記錄一條信息，信息的內(nèi)容包括經(jīng)緯度、海拔、時(shí)間、車速、方向等等，每輛車每天生成的數(shù)據(jù)量就高達(dá)8萬多條，北京市的目前有出租車約為7萬輛，也就是說每天生成GPS數(shù)據(jù)就高達(dá)60億條記錄。如果把這個(gè)信息的收集范圍擴(kuò)展到全國，年復(fù)一年，日復(fù)一日，那么收集上來的數(shù)據(jù)，將遠(yuǎn)遠(yuǎn)超出人們的想象。
  這些數(shù)據(jù)如同地下的金礦，等著我們?nèi)グl(fā)掘，有了這些數(shù)據(jù)，利用空間分析的方法，我們就可以計(jì)算出很多有意義的結(jié)果。如用戶可以知道，在各種時(shí)段中，在何處打車最容易？出租車司機(jī)們可以知道在什么地方趴活最容易拉到客戶，而保證最省油。運(yùn)營公司可以知道在不同時(shí)間段出租車運(yùn)營數(shù)量最少的區(qū)域，進(jìn)行調(diào)整合理分配資源；交通部門可以根據(jù)出租車的時(shí)速來得到各道路的交通情況等等。
  計(jì)算機(jī)和軟件的處理是有限的，當(dāng)數(shù)據(jù)量到達(dá)一定極限的時(shí)候，常規(guī)的手段就對這些龐大的數(shù)據(jù)無能為力了。這樣就需要有新的技術(shù)來實(shí)現(xiàn)這種突破，以轉(zhuǎn)變我們的處理手段。最能代表這種轉(zhuǎn)變的，就是Hadoop的流行。
而GIS Tools for Hadoop的發(fā)布，讓hadoop正式登上了空間分析的舞臺。
  目前GIS Tools for Hadoop只是邁出了小小的一步，實(shí)現(xiàn)了包括相交、包含、緩沖等常用的空間分析功能，并且與ArcGIS產(chǎn)品無縫的集成，可以在ArcGIS for Desktop中直接調(diào)用，并且將結(jié)果以空間信息的方式展現(xiàn)出來。但是還僅僅是開始，未來我們還期待著能夠解決更多的問題，如GIS界最頭疼的地圖緩存切片生成和存儲的問題、海量遙感影像的計(jì)算、大規(guī)模批空間插值、海量空間數(shù)據(jù)聚合、空間數(shù)據(jù)處理等等。
  GIS Tools for Hadoop的發(fā)布表現(xiàn)了Esri始終關(guān)注IT界的熱點(diǎn)技術(shù)，并努力為不同行業(yè)用戶提供更多專業(yè)的支持。同時(shí)也是ArcGIS平臺集成大數(shù)據(jù)一次很好的嘗試。這個(gè)工具解決了Esri在大數(shù)據(jù)應(yīng)用方面從無到有的問題，有著重要的意義。GIS Tools for Hadoop在未來還有很大的發(fā)展空間，期待在后面的版本中會(huì)增加對影像數(shù)據(jù)的支持，這樣對GIS行業(yè)來說將有更加重要的應(yīng)用。