大數(shù)據(jù)在價格認(rèn)定工作中的運(yùn)用前景淺析

大數(shù)據(jù)的爆炸式增長在大容量、多樣性和高增速方面，全面考驗(yàn)著我們的數(shù)據(jù)處理和分析能力，同時，也帶來了獲取更豐富、更深入和更準(zhǔn)確地洞察市場行為的大量機(jī)會。關(guān)于數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)挖掘等圍繞大數(shù)據(jù)價值的利用逐漸成為眾多行業(yè)爭相追捧的焦點(diǎn)，其價值在于通過數(shù)據(jù)共享、交叉復(fù)用、大數(shù)據(jù)分析等獲取最大的收益。

大數(shù)據(jù)的爆炸式增長在大容量、多樣性和高增速方面，全面考驗(yàn)著我們的數(shù)據(jù)處理和分析能力，同時，也帶來了獲取更豐富、更深入和更準(zhǔn)確地洞察市場行為的大量機(jī)會。關(guān)于數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)挖掘等圍繞大數(shù)據(jù)價值的利用逐漸成為眾多行業(yè)爭相追捧的焦點(diǎn)，其價值在于通過數(shù)據(jù)共享、交叉復(fù)用、大數(shù)據(jù)分析等獲取最大的收益。而我們所從事的價格認(rèn)定業(yè)務(wù)是依靠價格數(shù)據(jù)進(jìn)行判斷和測算的，隨著大數(shù)據(jù)時代的到來，價格認(rèn)定工作該如何迎接挑戰(zhàn)呢?每天都面對海量的數(shù)據(jù)，如何運(yùn)用至價格認(rèn)定實(shí)踐，是否可以對傳統(tǒng)的價格認(rèn)定方式方法做出改善，是一個值得探討的命題。

一、大數(shù)據(jù)概念

什么是大數(shù)據(jù)？大數(shù)據(jù)是一個體量特別大，數(shù)據(jù)類別特別大的數(shù)據(jù)集，并且這樣的數(shù)據(jù)集無法用傳統(tǒng)數(shù)據(jù)庫工具對其內(nèi)容進(jìn)行抓取、管理和處理。大數(shù)據(jù)是讓我們以一種前所未有的方式，通過對海量數(shù)據(jù)進(jìn)行分析，獲得有巨大價值的產(chǎn)品和服務(wù)，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。其主要特征是什么?大數(shù)據(jù)不僅是指數(shù)據(jù)量大，其主要特征是數(shù)據(jù)量大、數(shù)據(jù)種類多、非標(biāo)準(zhǔn)化數(shù)據(jù)的價值最大化。

（一）數(shù)據(jù)量大

數(shù)據(jù)體量巨大。在“小數(shù)據(jù)時代”，我們計量數(shù)據(jù)的單位是KB、MB(1024KB)、GB(1024MB)、TB(1024GB)，而在大數(shù)據(jù)時代，計量單位升級為PB(1024TB)、EB(1024PB)乃至ZB (1024EB)。

數(shù)據(jù)量的變化，使得人們分析數(shù)據(jù)的方式也隨之發(fā)生變化。在“小數(shù)據(jù)”時代，由于限于收集數(shù)據(jù)的方式和途徑，人們只能獲得少量數(shù)據(jù)，因此對數(shù)據(jù)分析的方式主要是通過隨機(jī)采樣，依據(jù)對樣本的分析來進(jìn)行，即由樣本分析到總體的方式。隨機(jī)采樣分析的精確性會隨著采樣隨機(jī)性的增加而大幅提高，但是，實(shí)現(xiàn)采樣的隨機(jī)性非常困難，因此難以確保分析結(jié)果的準(zhǔn)確性。而在大數(shù)據(jù)時代，人們則是可以直接對總體數(shù)據(jù)進(jìn)行深度的分析。實(shí)驗(yàn)證明，在數(shù)據(jù)量較小的時候，總體分析的精確度明顯低于采樣分析，但隨著數(shù)據(jù)量的增加，總體分析的精確度會明顯的提高，而采樣分析的精確度卻幾乎沒有什么變化。換言之，只要數(shù)據(jù)量越大，分析就越能接近事實(shí)的真相。另外，采用總體數(shù)據(jù)分析時還能使人們從不同的角度觀察和研究數(shù)據(jù)。

（二）數(shù)據(jù)類型繁多

數(shù)據(jù)類別(variety)大，數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富，已沖破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。除了文本形式，還有網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等多類型的數(shù)據(jù)，不僅數(shù)據(jù)類型的混雜還有數(shù)據(jù)精度的混雜。數(shù)據(jù)精度的問題可以通過總體分析解決，數(shù)據(jù)類型的混雜則對數(shù)據(jù)的處理能力提出了更高的要求。

（三）數(shù)據(jù)分析和預(yù)測是核心

大數(shù)據(jù)的一個核心用處是預(yù)測。在小數(shù)據(jù)時代，人們通過抽樣分析來探尋事物的因果關(guān)系，而在大數(shù)據(jù)時代，處理數(shù)據(jù)關(guān)系主要通過計算機(jī)的云計算等大量處理體系，不是通過因果關(guān)系來進(jìn)行判斷，而是通過所有數(shù)據(jù)的相關(guān)關(guān)系來進(jìn)行分析和預(yù)測。

（四）一切皆可量化

在小數(shù)據(jù)時代，由于可獲取的數(shù)據(jù)有限，很多事物無法量化。而在大數(shù)據(jù)時代，人們可以通過大量的數(shù)據(jù)將事物的各項(xiàng)特征數(shù)據(jù)化，從而使人們對事物的認(rèn)識更加直觀，利于分析。

二、大數(shù)據(jù)對價格認(rèn)定工作的重要性

價格認(rèn)定人員的日常工作主要是對標(biāo)的物價格進(jìn)行測算，數(shù)據(jù)對價格認(rèn)定工作的重要性是顯而易見的。

（一）大數(shù)據(jù)對分析判斷價格變動趨勢具有重要作用

在進(jìn)行價格認(rèn)定工作時分析和判斷價格變動趨勢是必要的過程。而價格認(rèn)定人員是依據(jù)什么來對價格變動趨勢進(jìn)行分析判斷呢?答案是數(shù)據(jù)。影響標(biāo)的物價格的因素是多方面的，各級價格認(rèn)證機(jī)構(gòu)的工作人員要基于各種各樣的數(shù)據(jù)來進(jìn)行定性尤其是定量分析。所有的分析、判斷和預(yù)測都必須基于大量數(shù)據(jù)的獲取和分析。

（二）大數(shù)據(jù)對判斷價格水平及價格測算具有至關(guān)重要的影響

在價格認(rèn)定工作中，價格認(rèn)定人員對價格水平的判斷和測算的依據(jù)仍然是數(shù)據(jù)。以市場法為例，價格認(rèn)定人員首先需要收集大量的標(biāo)的物市場交易價格，這些價格都是數(shù)據(jù)，如果無法獲得足夠的市場價格，價格認(rèn)定人員對價格水平的判斷就很可能出現(xiàn)問題，如果價格認(rèn)定人員只收集了少數(shù)幾個交易價格，那么他只用這些價格進(jìn)行測算，這樣一來其中的偶然性就可能不會被消除，也無法保證測算結(jié)果的精確。而反過來，如果價格認(rèn)定人員能夠收集足夠多的市場價格，比如20個，100個，甚至是1000個，10000個，將這些數(shù)據(jù)放在一起進(jìn)行比較分析，標(biāo)的物的價格水平就呼之欲出了，然后價格認(rèn)定人員在這些數(shù)據(jù)的基礎(chǔ)上選取可比性的進(jìn)行價格測算，其測算結(jié)果的精確度明顯是要高于前者的。在價格認(rèn)定人員能夠擁有眾多的市場價格數(shù)據(jù)的情況下，價格認(rèn)定結(jié)論的精確度就會得到較大提升。

三、大數(shù)據(jù)技術(shù)對價格認(rèn)定工作的啟示與思考

谷歌公司可以把5000萬條美國人最頻繁檢索的詞條和美國疾控中心在2003年至2008年間季節(jié)性流感傳播時期的數(shù)據(jù)進(jìn)行比較，通過處理4.5億個不同的數(shù)學(xué)模型，比美國官方的疾控中心提前幾周準(zhǔn)確預(yù)測了甲型H1N1流感的爆發(fā)。“這是當(dāng)今社會所獨(dú)有的一種新型能力：以一種前所未有的方式，通過對海量數(shù)據(jù)進(jìn)行分析，獲得有巨大價值的產(chǎn)品和服務(wù)，或深刻的洞見”，這就是大數(shù)據(jù)時代的技術(shù)理念。

大數(shù)據(jù)的精髓和核心在于我們分析信息時的三個轉(zhuǎn)變：

第一個轉(zhuǎn)變是：要全體不要抽樣。在大數(shù)據(jù)時代，我們可以分析更多的數(shù)據(jù)，有時候甚至可以處理和某個特別現(xiàn)象相關(guān)的所有數(shù)據(jù)，而不再依賴于隨機(jī)采樣；

第二個轉(zhuǎn)變是：要效率不要絕對精確。研究數(shù)據(jù)如此之多，以至于我們不再熱衷于追求精確度；

第三個轉(zhuǎn)變因前兩個轉(zhuǎn)變而促成，要相關(guān)不要因果。即我們不再熱衷于尋找因果關(guān)系。

基于這種變化，對于價格認(rèn)定來講，我們至少可以在以下幾個方面大數(shù)據(jù)對我們的工作有推動作用：

（一）價格趨勢研判

眾所周知，大數(shù)據(jù)的核心作用之一是預(yù)測，大數(shù)據(jù)已經(jīng)不簡簡單單是數(shù)據(jù)大，最重要的是對大數(shù)據(jù)進(jìn)行分析，只有通過分析才能獲取更多智能的、深入的、有價值的信息。那么越來越多的應(yīng)用涉及到大數(shù)據(jù)，而這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長的復(fù)雜性，所以大數(shù)據(jù)的分析方法在大數(shù)據(jù)領(lǐng)域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。根據(jù)價格認(rèn)定工作自身的特點(diǎn)，以各項(xiàng)業(yè)務(wù)需求為驅(qū)動，從大數(shù)據(jù)中挖掘出特點(diǎn)，通過科學(xué)的建立模型，之后便可以通過模型帶入新的數(shù)據(jù)，從而預(yù)測未來的數(shù)據(jù)。

（二）提高價格認(rèn)定結(jié)論的精度

在大數(shù)據(jù)時代，價格認(rèn)定人員應(yīng)尋求如何利用大數(shù)據(jù)，建立價格認(rèn)定各種參數(shù)數(shù)據(jù)庫，以提高價格認(rèn)定的精度。在近幾年的涉紀(jì)檢監(jiān)察案件中，我們會經(jīng)常遇到對房產(chǎn)進(jìn)行價格認(rèn)定的案子，不妨就以房產(chǎn)價格認(rèn)定進(jìn)行說明。

1．市場法

前幾年我在辦公室工作時，核稿過程中經(jīng)常遇到涉及房產(chǎn)的案子，在采用市場法進(jìn)行價格認(rèn)定時，價格認(rèn)定人員對比較實(shí)例的修正和調(diào)整主要是基于經(jīng)驗(yàn)判斷，如將價格影響因素按優(yōu)劣劃分等，調(diào)整系數(shù)也大都是基于經(jīng)驗(yàn)，雖然沒有錯誤，但是精準(zhǔn)度不夠。在大數(shù)據(jù)時代，我們在獲取海量數(shù)據(jù)的基礎(chǔ)上，可通過對信息的細(xì)分，計算和提煉調(diào)整系數(shù)。比如，將所有的多層房屋信息中的樓層進(jìn)行區(qū)分，通過計算機(jī)分析找出樓層與價格之間的相關(guān)關(guān)系，從而提煉出樓層調(diào)整系數(shù)值。如此，根據(jù)大量的數(shù)據(jù)量化、計算與分析，就可以建立更加精細(xì)和準(zhǔn)確的修正體系。

再比如，進(jìn)行市場狀況調(diào)整時，以前由于房產(chǎn)數(shù)據(jù)獲得的限制，調(diào)整系數(shù)往往根據(jù)標(biāo)的物周圍二手房價格指數(shù)確定，這類指數(shù)一般反映的是較大的區(qū)域的價格平均走勢。而在大數(shù)據(jù)時代，調(diào)整系數(shù)的獲得變得不那么困難，價格認(rèn)定人員可以通過分析同區(qū)域同類房地產(chǎn)價格掛牌和交易價格的變動趨勢進(jìn)行確定。

再以公交便捷度來說，目前對這一因素的調(diào)整系數(shù)基本是基于優(yōu)劣程度的判斷，而在大數(shù)據(jù)時代，價格認(rèn)定人員可以從獲取的所有交易實(shí)例中，分析公交線路的數(shù)量及頻率、與標(biāo)的物的距離等因素與房地產(chǎn)價格的相互關(guān)系，進(jìn)行量化，得出價格調(diào)整體系。

2．成本法

成本法中建筑物折舊一直是一項(xiàng)難以精準(zhǔn)量化的參數(shù)。在大數(shù)據(jù)時代，價格認(rèn)定人員可以通過調(diào)查與收集大量數(shù)據(jù)，并進(jìn)行分析來解決這個問題。以年限法為例，計算建筑物折舊的關(guān)鍵指標(biāo)是建筑物的經(jīng)濟(jì)壽命，價格認(rèn)定人員可以調(diào)查同區(qū)域相同類型和相同結(jié)構(gòu)、于不同時期建造的房地產(chǎn)，收集大量交易價格數(shù)據(jù)，在確定土地價格和建筑物重置價格后，計算出不同建造年代房地產(chǎn)的折舊，從而得出建筑物經(jīng)濟(jì)壽命和年折舊率。

總之，作為國家發(fā)改委價格認(rèn)證中心來說，在大數(shù)據(jù)飛速發(fā)展的今天，應(yīng)重視參數(shù)數(shù)據(jù)庫的建立，這對于提高估價機(jī)構(gòu)的業(yè)務(wù)水平和持續(xù)發(fā)展有著至關(guān)重要的作用，建議要提前組織研究探討，爭取在金價工程中能夠有所體現(xiàn)。

（三）提高建設(shè)價格認(rèn)定數(shù)據(jù)庫的效率

目前全國許多價格認(rèn)證機(jī)構(gòu)都在建或已建成各類價格認(rèn)證信息系統(tǒng)，包括參數(shù)數(shù)據(jù)庫、交易案例數(shù)據(jù)庫、估價管理系統(tǒng)、估價輔助系統(tǒng)等，但是建設(shè)效果不好，建成后使用效率不高，應(yīng)用推廣得也不好，造成資源浪費(fèi)。價格認(rèn)定信息建設(shè)是一項(xiàng)工作量巨大、耗時的任務(wù)，需要大量的人力和物力投入。而在大數(shù)據(jù)時代，有些工作量(主要是信息收集的工作)會得到減輕，我們可以通過多種方式來獲得所需要的信息，從而提高工作效率。不妨舉例來說，在“金價工程”建設(shè)過程中，如果采用傳統(tǒng)方式的話，各類價格數(shù)據(jù)來源就會是一個比較突出的問題，但是如果我們將大數(shù)據(jù)技術(shù)應(yīng)用于系統(tǒng)建設(shè)，就會起到事半功倍的效果。

下面，不妨仍以涉紀(jì)檢監(jiān)察案件中的房產(chǎn)案子在采用市場法的情況下，如何解決價格數(shù)據(jù)來源問題來舉例說明。

在目前的大數(shù)據(jù)時代，我們可以通過報紙、網(wǎng)絡(luò)等多種途徑，方便地獲得數(shù)以萬計的房屋息買賣信，或是實(shí)際成交、或是賣方報價、或是中介公司統(tǒng)計值等等，在傳統(tǒng)價格認(rèn)定理念看來，這些數(shù)據(jù)大多都因?yàn)槲窗l(fā)生實(shí)際交易行為，而無法作為價格認(rèn)定業(yè)務(wù)中予以采用，但在大數(shù)據(jù)時代來臨之際，在大數(shù)據(jù)時代的理念影響之下，這種觀念已經(jīng)落伍了，現(xiàn)有的技術(shù)條件下完全可以改變我們進(jìn)行價格認(rèn)定的工作方式方法。試述如下：

1．?dāng)?shù)據(jù)獲取

在目前的網(wǎng)絡(luò)時代，網(wǎng)絡(luò)數(shù)據(jù)是我們最易獲得、成本最小的數(shù)據(jù)來源，也是信息量最大的數(shù)據(jù)來源。網(wǎng)絡(luò)數(shù)據(jù)抓取程序，也即“網(wǎng)機(jī)絡(luò)器人”或“網(wǎng)絡(luò)爬蟲”，是一種能訪問網(wǎng)站并跟蹤鏈接的程序，通過它可快速的獲取一個網(wǎng)站所包含的頁面信息。以抓取任一房地產(chǎn)公司網(wǎng)站數(shù)據(jù)為例：使用C#結(jié)合sql數(shù)據(jù)庫制作程序，在主界面中內(nèi)置Web Client控件，使用該控件來訪問web頁面，進(jìn)行DOM分析。

該程序首先定位到一個房產(chǎn)交易網(wǎng)站，掃描該頁面所有超鏈接，根據(jù)超鏈接內(nèi)容分析，找搜索出所有房產(chǎn)相關(guān)的鏈接，保存到內(nèi)存中，并分析頁面鏈接，自動獲取下一頁數(shù)據(jù)抓取鏈接保存，獲取完所有分頁的詳情鏈接地址后。通過設(shè)計好的分析軟件對搜集的房產(chǎn)鏈接地址進(jìn)行定位，自動獲取完整頁面信息，然后根據(jù)原始頁面源代碼分析后預(yù)先設(shè)定的規(guī)則，取得頁面中需要保存的房產(chǎn)相關(guān)信息字段，存入數(shù)據(jù)庫中。

這種“網(wǎng)機(jī)絡(luò)器人”通過設(shè)定好計劃任務(wù)后，它能在指定時間自動運(yùn)行，抓取完全部數(shù)據(jù)后自動關(guān)閉程序，整個過程中無需人員干預(yù)，實(shí)現(xiàn)無人值守。

同樣的原理，可以簡便地從官方網(wǎng)站、房地產(chǎn)中介公司網(wǎng)站，甚至社交網(wǎng)站、各種論壇等數(shù)據(jù)源來獲取大量的房地產(chǎn)交易、報價、評論數(shù)據(jù)。

2．?dāng)?shù)據(jù)利用

抓取下來的數(shù)據(jù)進(jìn)行分類整理之后，運(yùn)用統(tǒng)計學(xué)的方法進(jìn)行離散度、聚合度分析，從中剔除掉誤輸入、嚴(yán)重偏離的數(shù)據(jù)，將剩余的大量數(shù)據(jù)予以匯總、規(guī)范，同時可以利用價格認(rèn)證業(yè)務(wù)和本地資源的優(yōu)勢，從房地產(chǎn)管理部門、行業(yè)協(xié)會、中介公司、咨詢公司、數(shù)據(jù)公司以及全國各級價格認(rèn)證機(jī)構(gòu)自身的案件積累等途徑獲得一定數(shù)量的真實(shí)價格數(shù)據(jù)，定期（或每周、每月）將網(wǎng)絡(luò)抓取數(shù)據(jù)與真實(shí)成交案例進(jìn)行對比，采用經(jīng)典的價格認(rèn)定方法、數(shù)理統(tǒng)計的手段進(jìn)行復(fù)核，剔除其中的不正常因素，使其無限接近真實(shí)成交價，進(jìn)而逐步形成龐大的數(shù)據(jù)庫，運(yùn)用類似CAMA（計算機(jī)輔助批量估價）進(jìn)行輔助測算。

根據(jù)價格認(rèn)定業(yè)務(wù)要求，市場法的數(shù)據(jù)選擇不得低于3個，但采用CAMA，每一套房屋的市場法評估過程可以采用成千上萬個以上的案例進(jìn)行修正，而這無論從技術(shù)層面、效率層面來說都會比傳統(tǒng)價格認(rèn)定方式容易得多，更不會受因價格認(rèn)定人員個人偏見或者經(jīng)驗(yàn)缺失而造成的人為性過強(qiáng)的影響，而最終所得出的數(shù)值的準(zhǔn)確性亦是毋庸置疑的。

（四）提高批量價格認(rèn)定的效率

批量價格認(rèn)定是利用共同的數(shù)據(jù)，采用相同的方法，并經(jīng)過統(tǒng)計檢驗(yàn)，對大量同類房地產(chǎn)在給定日期的價格進(jìn)行價格認(rèn)定。比方說，在涉稅價格認(rèn)定工作中，某些省價格認(rèn)證機(jī)構(gòu)對片區(qū)房計稅價的處理方式。在大數(shù)據(jù)時代，海量的數(shù)據(jù)利于分析房地產(chǎn)價值與影響因素的相關(guān)關(guān)系，無論是分析建立特征價格模型，還是從標(biāo)準(zhǔn)房屋到各套房屋的價格調(diào)整體系，都會更加高效和準(zhǔn)確。

四、幾點(diǎn)建議

針對即將開展初設(shè)工作的“金價工程”，我認(rèn)為應(yīng)該結(jié)合價格認(rèn)定業(yè)務(wù)的實(shí)際情況，對大數(shù)據(jù)在價格認(rèn)證工作的應(yīng)用需求、設(shè)計要求及解決方案開展提前研究。

（一）必須做好頂層設(shè)計工作

作為“金價工程”的總體，要著重解決好以下幾件事情：

一是建立一套運(yùn)行機(jī)制。大數(shù)據(jù)建設(shè)是一項(xiàng)有序的、動態(tài)的、可持續(xù)發(fā)展的系統(tǒng)工程，必須建立良好的運(yùn)行機(jī)制，以促進(jìn)建設(shè)過程中各個環(huán)節(jié)的正規(guī)有序，實(shí)現(xiàn)統(tǒng)合，搞好頂層設(shè)計。

二是規(guī)范一套建設(shè)標(biāo)準(zhǔn)。沒有標(biāo)準(zhǔn)就沒有系統(tǒng)。應(yīng)建立面向不同主題、覆蓋各個領(lǐng)域、不斷動態(tài)更新的大數(shù)據(jù)建設(shè)標(biāo)準(zhǔn)，為實(shí)現(xiàn)各級各類信息系統(tǒng)的網(wǎng)絡(luò)互連、信息互通、資源共享奠定基礎(chǔ)。

三是搭建一個共享平臺。數(shù)據(jù)只有不斷流動和充分共享，才有生命力。應(yīng)在各專用數(shù)據(jù)庫建設(shè)的基礎(chǔ)上，通過數(shù)據(jù)集成，實(shí)現(xiàn)各級各類指揮信息系統(tǒng)的數(shù)據(jù)交換和數(shù)據(jù)共享。

四是培養(yǎng)一支專業(yè)隊伍。大數(shù)據(jù)建設(shè)的每個環(huán)節(jié)都需要依靠專業(yè)人員完成，因此，必須培養(yǎng)和造就一支懂指揮、懂技術(shù)、懂管理的大數(shù)據(jù)建據(jù)建設(shè)專業(yè)隊伍。

（二）做好價格認(rèn)證系統(tǒng)中的大數(shù)據(jù)處理工作

大數(shù)據(jù)處理的流程，其具體的大數(shù)據(jù)處理方法有很多，但主要處理流程可以概括為四步，分別是采集、導(dǎo)入和預(yù)處理、統(tǒng)計和分析，最后是數(shù)據(jù)挖掘。

1．采集

大數(shù)據(jù)采集所需要的數(shù)據(jù)源主要來自三個方面：一是價格認(rèn)證系統(tǒng)自身每天所產(chǎn)生的大量數(shù)據(jù)（包括各級價格認(rèn)證機(jī)構(gòu)歷年所積累的價格數(shù)據(jù)）；二是同社會上掌握價格數(shù)據(jù)的相關(guān)機(jī)構(gòu)、協(xié)會、公司等進(jìn)行戰(zhàn)略合作；三是采取“網(wǎng)絡(luò)機(jī)器人”方式到互聯(lián)網(wǎng)上進(jìn)行搜尋，這三種方式可以確保能夠找到真實(shí)可靠的數(shù)據(jù)源。大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進(jìn)行簡單的查詢和處理工作。在大數(shù)據(jù)的采集過程中，其主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高，因?yàn)橥瑫r有可能會有成千上萬的用戶來進(jìn)行訪問和操作，并且如何在這些數(shù)據(jù)庫之間進(jìn)行負(fù)載均衡和分片的確是需要深入的思考和設(shè)計。

2．導(dǎo)入/預(yù)處理

雖然采集端本身會有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進(jìn)行有效的分析，還是應(yīng)該將這些來自前端的數(shù)據(jù)導(dǎo)入到一個集中的大型分布式數(shù)據(jù)庫，或者分布式存儲集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡單的清洗和預(yù)處理工作。

3．統(tǒng)計和分析

統(tǒng)計與分析主要利用分布式數(shù)據(jù)庫，或者分布式計算集群來對存儲于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，統(tǒng)計與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對系統(tǒng)資源，特別是I/O會有極大的占用。

4．挖掘

數(shù)據(jù)挖掘一般主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計算，從而起到預(yù)測（Predict）的效果，從而實(shí)現(xiàn)一些高級別數(shù)據(jù)分析的需求。該過程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計算涉及的數(shù)據(jù)量和計算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。

五、結(jié)語

綜上所述，對于價格認(rèn)證機(jī)構(gòu)來講，應(yīng)積極迎接大數(shù)據(jù)時代的到來，尤其是要探索利用數(shù)據(jù)資源和最新計算機(jī)技術(shù)，建立全國的價格認(rèn)定數(shù)據(jù)庫、價格認(rèn)定輔助系統(tǒng)，提高價格認(rèn)定的精準(zhǔn)度和工作效率。但是，大數(shù)據(jù)如何及時、準(zhǔn)確地運(yùn)用至價格認(rèn)定工作中是一個很寬泛的命題，此文僅是作者本人對大數(shù)據(jù)在價格認(rèn)定工作中應(yīng)用前景的一些淺薄認(rèn)識，以作拋磚引玉之用。