大數(shù)據(jù)時(shí)代網(wǎng)絡(luò)爬蟲(chóng)為銀行提供了全新的策略

人類社會(huì)已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代，傳統(tǒng)的信息存儲(chǔ)和傳播媒介已逐漸為計(jì)算機(jī)所替代，并呈現(xiàn)出指數(shù)增長(zhǎng)的趨勢(shì)，成為21世紀(jì)最為重要的經(jīng)濟(jì)資源之一。作為掌握大量真實(shí)交易數(shù)據(jù)的商業(yè)銀行，面對(duì)浩如煙海的信息時(shí)，如何實(shí)現(xiàn)銀行內(nèi)部與外部信息、結(jié)構(gòu)性與非結(jié)構(gòu)性數(shù)據(jù)的緊密結(jié)合，更加準(zhǔn)確地識(shí)別信息，有效地對(duì)信息進(jìn)行挖掘，將數(shù)據(jù)價(jià)值轉(zhuǎn)化為經(jīng)濟(jì)價(jià)值，已經(jīng)成為當(dāng)前商業(yè)銀行提升核心競(jìng)爭(zhēng)力的重要途徑之一。網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的快速發(fā)展為商業(yè)銀行提升信息精準(zhǔn)獲取和有效整合應(yīng)用能力提供了全新的策略。

網(wǎng)絡(luò)爬蟲(chóng)技術(shù)概述

網(wǎng)絡(luò)爬蟲(chóng)是Spider（或Robots、Crawler）等詞的意譯，是一種高效的信息抓取工具，它集成了搜索引擎技術(shù)，并通過(guò)技術(shù)手段進(jìn)行優(yōu)化，用以從互聯(lián)網(wǎng)搜索、抓取并保存任何通過(guò)HTML（超文本標(biāo)記語(yǔ)言）進(jìn)行標(biāo)準(zhǔn)化的網(wǎng)頁(yè)信息。其作用機(jī)理是：發(fā)送請(qǐng)求給互聯(lián)網(wǎng)特定站點(diǎn)，在建立連接后與該站點(diǎn)交互，獲取HTML格式的信息，隨后轉(zhuǎn)移到下一個(gè)站點(diǎn)，并重復(fù)以上流程。通過(guò)這種自動(dòng)化的工作機(jī)制，將目標(biāo)數(shù)據(jù)保存在本地?cái)?shù)據(jù)中，以供使用。網(wǎng)絡(luò)爬蟲(chóng)在訪問(wèn)一個(gè)超文本鏈接時(shí)，可以從HTML標(biāo)簽中自動(dòng)獲取指向其他網(wǎng)頁(yè)的地址信息，因而可以自動(dòng)實(shí)現(xiàn)高效、標(biāo)準(zhǔn)化的信息獲取。

隨著互聯(lián)網(wǎng)在人類經(jīng)濟(jì)社會(huì)中的應(yīng)用日益廣泛，其所涵蓋的信息規(guī)模呈指數(shù)增長(zhǎng)，信息的形式和分布具有多樣化、全球化特征，傳統(tǒng)搜索引擎技術(shù)已經(jīng)無(wú)法滿足日益精細(xì)化、專業(yè)化的信息獲取和加工需求，正面臨著巨大的挑戰(zhàn)。網(wǎng)絡(luò)爬蟲(chóng)自誕生以來(lái)，就發(fā)展迅猛，并成為信息技術(shù)領(lǐng)域的主要研究熱點(diǎn)。當(dāng)前，主流的網(wǎng)絡(luò)爬蟲(chóng)搜索策略有如下幾種。

深度優(yōu)先搜索策略

早期的爬蟲(chóng)開(kāi)發(fā)采用較多的搜索策略是以深度優(yōu)先的，即在一個(gè)HTML文件中，挑選其中一個(gè)超鏈接標(biāo)簽進(jìn)行深度搜索，直至遍歷這條超鏈接到最底層時(shí)，由邏輯運(yùn)算判斷本層搜索結(jié)束，隨后退出本層循環(huán)，返回上層循環(huán)并開(kāi)始搜索其他的超鏈接標(biāo)簽，直至初始文件內(nèi)的超鏈接被遍歷。深度優(yōu)先搜索策略的優(yōu)點(diǎn)是可以將一個(gè)Web站點(diǎn)的所有信息全部搜索，對(duì)嵌套較深的文檔集尤其適用；而缺點(diǎn)是在數(shù)據(jù)結(jié)構(gòu)日益復(fù)雜的情況下，站點(diǎn)的縱向?qū)蛹?jí)會(huì)無(wú)限增加且不同層級(jí)之間會(huì)出現(xiàn)交叉引用，會(huì)發(fā)生無(wú)限循環(huán)的情況，只有強(qiáng)行關(guān)閉程序才能退出遍歷，而得到的信息由于大量的重復(fù)和冗余，質(zhì)量很難保證。

寬度優(yōu)先搜索策略

與深度優(yōu)先搜索策略相對(duì)應(yīng)的是寬度優(yōu)先搜索策略，其作用機(jī)理是從頂層向底層開(kāi)始循環(huán)，先就一級(jí)頁(yè)面中的所有超鏈接進(jìn)行搜索，完成一級(jí)頁(yè)面遍歷后再開(kāi)始二級(jí)頁(yè)面的搜索循環(huán)，直到底層為止。當(dāng)某一層中的所有超鏈接都被選擇過(guò)，才會(huì)基于該層信息檢索過(guò)程中所獲得的下一級(jí)超鏈接（并將其作為種子）開(kāi)始新的一輪檢索，優(yōu)先處理淺層的鏈接。這種模式的一個(gè)優(yōu)點(diǎn)是：無(wú)論搜索對(duì)象的縱向結(jié)構(gòu)層級(jí)有多么復(fù)雜，都會(huì)極大程度上避免死循環(huán)；另一個(gè)優(yōu)勢(shì)則在于，它擁有特定的算法，可以找到兩個(gè)HTML文件間最短的路徑。一般來(lái)講，我們期望爬蟲(chóng)所具有的大多數(shù)功能目前均可以采用寬度優(yōu)先搜索策略較容易的實(shí)現(xiàn)，所以它被認(rèn)為是最優(yōu)的。但其缺點(diǎn)是：由于大量時(shí)間被耗費(fèi)，寬度優(yōu)先搜索策略則不太適用于要遍歷特定站點(diǎn)和HTML文件深層嵌套的情況。

聚焦搜索策略

與深度優(yōu)先和寬度優(yōu)先不同，聚焦搜索策略是根據(jù)“匹配優(yōu)先原則”對(duì)數(shù)據(jù)源進(jìn)行訪問(wèn)，基于特定的匹配算法，主動(dòng)選擇與需求主題相關(guān)的數(shù)據(jù)文檔，并限定優(yōu)先級(jí)，據(jù)以指導(dǎo)后續(xù)的數(shù)據(jù)抓取。這類聚焦爬蟲(chóng)針對(duì)所訪問(wèn)任何頁(yè)面中的超鏈接都會(huì)判定一個(gè)優(yōu)先級(jí)評(píng)分，根據(jù)評(píng)分情況將該鏈接插入循環(huán)隊(duì)列，此策略能夠幫助爬蟲(chóng)優(yōu)先跟蹤潛在匹配程度更高的頁(yè)面，直至獲取足夠數(shù)量和質(zhì)量的目標(biāo)信息。不難看出，聚焦爬蟲(chóng)搜索策略主要在于優(yōu)先級(jí)評(píng)分模型的設(shè)計(jì)，亦即如何區(qū)分鏈接的價(jià)值，不同的評(píng)分模型針對(duì)同一鏈接會(huì)給出不同的評(píng)分，也就直接影響到信息搜集的效率和質(zhì)量。同樣機(jī)制下，針對(duì)超鏈接標(biāo)簽的評(píng)分模型自然可以擴(kuò)展到針對(duì)HTML頁(yè)面的評(píng)價(jià)中，因?yàn)槊恳粋€(gè)網(wǎng)頁(yè)都是由大量超鏈接標(biāo)簽所構(gòu)成的，一般看來(lái)，鏈接價(jià)值越高，其所在頁(yè)面的價(jià)值也越高，這就為搜索引擎的搜索專業(yè)化和應(yīng)用廣泛化提供了理論和技術(shù)支撐。當(dāng)前，常見(jiàn)的聚焦搜索策略包括基于“鞏固學(xué)習(xí)”和“語(yǔ)境圖”兩種。

從應(yīng)用程度來(lái)看，當(dāng)前國(guó)內(nèi)主流搜索平臺(tái)主要采用的是寬度優(yōu)先搜索策略，主要是考慮到國(guó)內(nèi)網(wǎng)絡(luò)系統(tǒng)中信息的縱向價(jià)值密度較低，而橫向價(jià)值密度較高。但是這樣會(huì)明顯地遺漏到一些引用率較小的網(wǎng)絡(luò)文檔，并且寬度優(yōu)先搜索策略的橫向價(jià)值富集效應(yīng)，會(huì)導(dǎo)致這些鏈接量少的信息源被無(wú)限制的忽略下去；而在此基礎(chǔ)上補(bǔ)充采用線性搜索策略則會(huì)緩解這種狀況，不斷引入更新的數(shù)據(jù)信息到已有的數(shù)據(jù)倉(cāng)庫(kù)中，通過(guò)多輪的價(jià)值判斷去決定是否繼續(xù)保存該信息，而不是“簡(jiǎn)單粗暴”地遺漏下去，將新的信息阻滯在密閉循環(huán)之外。

網(wǎng)絡(luò)爬蟲(chóng)技術(shù)發(fā)展趨勢(shì)

近年來(lái)，隨著網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的持續(xù)發(fā)展，搜索策略也在不斷進(jìn)行優(yōu)化。從目前來(lái)看，未來(lái)網(wǎng)絡(luò)爬蟲(chóng)的發(fā)展主要呈現(xiàn)以下趨勢(shì)。

網(wǎng)頁(yè)數(shù)據(jù)動(dòng)態(tài)化

傳統(tǒng)的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)主要局限于對(duì)靜態(tài)頁(yè)面信息的抓取，模式相對(duì)單一，而近年來(lái)，隨著Web2.0/AJAX等技術(shù)成為主流，動(dòng)態(tài)頁(yè)面由于具有強(qiáng)大的交互能力，成為網(wǎng)絡(luò)信息傳播的主流，并已取代了靜態(tài)頁(yè)面成為了主流。AJAX采用了JavaScript驅(qū)動(dòng)的異步（非同步）請(qǐng)求和響應(yīng)機(jī)制，在不經(jīng)過(guò)網(wǎng)頁(yè)整體刷新的情況下持續(xù)進(jìn)行數(shù)據(jù)更新，而傳統(tǒng)爬蟲(chóng)技術(shù)缺乏對(duì)JavaScript語(yǔ)義的接口和交互能力，難以觸發(fā)動(dòng)態(tài)無(wú)刷新頁(yè)面的異步調(diào)用機(jī)制并解析返回的數(shù)據(jù)內(nèi)容，無(wú)法保存所需信息。

此外，諸如JQuery等封裝了JavaScript的各類前端框架會(huì)對(duì)DOM結(jié)構(gòu)進(jìn)行大量調(diào)整，甚至網(wǎng)頁(yè)上的主要?jiǎng)討B(tài)內(nèi)容均不必在首次建立請(qǐng)求時(shí)就以靜態(tài)標(biāo)簽的形式從服務(wù)器端發(fā)送到客戶端，而是不斷對(duì)用戶的操作進(jìn)行回應(yīng)并通過(guò)異步調(diào)用的機(jī)制動(dòng)態(tài)繪制出來(lái)。這種模式一方面極大地優(yōu)化了用戶體驗(yàn)，另一方面很大程度上減輕了服務(wù)器的交互負(fù)擔(dān)，但卻對(duì)習(xí)慣了DOM結(jié)構(gòu)（相對(duì)不變的靜態(tài)頁(yè)面）的爬蟲(chóng)程序提出了巨大挑戰(zhàn)。傳統(tǒng)爬蟲(chóng)程序主要基于“協(xié)議驅(qū)動(dòng)”，而在互聯(lián)網(wǎng)2.0時(shí)代，基于AJAX的動(dòng)態(tài)交互技術(shù)環(huán)境下，爬蟲(chóng)引擎必須依賴“事件驅(qū)動(dòng)”才有可能獲得數(shù)據(jù)服務(wù)器源源不斷的數(shù)據(jù)反饋。而要實(shí)現(xiàn)事件驅(qū)動(dòng)，爬蟲(chóng)程序必須解決三項(xiàng)技術(shù)問(wèn)題：第一，JavaScript的交互分析和解釋；第二，DOM事件的處理和解釋分發(fā)；第三，動(dòng)態(tài)DOM內(nèi)容語(yǔ)義的抽取。

數(shù)據(jù)采集分布化

分布式爬蟲(chóng)系統(tǒng)是在計(jì)算機(jī)集群之上運(yùn)轉(zhuǎn)的爬蟲(chóng)系統(tǒng)，集群每一個(gè)節(jié)點(diǎn)上運(yùn)行的爬蟲(chóng)程序與集中式爬蟲(chóng)系統(tǒng)的工作原理相同，所不同的是分布式需要協(xié)調(diào)不同計(jì)算機(jī)之間的任務(wù)分工、資源分配、信息整合。分布式爬蟲(chóng)系統(tǒng)的某一臺(tái)計(jì)算機(jī)終端中植入了一個(gè)主節(jié)點(diǎn)，并通過(guò)它來(lái)調(diào)用本地的集中式爬蟲(chóng)進(jìn)行工作，在此基礎(chǔ)上，不同節(jié)點(diǎn)之間的信息交互就顯得十分重要，所以決定分布式爬蟲(chóng)系統(tǒng)成功與否的關(guān)鍵在于能否設(shè)計(jì)和實(shí)現(xiàn)任務(wù)的協(xié)同，此外，底層的硬件通信網(wǎng)絡(luò)也十分重要。由于可以采用多節(jié)點(diǎn)抓取網(wǎng)頁(yè)，并能夠?qū)崿F(xiàn)動(dòng)態(tài)的資源分配，因此就搜索效率而言，分布式爬蟲(chóng)系統(tǒng)遠(yuǎn)高于集中式爬蟲(chóng)系統(tǒng)。

經(jīng)過(guò)不斷的演化，各類分布式爬蟲(chóng)系統(tǒng)在系統(tǒng)構(gòu)成上各具特色，工作機(jī)制與存儲(chǔ)結(jié)構(gòu)不斷推陳出新，但主流的分布式爬蟲(chóng)系統(tǒng)普遍運(yùn)用了“主從結(jié)合”的內(nèi)部構(gòu)成，也就是由一個(gè)主節(jié)點(diǎn)通過(guò)任務(wù)分工、資源分配、信息整合來(lái)掌控其他從節(jié)點(diǎn)進(jìn)行信息抓?。辉诠ぷ鞣绞缴?，基于云平臺(tái)的廉價(jià)和高效特點(diǎn)，分布式爬蟲(chóng)系統(tǒng)廣泛采用云計(jì)算方式來(lái)降低成本，大規(guī)模降低軟硬件平臺(tái)構(gòu)建所需要的成本投入；在存儲(chǔ)方式方面，當(dāng)前比較流行的是分布式信息存儲(chǔ)，即將文件存儲(chǔ)在分布式的網(wǎng)絡(luò)系統(tǒng)上，這樣管理多個(gè)節(jié)點(diǎn)上的數(shù)據(jù)更加方便。通常情況下使用的分布式文件系統(tǒng)為基于Hadoop的HDFS系統(tǒng)。

網(wǎng)絡(luò)爬蟲(chóng)技術(shù)在商業(yè)銀行的應(yīng)用

對(duì)商業(yè)銀行而言，網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的應(yīng)用將助力商業(yè)銀行實(shí)現(xiàn)四個(gè)“最了解”，即“最了解自身的銀行”、“最了解客戶的銀行”、“最了解競(jìng)爭(zhēng)對(duì)手的銀行”和“最了解經(jīng)營(yíng)環(huán)境的銀行”，具體應(yīng)用場(chǎng)景如下。

網(wǎng)絡(luò)輿情監(jiān)測(cè)

網(wǎng)絡(luò)輿情是當(dāng)前社會(huì)主流輿論的表現(xiàn)方式之一，它主要搜集和展示經(jīng)互聯(lián)網(wǎng)傳播后大眾對(duì)部分社會(huì)焦點(diǎn)和熱點(diǎn)問(wèn)題的觀點(diǎn)和言論。對(duì)于商業(yè)銀行而言，對(duì)網(wǎng)絡(luò)輿情進(jìn)行監(jiān)測(cè)，是對(duì)自身品牌管理和危機(jī)公關(guān)的重要技術(shù)手段，從而以網(wǎng)絡(luò)作為一面“鏡子”，構(gòu)建“最了解自身的銀行”。

網(wǎng)絡(luò)輿情作為當(dāng)前社會(huì)的主流信息媒介之一，具有傳播快、影響大的特點(diǎn)，對(duì)于商業(yè)銀行而言，創(chuàng)建自動(dòng)化的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)十分必要，一方面可以使商業(yè)銀行獲得更加精準(zhǔn)的社會(huì)需求信息，另一方面可以使商業(yè)銀行在新的輿論平臺(tái)上傳播自身的服務(wù)理念和服務(wù)特色，提升自身的業(yè)務(wù)拓展水平。由于網(wǎng)絡(luò)爬蟲(chóng)在網(wǎng)絡(luò)輿情監(jiān)控中有著不可替代的作用，其工作質(zhì)量將會(huì)很大程度上影響網(wǎng)絡(luò)輿情采集的廣度和深度。依據(jù)采集目標(biāo)的類型，網(wǎng)絡(luò)爬蟲(chóng)可以歸納為“通用型網(wǎng)絡(luò)爬蟲(chóng)”和“主題型網(wǎng)絡(luò)爬蟲(chóng)”兩種。通用型網(wǎng)絡(luò)爬蟲(chóng)側(cè)重于采集更大的數(shù)據(jù)規(guī)模和更寬的數(shù)據(jù)范圍，并不考慮網(wǎng)頁(yè)采集的順序和目標(biāo)網(wǎng)頁(yè)的主題匹配情況。在當(dāng)前網(wǎng)絡(luò)信息規(guī)模呈現(xiàn)指數(shù)增長(zhǎng)的背景下，通用型網(wǎng)絡(luò)爬蟲(chóng)的使用受到信息采集速度、信息價(jià)值密度、信息專業(yè)程度的限制。為緩解這種狀況，主題型網(wǎng)絡(luò)爬蟲(chóng)誕生了。不同于通用型網(wǎng)絡(luò)爬蟲(chóng)，主題型網(wǎng)絡(luò)爬蟲(chóng)更專注采集目標(biāo)與網(wǎng)頁(yè)信息的匹配程度，避免無(wú)關(guān)的冗余信息，這一篩選過(guò)程是動(dòng)態(tài)的，貫穿于主題型網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的整個(gè)工作流程。

通過(guò)運(yùn)用爬蟲(chóng)技術(shù)對(duì)網(wǎng)絡(luò)輿情進(jìn)行監(jiān)測(cè)，可以更加全面深入地了解客戶對(duì)銀行的態(tài)度與評(píng)價(jià)，洞察銀行自身經(jīng)營(yíng)的優(yōu)勢(shì)與不足，同時(shí)可以起到防御聲譽(yù)風(fēng)險(xiǎn)、增強(qiáng)品牌效應(yīng)的作用。

客戶全景畫(huà)像

隨著商業(yè)銀行競(jìng)爭(zhēng)日趨激烈，利潤(rùn)空間進(jìn)一步壓縮，對(duì)客戶營(yíng)銷和風(fēng)險(xiǎn)控制的要求也日趨提升。在當(dāng)前的銀行經(jīng)營(yíng)體系中，營(yíng)銷流程管理和風(fēng)險(xiǎn)流程管理，尤其是對(duì)潛在客戶和貸后風(fēng)險(xiǎn)的識(shí)別與管理，往往需要耗費(fèi)大量的人力、物力和時(shí)間成本。通過(guò)引入網(wǎng)絡(luò)爬蟲(chóng)技術(shù)，可以有效構(gòu)建面向客戶的全景畫(huà)像，打造“最了解客戶的銀行”，這是對(duì)傳統(tǒng)“客戶關(guān)系管理”以及“非現(xiàn)場(chǎng)風(fēng)控”技術(shù)的有益補(bǔ)充，將會(huì)極大促進(jìn)銀行客戶營(yíng)銷和對(duì)風(fēng)險(xiǎn)的管理。

網(wǎng)絡(luò)爬蟲(chóng)程序可以用來(lái)構(gòu)建銀行客戶的全維度信息視圖，即以簡(jiǎn)單的個(gè)人客戶身份信息或?qū)蛻艟W(wǎng)絡(luò)地址為輸入，經(jīng)過(guò)爬蟲(chóng)程序的加工，將符合預(yù)設(shè)規(guī)則的客戶信息按特定的格式進(jìn)行輸出。以特定的基礎(chǔ)數(shù)據(jù)作為原料，銀行數(shù)據(jù)人員將關(guān)鍵詞輸入爬蟲(chóng)系統(tǒng)，并結(jié)合與客戶信息相關(guān)的網(wǎng)絡(luò)地址信息，封裝成爬蟲(chóng)種子傳遞給爬蟲(chóng)程序，隨后，爬蟲(chóng)程序啟動(dòng)相應(yīng)的業(yè)務(wù)流程，爬取客戶相關(guān)信息的網(wǎng)頁(yè)并保存下來(lái)。此外，從網(wǎng)絡(luò)輿情監(jiān)測(cè)層面進(jìn)一步入手，將監(jiān)測(cè)對(duì)象從自身延伸至銀行客戶，則能夠通過(guò)網(wǎng)絡(luò)在第一時(shí)間了解銀行客戶的客戶對(duì)銀行客戶的評(píng)價(jià)，及時(shí)掌握客戶的輿情動(dòng)態(tài)，指導(dǎo)銀行經(jīng)營(yíng)決策。

通過(guò)采用上述網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)對(duì)客戶相關(guān)信息進(jìn)行實(shí)時(shí)采集、監(jiān)測(cè)、更新，不僅可以更全面地了解客戶實(shí)時(shí)情況，而且可以對(duì)客戶的潛在營(yíng)銷商機(jī)和信用風(fēng)險(xiǎn)進(jìn)行預(yù)判，有效提升客戶營(yíng)銷和貸后風(fēng)險(xiǎn)管理效率，提升商業(yè)銀行綜合效益，形成銀行與客戶共贏的局面。

競(jìng)爭(zhēng)對(duì)手分析

當(dāng)前，隨著利率市場(chǎng)化的到來(lái)和互聯(lián)網(wǎng)金融的沖擊，商業(yè)銀行間競(jìng)爭(zhēng)日趨激烈，新的市場(chǎng)參與主體與新的產(chǎn)品層出不窮，業(yè)務(wù)競(jìng)爭(zhēng)加劇。在此背景下，充分了解競(jìng)爭(zhēng)對(duì)手動(dòng)態(tài)，打造“最了解競(jìng)爭(zhēng)對(duì)手的銀行”，并以此對(duì)自身進(jìn)行調(diào)整，及時(shí)搶占先機(jī)，這對(duì)各家商業(yè)銀行而言都具有愈發(fā)重要的意義。

通過(guò)構(gòu)建基于網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的全網(wǎng)絡(luò)信息分析和展示平臺(tái)，可以有效對(duì)全網(wǎng)絡(luò)實(shí)時(shí)數(shù)據(jù)進(jìn)行抓取，及時(shí)獲取其他銀行的產(chǎn)品信息與新聞動(dòng)態(tài)，第一時(shí)間獲取其他競(jìng)爭(zhēng)者的狀況，方便整合并用以分析本地行內(nèi)數(shù)據(jù)。網(wǎng)絡(luò)爬蟲(chóng)通過(guò)實(shí)時(shí)采集數(shù)據(jù)構(gòu)建起動(dòng)態(tài)數(shù)據(jù)平臺(tái)，抓取網(wǎng)絡(luò)數(shù)據(jù)并進(jìn)行本地存儲(chǔ)，便于未來(lái)進(jìn)行深入的數(shù)據(jù)挖掘分析應(yīng)用。網(wǎng)絡(luò)爬蟲(chóng)技術(shù)不僅使得商業(yè)銀行決策層更方便地制定準(zhǔn)確的政策，用以支撐公司的運(yùn)營(yíng)，而且可以將網(wǎng)絡(luò)輿情信息的監(jiān)測(cè)對(duì)象從自身、客戶延伸至競(jìng)爭(zhēng)對(duì)手，便于實(shí)時(shí)掌握競(jìng)爭(zhēng)對(duì)手的市場(chǎng)競(jìng)爭(zhēng)狀況及其優(yōu)劣勢(shì)，實(shí)現(xiàn)“知己知彼”，真正達(dá)到信息對(duì)稱。

行業(yè)垂直搜索

垂直搜索是指將搜索范圍細(xì)分至某一專業(yè)領(lǐng)域，針對(duì)初次獲取到的網(wǎng)頁(yè)信息進(jìn)行更深層次的整合，最終形成“純度”更高的專業(yè)領(lǐng)域信息。銀行數(shù)據(jù)人員采用該種方式，可以極大提高有效信息的獲取效率。通過(guò)對(duì)金融主題進(jìn)行抓取分析，商業(yè)銀行可以更加全面地了解監(jiān)管政策發(fā)展動(dòng)態(tài)，了解區(qū)域經(jīng)濟(jì)、行業(yè)經(jīng)濟(jì)的發(fā)展形勢(shì)，以及掌握金融行業(yè)自身經(jīng)營(yíng)環(huán)境動(dòng)態(tài)，及時(shí)校驗(yàn)并調(diào)整自身策略，緊跟市場(chǎng)趨勢(shì)，打造成為“最了解經(jīng)營(yíng)環(huán)境的銀行”。

對(duì)金融領(lǐng)域垂直搜索的應(yīng)用，可以提高金融主體的信息處理能力。垂直搜索技術(shù)上的最大亮點(diǎn)就是能夠?qū)π问蕉鄻?、?guī)模巨大的數(shù)據(jù)進(jìn)行有目標(biāo)地專業(yè)化的細(xì)分操作，減少垃圾信息、聚集有效信息，提高搜索效率，在某些條件下甚至可以提供實(shí)時(shí)的數(shù)據(jù)，最大限度地整合現(xiàn)有大量復(fù)雜的網(wǎng)頁(yè)數(shù)據(jù)，使用戶獲得更便捷、更完整、更高效的信息檢索服務(wù)。

結(jié)語(yǔ)

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和數(shù)據(jù)爆炸，網(wǎng)絡(luò)爬蟲(chóng)技術(shù)為商業(yè)銀行數(shù)據(jù)采集和信息整合應(yīng)用提供了全新的技術(shù)路徑。站在商業(yè)銀行應(yīng)用實(shí)踐的角度，網(wǎng)絡(luò)爬蟲(chóng)在銀行日常經(jīng)營(yíng)管理中的發(fā)展?jié)摿薮蟆?a href='/map/wangluopachong/' style='color:#000;font-size:inherit;'>網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的應(yīng)用可以助力銀行轉(zhuǎn)型成為最了解自身、最了解客戶、最了解競(jìng)爭(zhēng)對(duì)手、最了解經(jīng)營(yíng)環(huán)境的“智慧銀行”?？梢灶A(yù)見(jiàn)，網(wǎng)絡(luò)爬蟲(chóng)技術(shù)將成為商業(yè)銀行提升精細(xì)化管理能力、提高決策智能化水平的重要技術(shù)手段。