用Google BigQuery做入門級大數(shù)據(jù)分析

大數(shù)據(jù)項目是比較繁瑣的，特別是涉及到配置和管理Hadoop集群。如果你對SQL比MapReduce更熟悉，而關(guān)系型數(shù)據(jù)庫尚不能滿足你的分析需求，那么可以考慮使用Google的BigQuery，它提供了大數(shù)據(jù)分析入門級方法。

BigQuery降低了分析大數(shù)據(jù)集所面臨的一些實施困難。它的定價模式很具吸引力，你可以從樣本數(shù)據(jù)中獲取有用信息，而不用對完整的數(shù)據(jù)集做分析。

有時候，處理大數(shù)據(jù)的一些手段相當(dāng)于是用精確度換速度。例如，如果你想判斷兩組客戶瀏覽網(wǎng)站的路徑是否有差異，你可以分析該站點上所有相關(guān)客戶活動的每個日志入口。當(dāng)然，你也可以抓取客戶群的子集(也就是部分客戶信息)，在樣本數(shù)據(jù)中分析差異?；镜慕y(tǒng)計可以為你提供理解這類分析錯誤率的手段，只要差錯在可接受范圍內(nèi)，你得出的答案就足夠你決策用了。

這種交換可以通過TOP函數(shù)得到，該函數(shù)返回分組和排序操作中的前幾行。返回結(jié)果可能比較近似，但是該函數(shù)通常比使用“group by”、“order by” 、“l(fā)imit”相結(jié)合的從句要更快速。

Google BigQuery特性

BigQuery是專門為分析上億行級的數(shù)據(jù)而設(shè)計的，使用類似SQL的語法即可操作。它并不是SQL數(shù)據(jù)庫的替代品，而且不適合事務(wù)處理應(yīng)用。BigQuery支持交互風(fēng)格的分析，你可以使用“SELECT”語法編寫查詢，這對任何SQL開發(fā)者來說都是再熟悉不過的了。

查詢語言包括支持標(biāo)準(zhǔn)操作，比如連接、排序和分組，以及與嵌套數(shù)據(jù)結(jié)構(gòu)使用操作符。BigQuery也支持聚合函數(shù)，比如計數(shù)、求和、求平均值、求方差和標(biāo)準(zhǔn)差。分組函數(shù)和描述性統(tǒng)計的相結(jié)合，使得比較兩個群體之間的方法和方差相對更直接一些。

在正常的數(shù)據(jù)模型中，連接是必不可少的操作，但是可能產(chǎn)生高昂的計算代價。BigQuery函數(shù)中的“JOIN”連接操作符與SQL連接類似，但是在連接兩個表時，其中一個表的大小必須可以壓縮為8MB或更小。這種限制支持實現(xiàn)更有效率的連接操作，因為較小的表可以更有效率地緩存，并連接較大的表。如果你必須連接兩個較大的表，你可以使用JOIN EACH操作，但是估計性能會很差。

你可以使用簡單的瀏覽器界面與BigQuery交互。瀏覽器工具會保留查詢歷史并提供方便構(gòu)造查詢的工作空間。這是一個很簡單很基礎(chǔ)的工具，它并沒有其他SQL開發(fā)工具中的完整功能特性，比如MySQL Workbench或者DBVisualizer。當(dāng)然，你還可以使用命令行接口。

Google BigQuery的定價模式

Google的定價模式是基于存儲數(shù)據(jù)量和待分析數(shù)據(jù)量而建立的。存儲量價格是每月每GB數(shù)據(jù)0.12美元。交互式查詢處理每GB數(shù)據(jù)收費(fèi)0.035美元，批量查詢處理每GB數(shù)據(jù)時0.02美元。要想限制處理的數(shù)據(jù)量，你可以限制你分析的行數(shù)，并且只獲取實際需要的字段列作為結(jié)果返回。BigQuery采用列式數(shù)據(jù)存儲，所以在查詢一列或多個列時，不會提取整行中的所有數(shù)據(jù)。

數(shù)據(jù)是通過加載任務(wù)載入BigQuery，加載任務(wù)可以使用Google云存儲中的數(shù)據(jù)，或者也可以從本地文件系統(tǒng)中獲取使用“POST”請求傳輸。文件格式化為CSV或者JSON格式。壓縮文件的大小被限制在1GB之內(nèi)，但是未壓縮文件可以達(dá)到1TB。加載任務(wù)可以包含多達(dá)一萬個文件，但是所有文件加起來大小不能超過1TB。因為你每天每個表執(zhí)行的加載任務(wù)可以高達(dá)一千個，所以這些限制對絕大多數(shù)項目來說是沒有實際影響的。