淺談數(shù)據(jù)分析師的必備技能SQL

很久沒寫東西了，正好群里有童鞋最近要換工作，提到有關(guān)數(shù)據(jù)庫方面的問題，個(gè)人認(rèn)為，做數(shù)據(jù)分析的并沒有必要把數(shù)據(jù)庫開發(fā)之類的弄懂，你只需要從相應(yīng)的數(shù)據(jù)庫中調(diào)用你需要的數(shù)據(jù)即可，至于數(shù)據(jù)庫設(shè)計(jì)相關(guān)的安全事務(wù)，開發(fā)之類的問題那是數(shù)據(jù)庫工程師的事情，而作數(shù)據(jù)分析師的你了解SQL語言即可。當(dāng)然，誰都不會(huì)嫌自己的知識(shí)多，掌握的東西越多對(duì)自己的發(fā)展當(dāng)然也就越有利。

了解SQL的必要性

俗話說“巧婦難為無米之炊”，沒有數(shù)據(jù)怎么分析。而SQL對(duì)于你來說就好比電腦的鍵盤鼠標(biāo)，雖說沒有了它也能照常運(yùn)行，但對(duì)使用它的人來說靈活性卻下降了許多。而這一點(diǎn)也正是許多數(shù)據(jù)分析從業(yè)者所缺少的（包括我），記得白鴉曾在他的博客中發(fā)表過數(shù)據(jù)分析師很少的言論。不管數(shù)據(jù)分析師在什么樣的團(tuán)隊(duì)，其所起的作用都是統(tǒng)計(jì)和調(diào)查，數(shù)據(jù)挖掘、可行性及策略分析等類似的功能。真正的數(shù)據(jù)分析師，或者能達(dá)到企業(yè)期望要求的數(shù)據(jù)分析師為什么鳳毛麟角。為什么滿足企業(yè)要求的數(shù)據(jù)分析師鳳毛麟角，其中一個(gè)主要的原因就是學(xué)統(tǒng)計(jì)的人不會(huì)數(shù)據(jù)庫，而學(xué)計(jì)算機(jī)的同學(xué)不會(huì)建模分析。

SQL使得數(shù)據(jù)的采集過程變得更加方便快捷，此處的方便快捷可以從2方面得以體現(xiàn)，1.在分析數(shù)據(jù)時(shí)候不必再苦苦請(qǐng)求其他同事，自己需要什么數(shù)據(jù)自己直接去導(dǎo)，而不再是從別人手中接過譬如.xls或.csv之類的數(shù)據(jù)文檔；2.便捷快速的清洗出自己所需要的原始數(shù)據(jù)，譬如你需要的是每個(gè)月銷售額排名前20的產(chǎn)品相關(guān)數(shù)據(jù)，這時(shí)你就可以直接從數(shù)據(jù)庫導(dǎo)出數(shù)據(jù)時(shí)來完成數(shù)據(jù)篩選的過程，而不是傻傻的導(dǎo)出所有產(chǎn)品銷售數(shù)據(jù)再進(jìn)行二次處理。關(guān)于如何利用SPSS從數(shù)據(jù)庫中挑選自己所需要的數(shù)據(jù)參見Syntax代碼旅途。此外，在EXCEL的多表操作中也涉及相關(guān)SQL語句，如數(shù)據(jù)透視表的應(yīng)用等。

SQL查詢相關(guān)小技巧

·使用AND時(shí)，將不為真的條件放在前面

數(shù)據(jù)庫系統(tǒng)遵循運(yùn)算符的優(yōu)先級(jí)，并且運(yùn)算過程是從左至右的，將條件不為真的放在前面，則能夠省去and后面的相關(guān)運(yùn)算，以達(dá)到減少數(shù)據(jù)庫系統(tǒng)運(yùn)算工作量的目的，提高工作效率。

·使用OR運(yùn)算符時(shí)，則將最可能為真的條件放在前面

和上面and的原理類似，and運(yùn)算符要求兩邊條件都為真，整個(gè)條件才為真，而or只需要一邊為真，將條件為真的放在前面可使or運(yùn)算符不需要檢查右邊的條件，從而節(jié)約時(shí)間，提高工作效率。

·distinct比group by更快

distinct和group by通常起限制結(jié)果為唯一的記錄行的作用，處理此類問題時(shí)distinct往往比group by更加迅速。

·限制聯(lián)合的結(jié)果

從數(shù)據(jù)庫中提取的信息量越少，速度也就越快，而加適當(dāng)?shù)南拗茥l件除了滿足自身的需求之外，另外一個(gè)原因就是為了加快處理查詢速度。e.g:

select var1, var2 from table1 inner join table2 on table1.id=table2.id where condition;

·對(duì)子查詢使用in運(yùn)算符

在子查詢過程中，運(yùn)用select語句往往會(huì)使數(shù)據(jù)庫系統(tǒng)考慮更多的東西，從而降低工作效率，相比較而言，運(yùn)用in運(yùn)算符則可以有效的解決這個(gè)問題。e.g：下面的子查詢中第1句將比第2句更加有效

select var1, var2 from table1 where var1 in (select var1 from table2 where condition);

select var1, var2 from table1 where var1=(select var1 from table2 where condition) ;

·盡量避免使用select * from

指定確定的列可以讓你清楚的了解你所需要采集的變量，利用select * from不只是效率低下，更不利于你的后續(xù)分析，所以對(duì)于select * from則是能避免則盡量避免。數(shù)據(jù)分析師培訓(xùn)

·對(duì)整數(shù)類型列進(jìn)行搜索

這類問題主要針對(duì)字符變量的查詢而言，對(duì)應(yīng)的字符變量如果有相應(yīng)的編碼對(duì)應(yīng)，直接將編碼設(shè)置為查詢條件將比直接查詢字符變量來得更加迅速。

數(shù)據(jù)采集中常用的SQL語句

相同的SQL語句運(yùn)用到不同數(shù)據(jù)庫中會(huì)有略微的差別，對(duì)字符變量的要求，相關(guān)函數(shù)的變化，以及語法規(guī)則的不同等等，例如：oracle數(shù)據(jù)庫中對(duì)字段命名別名時(shí)不需要as 字符，沒有month()，year（）等時(shí)間函數(shù)等等，access數(shù)據(jù)庫中在使用inner join執(zhí)行內(nèi)部聯(lián)合時(shí)條件需用（），當(dāng)然還有很多的細(xì)微差別，大家可以自己去尋找總結(jié)。下面的示例以SQL SERVER為基礎(chǔ)編寫。

1. 抽取非重復(fù)數(shù)據(jù)

select distinct var1 from tableName;

2. 抽取某個(gè)時(shí)間段間的數(shù)據(jù)

select var1,var2 from 數(shù)據(jù)表 where 字段名 between 時(shí)間1 and 時(shí)間2;
3. 連接多個(gè)變量

select ‘123’+cast(456 as varchar);

select ‘123’+cast(456 as varchar)+’789′;

4. 用SQL語句找出表名為Table1中的處在ID字段中1-200條記錄中Name字段包含w的所有記錄

select * from Table1 where id between 1 and 200 and Name like ‘%w%’;

5. 找出擁有超過10名客戶的地區(qū)的列表

select country from test group by country having count(customerId)>10;
6. 關(guān)于取出每個(gè)部門工資最高的前三人

select * from table t where 工資 in (select top 3 工資 from table where 部門 = t.部門 order by 工資 desc);
7. 兩個(gè)結(jié)構(gòu)完全相同的表a和b，主鍵為index，使用SQL語句，把a(bǔ)表中存在但在b表中不存在的數(shù)據(jù)插入的b表中

insert into b select * from a where not exists(select * from b where “index”=a.”index”);
8.從一個(gè)數(shù)據(jù)庫中的多個(gè)數(shù)據(jù)表提取相關(guān)變量

Select table1.var1,table2.var2,table2.var3,

From table1 inner join table2

On tabel1.var1=table2.var1

Inner join table3

On tabel1.var2=table3.var2

(order by ……)