大數(shù)據(jù)量慣用優(yōu)化方法_數(shù)據(jù)分析師

優(yōu)化人員工作時(shí)免不了要接觸到大數(shù)據(jù)量的問題，下面就將平時(shí)收集的一些關(guān)于大數(shù)據(jù)量的優(yōu)化方法整理記錄一下，也是和大家一起共享哦。

1. 應(yīng)盡量避免在 where 子句中對字段進(jìn)行 null值判斷，否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描，如：
select id from t where numis null
可以在num上設(shè)置默認(rèn)值0，確保表中num列沒有null值，然后這樣查詢：
select id from t where num=0

2. 應(yīng)盡量避免在 where 子句中使用!=或<>操作符，否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。優(yōu)化器將無法通過索引來確定將要命中的行數(shù),因此需要搜索該表的所有行。

3. 應(yīng)盡量避免在 where 子句中使用 or來連接條件，否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描，如：(CDA數(shù)據(jù)分析師培訓(xùn))
select id from t where num=10or num=20
可以這樣查詢：
select id from t where num=10
union all
select id from t where num=20

4. in和 not in也要慎用，因?yàn)閕n會(huì)使系統(tǒng)無法使用索引,而只能直接搜索表中的數(shù)據(jù)。如：
select id from t where numin(1,2,3)
對于連續(xù)的數(shù)值，能用 between就不要用 in了：
select id from t where numbetween 1 and 3

5. 盡量避免在索引過的字符數(shù)據(jù)中，使用非打頭字母搜索。這也使得引擎無法利用索引。 見如下例子：
SELECT * FROM T1 WHERE NAME LIKE‘%L%’
SELECT * FROM T1 WHERESUBSTING(NAME,2,1)=’L’
SELECT * FROM T1 WHERE NAME LIKE‘L%’
即使NAME字段建有索引，前兩個(gè)查詢依然無法利用索引完成加快操作，引擎不得不對全表所有數(shù)據(jù)逐條操作來完成任務(wù)。而第三個(gè)查詢能夠使用索引來加快操作。

6. 必要時(shí)強(qiáng)制查詢優(yōu)化器使用某個(gè)索引，如在 where 子句中使用參數(shù)，也會(huì)導(dǎo)致全表掃描。因?yàn)?a href='/map/sql/' style='color:#000;font-size:inherit;'>SQL只有在運(yùn)行時(shí)才會(huì)解析局部變量，但優(yōu)化程序不能將訪問計(jì)劃的選擇推遲到運(yùn)行時(shí);它必須在編譯時(shí)進(jìn)行選擇。然而，如果在編譯時(shí)建立訪問計(jì)劃，變量的值還是未知的，因而無法作為索引選擇的輸入項(xiàng)。如下面語句將進(jìn)行全表掃描：
select id from t where
可以改為強(qiáng)制查詢使用索引：
select id from t with(index(索引名)) where

7. 應(yīng)盡量避免在 where 子句中對字段進(jìn)行表達(dá)式操作，這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如：
SELECT* FROM T1 WHERE F1/2=100
應(yīng)改為:
SELECT* FROM T1 WHERE F1=100*2
SELECT *FROM RECORD WHERESUBSTRING(CARD_NO,1,4)=’5378’
應(yīng)改為:
SELECT *FROM RECORD WHERE CARD_NO LIKE ‘5378%’
SELECTmember_number,first_name,last_name FROM members
WHEREDATEDIFF(yy,datofbirth,GETDATE())> 21
應(yīng)改為:
SELECTmember_number,first_name,last_name FROM members
WHEREdateofbirth
即：任何對列的操作都將導(dǎo)致表掃描，它包括數(shù)據(jù)庫函數(shù)、計(jì)算表達(dá)式等等，查詢時(shí)要盡可能將操作移至等號(hào)右邊。

8. 應(yīng)盡量避免在where子句中對字段進(jìn)行函數(shù)操作，這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如：
select id from t where substring(name,1,3)=’abc’—name
以abc開頭的id
select id from t wheredatediff(day,createdate,’2005-11-30′)=0–‘2005-11-30’
生成的id
應(yīng)改為:
select id from t where name like ‘a(chǎn)bc%’
select id from t where createdate>=’2005-11-30’and createdate<‘2005-12-1′

9. 在使用索引字段作為條件時(shí)，如果該索引是復(fù)合索引，那么必須使用到該索引中的第一個(gè)字段作為條件時(shí)才能保證系統(tǒng)使用該索引，否則該索引將不會(huì)被使用，并且應(yīng)盡可能的讓字段順序與索引順序相一致。

10. 很多時(shí)候用 exists是一個(gè)好的選擇：
selectnum from a where num in(selectnum from b)
用下面的語句替換：
selectnum from a where exists(select 1 from b where num=a.num)
SELECTSUM(T1.C1)FROM T1 WHERE(
(SELECTCOUNT(*)FROM T2 WHERE T2.C2=T1.C2>0)
SELECTSUM(T1.C1) FROM T1WHERE EXISTS(
SELECT *FROM T2 WHERE T2.C2=T1.C2)
兩者產(chǎn)生相同的結(jié)果，但是后者的效率顯然要高于前者。因?yàn)楹笳卟粫?huì)產(chǎn)生大量鎖定的表掃描或是索引掃描。
如果你想校驗(yàn)表里是否存在某條紀(jì)錄，不要用count(*)那樣效率很低，而且浪費(fèi)服務(wù)器資源?？梢杂肊XISTS代替。如：
IF (SELECTCOUNT(*)FROMtable_name WHEREcolumn_name= ‘xxx’)
可以寫成：
IF EXISTS (SELECT * FROMtable_name WHEREcolumn_name =’xxx’)
經(jīng)常需要寫一個(gè)T_SQL語句比較一個(gè)父結(jié)果集和子結(jié)果集，從而找到是否存在在父結(jié)果集中有而在子結(jié)果集中沒有的記錄，如：
SELECTa.hdr_key FROMhdr_tbl a—-tbla表示tbl用別名a代替
WHERENOT EXISTS (SELECT * FROMdtl_tbl b WHEREa.hdr_key =b.hdr_key)
SELECTa.hdr_key FROMhdr_tbla
LEFTJOINdtl_tbl b ONa.hdr_key=b.hdr_key WHEREb.hdr_keyIS NULL
SELECThdr_key FROMhdr_tbl
WHEREhdr_key NOT IN (SELECThdr_keyFROMdtl_tbl)
三種寫法都可以得到同樣正確的結(jié)果，但是效率依次降低。

11. 避免頻繁創(chuàng)建和刪除臨時(shí)表，以減少系統(tǒng)表資源的消耗。

12. 臨時(shí)表并不是不可使用，適當(dāng)?shù)厥褂盟鼈兛梢允鼓承├谈行?/span>，例如，當(dāng)需要重復(fù)引用大型表或常用表中的某個(gè)數(shù)據(jù)集時(shí)。但是，對于一次性事件，最好使用導(dǎo)出表。

13. 在新建臨時(shí)表時(shí)，如果一次性插入數(shù)據(jù)量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度;如果數(shù)據(jù)量不大，為了緩和系統(tǒng)表的資源，應(yīng)先create table，然后insert。

14. 如果使用到了臨時(shí)表，在存儲(chǔ)過程的最后務(wù)必將所有的臨時(shí)表顯式刪除，先 truncate table ，然后 drop table，這樣可以避免系統(tǒng)表的較長時(shí)間鎖定。

15. 在所有的存儲(chǔ)過程和觸發(fā)器的開始處設(shè)置 SET NOCOUNT ON ，在結(jié)束時(shí)設(shè)置 SET NOCOUNT OFF。無需在執(zhí)行存儲(chǔ)過程和觸發(fā)器的每個(gè)語句后向客戶端發(fā)送 DONE_IN_PROC消息。

16. 盡量避免大事務(wù)操作，提高系統(tǒng)并發(fā)能力。

17. 盡量避免向客戶端返回大數(shù)據(jù)量，若數(shù)據(jù)量過大，應(yīng)該考慮相應(yīng)需求是否合理，比如是否返回全對象，可不可以減少某些非必要字段。

18.避免使用不兼容的數(shù)據(jù)類型。例如float和int、char和varchar、binary和varbinary是不兼容的。數(shù)據(jù)類型的不兼容可能使優(yōu)化器無法執(zhí)行一些本來可以進(jìn)行的優(yōu)化操作。例如:
SELECT name FROM employee WHERE salary >60000
在這條語句中,如salary字段是money型的,則優(yōu)化器很難對其進(jìn)行優(yōu)化,因?yàn)?0000是個(gè)整型數(shù)。我們應(yīng)當(dāng)在編程時(shí)將整型轉(zhuǎn)化成為錢幣型,而不要等到運(yùn)行時(shí)轉(zhuǎn)化。

19. 充分利用連接條件，在某種情況下，兩個(gè)表之間可能不只一個(gè)的連接條件，這時(shí)在 WHERE 子句中將連接條件完整的寫上，有可能大大提高查詢速度。 例：
SELECTSUM(A.AMOUNT) FROM ACCOUNT A, CARD B WHERE A.CARD_NO =B.CARD_NO
SELECTSUM(A.AMOUNT) FROM ACCOUNT A,CARD B WHERE A.CARD_NO =B.CARD_NO AND A.ACCOUNT_NO=B.ACCOUNT_NO
第二句將比第一句執(zhí)行快得多。

20. 使用視圖加速查詢 把表的一個(gè)子集進(jìn)行排序并創(chuàng)建視圖，有時(shí)能加速查詢。它有助于避免多重排序操作，而且在其他方面還能簡化優(yōu)化器的工作。

21. 能用DISTINCT的就不用GROUP BY
SELECTOrderIDFROM Details WHEREUnitPrice > 10 GROUP BYOrderID
可改為：
SELECT DISTINCTOrderIDFROM Details WHEREUnitPrice > 10

22. 能用UNION ALL就不要用UNION UNIONALL不執(zhí)行SELECT DISTINCT函數(shù)，這樣就會(huì)減少很多不必要的資源

23. 盡量不要用SELECT INTO語句。 SELECT INOT語句會(huì)導(dǎo)致表鎖定，阻止其他用戶訪問該表。

隨著社會(huì)的發(fā)展，信息技術(shù)的不斷成熟，越來越多的信息都想保存起來，還想加以分析，所以要求插入、查詢的數(shù)據(jù)量也越來越大，以前可能是幾百條、幾千條數(shù)據(jù)的操作，現(xiàn)在幾萬、甚至幾十萬條數(shù)據(jù)的查詢也是很常見的操作了，所以大數(shù)據(jù)量的優(yōu)化工作還需要我們深入的研究。