
Python的詞法分析與語法分析
這篇文章主要介紹了Python的詞法分析(Lexical Analysis)與 語法分析(Syntactic Analysis),需要的朋友可以參考下
詞法分析(Lexical Analysis):分析由字符組成的單詞是否合法,如果沒有問題的話,則產(chǎn)生一個(gè)單詞流。
語法分析(Syntactic Analysis):分析由單詞組成的句子是否合法,如果沒有問題的話,則產(chǎn)生一個(gè)語法樹。
在詞法分析器分析源代碼文本的時(shí)候,有一個(gè)概念需要明確:
1.物理行:由回車字符序列(在Windows上是CR LF,在Unix上是LF)結(jié)尾的字符序列組成一個(gè)物理行。
2.邏輯行:由一個(gè)或者多個(gè)物理行組成,可以明確地使用反斜杠(\)來連接多個(gè)物理行使之成為一個(gè)邏輯行;或者,處在圓括號,中括號,花括號內(nèi)的表達(dá)式可以跨越多個(gè)物理行,但是被當(dāng)作一個(gè)邏輯行。
詞法分析器是面向邏輯行的,也就是說,對于詞法分析器而言,只有邏輯行才算是一行,它只在邏輯行結(jié)束之處才產(chǎn)生NEWLINE這個(gè)單詞或者說token。
對于每一處縮進(jìn),不管它有多少個(gè)空白字符,詞法分析器只會產(chǎn)生一個(gè)INDENT單詞或者說token,代表縮進(jìn)一級,每當(dāng)要退出一級縮進(jìn)的時(shí)候,詞法分析器就會產(chǎn)生一個(gè)DEDENT單詞或者說token。注意,單詞DEDENT并沒有一個(gè)或一組字符與之對應(yīng),它是完全的邏輯概念。
Python使用稍作修改的BNF(巴科斯范式)來表示詞法與語法規(guī)則。
下面重點(diǎn)說一下需要注意的地方,以避免發(fā)生一些低級但是隱蔽的編程錯(cuò)誤。
1.標(biāo)識符是區(qū)分大小寫的,但是仍然不要僅僅用大小寫不同來區(qū)分兩個(gè)變量。
2.不要使用那些在其它編程語言中是關(guān)鍵字的標(biāo)識符作為變量名,因?yàn)樗鼈兒芸赡軙蔀镻ython的關(guān)鍵字。
3.不要使用Python明確聲明有特殊意義的標(biāo)志符作為變量名(這類變量一般以下劃線開頭),除非明確自己要使用那個(gè)特殊含義。
4.不要在Python中使用$和?(字符串中除外),它們不是合法的字符。
5.不要混用Tab和空格來表示縮進(jìn),只使用其中一種,并養(yǎng)成習(xí)慣。
6.整數(shù)字面常量有10,16,8,2幾種表示方法,如果使用16進(jìn)制,請寫0xa或者0Xa;如果使用8進(jìn)制,請寫0o7或者0O7;如果使用2進(jìn)制,請寫0b1或者0B1;總之,不要省略掉那個(gè)標(biāo)識進(jìn)制的字母,建議只使用小寫字母。
7.在整數(shù)字面常量后加一個(gè)l或者L就形成了一個(gè)長整數(shù),建議只使用L,因?yàn)樾憀看起來像數(shù)字1.
8.整數(shù)使用32位表示,但是長整數(shù)并不限于多少位表示,在內(nèi)存允許的情況下,它可以表示任意大小的整數(shù),這與C語言等是不一樣的。
9.如果一個(gè)整數(shù)字面常量的值超過32位整數(shù)的表示范圍,那么Python會自動將它升級為長整數(shù),但是在早期的Python實(shí)現(xiàn)中可能并非如此,因此如果你預(yù)計(jì)需要一個(gè)很大的整數(shù)值,請明確使用長整數(shù)。
10.浮點(diǎn)數(shù)字面常量只有10進(jìn)制形式。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
2025被稱為“AI元年”,而AI,與數(shù)據(jù)密不可分。網(wǎng)易公司創(chuàng)始人丁磊在《AI思維:從數(shù)據(jù)中創(chuàng)造價(jià)值的煉金術(shù)》一書中指出:AI思維, ...
2025-07-17數(shù)據(jù)分析師的技能圖譜:從數(shù)據(jù)到價(jià)值的橋梁? 在數(shù)據(jù)驅(qū)動決策的時(shí)代,數(shù)據(jù)分析師如同 “數(shù)據(jù)翻譯官”,將冰冷的數(shù)字轉(zhuǎn)化為清晰的 ...
2025-07-17Pandas 寫入指定行數(shù)據(jù):數(shù)據(jù)精細(xì)化管理的核心技能? 在數(shù)據(jù)處理的日常工作中,我們常常需要面對這樣的場景:在龐大的數(shù)據(jù)集里精 ...
2025-07-17解碼 CDA:數(shù)據(jù)時(shí)代的通行證? 在數(shù)字化浪潮席卷全球的今天,當(dāng)企業(yè)決策者盯著屏幕上跳動的數(shù)據(jù)曲線尋找增長密碼,當(dāng)科研人員在 ...
2025-07-17CDA 精益業(yè)務(wù)數(shù)據(jù)分析:數(shù)據(jù)驅(qū)動業(yè)務(wù)增長的實(shí)戰(zhàn)方法論 在企業(yè)數(shù)字化轉(zhuǎn)型的浪潮中,“數(shù)據(jù)分析” 已從 “加分項(xiàng)” 成為 “必修課 ...
2025-07-16MySQL 中 ADD KEY 與 ADD INDEX 詳解:用法、差異與優(yōu)化實(shí)踐 在 MySQL 數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計(jì)中,索引是提升查詢性能的核心手段。無論 ...
2025-07-16解析 MySQL Update 語句中 “query end” 狀態(tài):含義、成因與優(yōu)化指南? 在 MySQL 數(shù)據(jù)庫的日常運(yùn)維與開發(fā)中,開發(fā)者和 DBA 常會 ...
2025-07-16如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價(jià)值、驅(qū)動決策的 ...
2025-07-15CDA 精益業(yè)務(wù)數(shù)據(jù)分析:驅(qū)動企業(yè)高效決策的核心引擎? 在數(shù)字經(jīng)濟(jì)時(shí)代,企業(yè)面臨著前所未有的數(shù)據(jù)洪流,如何從海量數(shù)據(jù)中提取有 ...
2025-07-15MySQL 無外鍵關(guān)聯(lián)表的 JOIN 實(shí)戰(zhàn):數(shù)據(jù)整合的靈活之道? 在 MySQL 數(shù)據(jù)庫的日常操作中,我們經(jīng)常會遇到需要整合多張表數(shù)據(jù)的場景 ...
2025-07-15Python Pandas:數(shù)據(jù)科學(xué)的瑞士軍刀? ? 在數(shù)據(jù)驅(qū)動的時(shí)代,面對海量、復(fù)雜的數(shù)據(jù),如何高效地進(jìn)行處理、分析和挖掘成為關(guān)鍵。 ...
2025-07-15用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯(cuò)改字段或誤執(zhí)行批量更新等問題時(shí)有發(fā)生。 ...
2025-07-14t檢驗(yàn)與Wilcoxon檢驗(yàn)的選擇:何時(shí)用t.test,何時(shí)用wilcox.test? t 檢驗(yàn)與 Wilcoxon 檢驗(yàn)的選擇:何時(shí)用 t.test,何時(shí)用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時(shí)代職業(yè)生涯的鑰匙(深度研究報(bào)告、發(fā)展指導(dǎo)白皮書) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10