我對(duì)數(shù)據(jù)科學(xué)的熱情始于大約兩年半前。我在做一份與數(shù)據(jù)科學(xué)無(wú)關(guān)的工作。對(duì)我來(lái)說(shuō)，轉(zhuǎn)行是一個(gè)很大的挑戰(zhàn)，因?yàn)槲矣泻芏鄸|西要學(xué)。

經(jīng)過(guò)兩年的學(xué)習(xí)和奉獻(xiàn)，我終于找到了第一份數(shù)據(jù)科學(xué)家的工作。當(dāng)然，我的學(xué)習(xí)之旅并沒(méi)有停止。當(dāng)我做數(shù)據(jù)科學(xué)家的時(shí)候，我學(xué)到了很多新東西。

學(xué)習(xí)部分不會(huì)改變。然而，我學(xué)什么和怎么學(xué)發(fā)生了巨大的變化。在本文中，我想詳細(xì)說(shuō)明這些變化。如果你正在努力成為一名數(shù)據(jù)科學(xué)家，你可能會(huì)經(jīng)歷同樣的事情。

重要的是要強(qiáng)調(diào)，作為一名數(shù)據(jù)科學(xué)家需要不斷學(xué)習(xí)。數(shù)據(jù)科學(xué)仍在發(fā)展，你需要時(shí)刻保持新鮮。我認(rèn)為數(shù)據(jù)科學(xué)還不是一個(gè)成熟的領(lǐng)域，所以新的技術(shù)和概念經(jīng)常被引入。

數(shù)據(jù)的大小

對(duì)于一個(gè)現(xiàn)實(shí)生活中的問(wèn)題來(lái)說(shuō)，1000萬(wàn)行并不多。

對(duì)我來(lái)說(shuō)，最明顯的變化是數(shù)據(jù)的大小。當(dāng)我自己學(xué)習(xí)的時(shí)候，我正在練習(xí)最多有10萬(wàn)行的數(shù)據(jù)集。我現(xiàn)在認(rèn)為它是一個(gè)小數(shù)據(jù)集。數(shù)據(jù)的大小取決于您正在處理的字段和問(wèn)題。一般來(lái)說(shuō)，1000萬(wàn)行對(duì)于一個(gè)實(shí)際的問(wèn)題來(lái)說(shuō)并不多。

使用大型數(shù)據(jù)集有其自身的挑戰(zhàn)。首先，我需要學(xué)習(xí)能夠處理此類(lèi)數(shù)據(jù)集的新工具。在我開(kāi)始做數(shù)據(jù)科學(xué)家之前，熊貓對(duì)我來(lái)說(shuō)綽綽有余。然而，它并不是一個(gè)擁有大規(guī)模數(shù)據(jù)的高效工具。

允許分布式計(jì)算的工具更受青睞。Spark是其中最受歡迎的一個(gè)。它是一個(gè)用于大規(guī)模數(shù)據(jù)處理的分析引擎。Spark允許您將數(shù)據(jù)和計(jì)算分散到集群中，以實(shí)現(xiàn)性能的大幅提升。

幸運(yùn)的是，可以將Spark與Python代碼一起使用。PySpark是一個(gè)用于Spark的Python API，它結(jié)合了Python的簡(jiǎn)單性和Spark的高效性。

云計(jì)算

另一個(gè)大的變化是從本地環(huán)境到云環(huán)境。當(dāng)我學(xué)習(xí)的時(shí)候，我在電腦里做所有的事情（即本地工作）。這對(duì)練習(xí)和學(xué)習(xí)來(lái)說(shuō)已經(jīng)足夠了。

然而，一家公司在當(dāng)?shù)亟?jīng)營(yíng)的可能性極小。大多數(shù)公司都在云中工作。數(shù)據(jù)存儲(chǔ)在云中，計(jì)算在云中完成，等等。

為了高效地完成工作，獲得對(duì)云工具和服務(wù)的全面理解是非常重要的。云提供商多種多樣，但主要參與者是AWS、Azure、Google云平臺(tái)。我必須學(xué)習(xí)如何使用他們的服務(wù)和管理存儲(chǔ)在云中的數(shù)據(jù)。

Git

作為一名數(shù)據(jù)科學(xué)家，我經(jīng)常使用的另一個(gè)工具是ISGit。我在學(xué)習(xí)的時(shí)候?qū)W會(huì)了基本的git命令。但是，在生產(chǎn)環(huán)境中工作時(shí)就不同了。Git是一個(gè)版本控制系統(tǒng)。它維護(hù)對(duì)代碼所做的所有更改的歷史記錄。

Git允許協(xié)作工作。你可能會(huì)作為一個(gè)團(tuán)隊(duì)在項(xiàng)目上工作。因此，即使你在一家小型初創(chuàng)企業(yè)工作，git也是一項(xiàng)必備技能。項(xiàng)目是用Git開(kāi)發(fā)和維護(hù)的。

Git比它從外部看起來(lái)要復(fù)雜一點(diǎn)。然而，你在做了幾個(gè)項(xiàng)目后就習(xí)慣了。

不僅僅是工具！

工具并不是我學(xué)習(xí)過(guò)程中唯一改變的東西。我處理數(shù)據(jù)的方式也發(fā)生了變化。當(dāng)您處理一個(gè)可隨時(shí)使用的數(shù)據(jù)集時(shí)，在清理和處理數(shù)據(jù)方面，您無(wú)能為力。例如，在機(jī)器學(xué)習(xí)任務(wù)的情況下，您可以在幾個(gè)簡(jiǎn)單的步驟后應(yīng)用模型。

在你的工作中情況會(huì)不同。一個(gè)項(xiàng)目的很大一部分花費(fèi)在準(zhǔn)備數(shù)據(jù)上。我不是說(shuō)只是清理原始數(shù)據(jù)。這也是重要的一步。然而，探索數(shù)據(jù)中的底層結(jié)構(gòu)和理解特征之間的關(guān)系是至關(guān)重要的。

如果您正在處理一個(gè)新問(wèn)題，定義數(shù)據(jù)需求也將是您的工作。這是另一個(gè)需要一套特殊技能的挑戰(zhàn)。領(lǐng)域知識(shí)是其中必不可少的一部分。

特征工程比機(jī)器學(xué)習(xí)模型的超參數(shù)調(diào)整重要得多。通過(guò)超參數(shù)調(diào)優(yōu)可以實(shí)現(xiàn)的功能是有限的，因此可以在一定程度上提高性能。另一方面，一個(gè)信息特性有可能大大改善一個(gè)模型。

在我作為一名數(shù)據(jù)科學(xué)家開(kāi)始工作之前，我專(zhuān)注于理解機(jī)器學(xué)習(xí)算法和如何調(diào)整模型。我現(xiàn)在把大部分時(shí)間都花在準(zhǔn)備數(shù)據(jù)上。

我所說(shuō)的就緒包括許多步驟，例如

• 清洗和處理數(shù)據(jù)
• 重新格式化數(shù)據(jù)
• 探索和理解數(shù)據(jù)

統(tǒng)計(jì)知識(shí)對(duì)這些步驟非常重要。因此，我強(qiáng)烈建議提高你在這方面的知識(shí)。它會(huì)在你的數(shù)據(jù)科學(xué)生涯中幫助你很多。

結(jié)論

有大量的資源來(lái)學(xué)習(xí)數(shù)據(jù)科學(xué)。您可以使用它們來(lái)提高您在數(shù)據(jù)科學(xué)的任何構(gòu)建塊中的技能。然而，這些資源并不能提供真正的工作經(jīng)驗(yàn)。沒(méi)有錯(cuò)。當(dāng)你找到第一份工作時(shí)，讓自己準(zhǔn)備好學(xué)習(xí)一套不同的材料。

謝謝你的閱讀。如果你有任何反饋請(qǐng)讓我知道。