我對數(shù)據(jù)科學(xué)的熱情始于大約兩年半前。我在做一份與數(shù)據(jù)科學(xué)無關(guān)的工作。對我來說，轉(zhuǎn)行是一個很大的挑戰(zhàn)，因為我有很多東西要學(xué)。

經(jīng)過兩年的學(xué)習和奉獻，我終于找到了第一份數(shù)據(jù)科學(xué)家的工作。當然，我的學(xué)習之旅并沒有停止。當我做數(shù)據(jù)科學(xué)家的時候，我學(xué)到了很多新東西。

學(xué)習部分不會改變。然而，我學(xué)什么和怎么學(xué)發(fā)生了巨大的變化。在本文中，我想詳細說明這些變化。如果你正在努力成為一名數(shù)據(jù)科學(xué)家，你可能會經(jīng)歷同樣的事情。

重要的是要強調(diào)，作為一名數(shù)據(jù)科學(xué)家需要不斷學(xué)習。數(shù)據(jù)科學(xué)仍在發(fā)展，你需要時刻保持新鮮。我認為數(shù)據(jù)科學(xué)還不是一個成熟的領(lǐng)域，所以新的技術(shù)和概念經(jīng)常被引入。

數(shù)據(jù)的大小

對于一個現(xiàn)實生活中的問題來說，1000萬行并不多。

對我來說，最明顯的變化是數(shù)據(jù)的大小。當我自己學(xué)習的時候，我正在練習最多有10萬行的數(shù)據(jù)集。我現(xiàn)在認為它是一個小數(shù)據(jù)集。數(shù)據(jù)的大小取決于您正在處理的字段和問題。一般來說，1000萬行對于一個實際的問題來說并不多。

使用大型數(shù)據(jù)集有其自身的挑戰(zhàn)。首先，我需要學(xué)習能夠處理此類數(shù)據(jù)集的新工具。在我開始做數(shù)據(jù)科學(xué)家之前，熊貓對我來說綽綽有余。然而，它并不是一個擁有大規(guī)模數(shù)據(jù)的高效工具。

允許分布式計算的工具更受青睞。Spark是其中最受歡迎的一個。它是一個用于大規(guī)模數(shù)據(jù)處理的分析引擎。Spark允許您將數(shù)據(jù)和計算分散到集群中，以實現(xiàn)性能的大幅提升。

幸運的是，可以將Spark與Python代碼一起使用。PySpark是一個用于Spark的Python API，它結(jié)合了Python的簡單性和Spark的高效性。

云計算

另一個大的變化是從本地環(huán)境到云環(huán)境。當我學(xué)習的時候，我在電腦里做所有的事情（即本地工作）。這對練習和學(xué)習來說已經(jīng)足夠了。

然而，一家公司在當?shù)亟?jīng)營的可能性極小。大多數(shù)公司都在云中工作。數(shù)據(jù)存儲在云中，計算在云中完成，等等。

為了高效地完成工作，獲得對云工具和服務(wù)的全面理解是非常重要的。云提供商多種多樣，但主要參與者是AWS、Azure、Google云平臺。我必須學(xué)習如何使用他們的服務(wù)和管理存儲在云中的數(shù)據(jù)。

Git

作為一名數(shù)據(jù)科學(xué)家，我經(jīng)常使用的另一個工具是ISGit。我在學(xué)習的時候?qū)W會了基本的git命令。但是，在生產(chǎn)環(huán)境中工作時就不同了。Git是一個版本控制系統(tǒng)。它維護對代碼所做的所有更改的歷史記錄。

Git允許協(xié)作工作。你可能會作為一個團隊在項目上工作。因此，即使你在一家小型初創(chuàng)企業(yè)工作，git也是一項必備技能。項目是用Git開發(fā)和維護的。

Git比它從外部看起來要復(fù)雜一點。然而，你在做了幾個項目后就習慣了。

不僅僅是工具！

工具并不是我學(xué)習過程中唯一改變的東西。我處理數(shù)據(jù)的方式也發(fā)生了變化。當您處理一個可隨時使用的數(shù)據(jù)集時，在清理和處理數(shù)據(jù)方面，您無能為力。例如，在機器學(xué)習任務(wù)的情況下，您可以在幾個簡單的步驟后應(yīng)用模型。

在你的工作中情況會不同。一個項目的很大一部分花費在準備數(shù)據(jù)上。我不是說只是清理原始數(shù)據(jù)。這也是重要的一步。然而，探索數(shù)據(jù)中的底層結(jié)構(gòu)和理解特征之間的關(guān)系是至關(guān)重要的。

如果您正在處理一個新問題，定義數(shù)據(jù)需求也將是您的工作。這是另一個需要一套特殊技能的挑戰(zhàn)。領(lǐng)域知識是其中必不可少的一部分。

特征工程比機器學(xué)習模型的超參數(shù)調(diào)整重要得多。通過超參數(shù)調(diào)優(yōu)可以實現(xiàn)的功能是有限的，因此可以在一定程度上提高性能。另一方面，一個信息特性有可能大大改善一個模型。

在我作為一名數(shù)據(jù)科學(xué)家開始工作之前，我專注于理解機器學(xué)習算法和如何調(diào)整模型。我現(xiàn)在把大部分時間都花在準備數(shù)據(jù)上。

我所說的就緒包括許多步驟，例如

• 清洗和處理數(shù)據(jù)
• 重新格式化數(shù)據(jù)
• 探索和理解數(shù)據(jù)

統(tǒng)計知識對這些步驟非常重要。因此，我強烈建議提高你在這方面的知識。它會在你的數(shù)據(jù)科學(xué)生涯中幫助你很多。

結(jié)論

有大量的資源來學(xué)習數(shù)據(jù)科學(xué)。您可以使用它們來提高您在數(shù)據(jù)科學(xué)的任何構(gòu)建塊中的技能。然而，這些資源并不能提供真正的工作經(jīng)驗。沒有錯。當你找到第一份工作時，讓自己準備好學(xué)習一套不同的材料。

謝謝你的閱讀。如果你有任何反饋請讓我知道。