TensorFlow Datasets（TFDS）是一個(gè)用于下載、管理和預(yù)處理機(jī)器學(xué)習(xí)數(shù)據(jù)集的庫(kù)。它提供了易于使用的API，允許用戶從現(xiàn)有集合中選擇并下載各種數(shù)據(jù)集。然而，在一些情況下，用戶可能需要使用本地?cái)?shù)據(jù)集進(jìn)行模型訓(xùn)練和測(cè)試。在本文中，我們將介紹如何使用TFDS加載本地?cái)?shù)據(jù)集。

為了加載本地?cái)?shù)據(jù)集，我們需要做以下幾個(gè)步驟：

1.準(zhǔn)備數(shù)據(jù)集 2.創(chuàng)建TFDS數(shù)據(jù)集描述文件 3.使用描述文件加載數(shù)據(jù)集

準(zhǔn)備數(shù)據(jù)集

首先，我們需要準(zhǔn)備我們要使用的數(shù)據(jù)集。這通常涉及到收集、清洗和組織數(shù)據(jù)，以便可以輕松地訪問數(shù)據(jù)。在本例中，我們將使用一個(gè)簡(jiǎn)單的示例數(shù)據(jù)集，其中包含數(shù)字圖像和相應(yīng)的標(biāo)簽。

該數(shù)據(jù)集的目錄結(jié)構(gòu)類似于以下內(nèi)容：

data/
    0/
        image1.png
        image2.png
        ...
    1/
        image1.png
        image2.png
        ...
    ...

在上面的目錄結(jié)構(gòu)中，每個(gè)數(shù)字目錄代表一個(gè)唯一的標(biāo)簽，并包含與該標(biāo)簽相關(guān)聯(lián)的所有圖像。

創(chuàng)建TFDS數(shù)據(jù)集描述文件

接下來，我們需要?jiǎng)?chuàng)建一個(gè)TFDS數(shù)據(jù)集描述文件。該文件告訴TFDS如何讀取和使用我們的本地?cái)?shù)據(jù)集。描述文件通常是一個(gè)Python模塊，其中包含有關(guān)數(shù)據(jù)集的元數(shù)據(jù)和函數(shù)，該函數(shù)將數(shù)據(jù)集加載到內(nèi)存中。

在描述文件中，我們需要定義以下元數(shù)據(jù)：

1.名稱：數(shù)據(jù)集的名稱。 2.版本：數(shù)據(jù)集的版本號(hào)。 3.描述：數(shù)據(jù)集的簡(jiǎn)短描述。 4.特征：數(shù)據(jù)集的特征（例如，輸入和輸出的形狀、數(shù)據(jù)類型等）。 5.拆分：數(shù)據(jù)集應(yīng)該如何劃分以進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試。 6.下載URL（可選）：如果數(shù)據(jù)集沒有被打包成一個(gè)文件，請(qǐng)?zhí)峁┮粋€(gè)URL以下載數(shù)據(jù)集。

以下是一個(gè)簡(jiǎn)單的描述文件示例：

import tensorflow_datasets as tfds import os # Define the metadata for the dataset _DESCRIPTION = 'A dataset containing images of digits.' _VERSION = tfds.core.Version('1.0.0')
_NAME = 'my_dataset' def my_dataset(split): # Define the path to the data directory data_dir = os.path.join(os.getcwd(), 'data') # Define the classes classes = ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9'] # Load the data dataset_builder = tfds.builder(_NAME)
    dataset_builder.data_dir = data_dir
    dataset_builder.add_images(
        os.path.join(data_dir, '*/*'), 
        labels=classes,
    ) return dataset_builder.as_dataset(split=split)

在上面的代碼中，我們定義了一個(gè)名為my_dataset的函數(shù)，該函數(shù)將數(shù)據(jù)集加載到內(nèi)存中。我們還定義了元數(shù)據(jù)，包括數(shù)據(jù)集的名稱、版本和描述，以及數(shù)據(jù)集的特征和拆分方式。

最后，我們使用tfds.builder()函數(shù)創(chuàng)建了一個(gè)dataset_builder對(duì)象，并使用add_images()方法將圖像添加到數(shù)據(jù)集中。請(qǐng)注意，此處我們使用了data_dir變量來指定數(shù)據(jù)集的路徑。如果您的數(shù)據(jù)集存在其他位置，則需要更改此變量的值以反映正確的路徑。

使用描述文件加載數(shù)據(jù)集

使用上述描述文件，我們可以通過調(diào)用tfds.load()函數(shù)來加載本地?cái)?shù)據(jù)集。這個(gè)函數(shù)需要傳遞三個(gè)參數(shù)：數(shù)據(jù)集名稱、數(shù)據(jù)集拆分方式和描述文件的路徑或模塊。

以下是一個(gè)簡(jiǎn)單的例子：

import tensorflow_datasets as tfds # Load the data my_dataset = tfds.load(
    name='my_dataset',
    split='train',
    data_dir='./data',
    download=False,
    with_info=True,
) # Print

在上面的代碼中，我們使用tfds.load()函數(shù)來加載名為my_dataset的數(shù)據(jù)集，使用了train拆分并指定了數(shù)據(jù)集路徑。此外，我們將with_info參數(shù)設(shè)置為True以獲取有關(guān)數(shù)據(jù)集的元信息。

一旦數(shù)據(jù)集被加載到內(nèi)存中，我們可以像其他TFDS數(shù)據(jù)集一樣使用它進(jìn)行訓(xùn)練或測(cè)試。

總結(jié)

在本文中，我們介紹了如何使用TFDS加載本地?cái)?shù)據(jù)集。首先，我們準(zhǔn)備了數(shù)據(jù)集，并創(chuàng)建了一個(gè)TFDS數(shù)據(jù)集描述文件。然后，我們使用tfds.load()函數(shù)將數(shù)據(jù)集加載到內(nèi)存中，并使用它來訓(xùn)練或測(cè)試模型。雖然這種方法可能需要更多的手動(dòng)操作，但它允許用戶使用自己的數(shù)據(jù)集進(jìn)行機(jī)器學(xué)習(xí)，從而獲得更好的控制和靈活性。

相信讀完上文，你對(duì)算法已經(jīng)有了全面認(rèn)識(shí)。若想進(jìn)一步探索機(jī)器學(xué)習(xí)的前沿知識(shí)，強(qiáng)烈推薦機(jī)器學(xué)習(xí)之半監(jiān)督學(xué)習(xí)課程。

學(xué)習(xí)入口：https://edu.cda.cn/goods/show/3826?targetId=6730&preview=0
涵蓋核心算法，結(jié)合多領(lǐng)域?qū)崙?zhàn)案例，還會(huì)持續(xù)更新，無論是新手入門還是高手進(jìn)階都很合適。趕緊點(diǎn)擊鏈接開啟學(xué)習(xí)吧！