一個(gè)使用R語(yǔ)言做數(shù)據(jù)處理的實(shí)例

最近一個(gè)同學(xué)找到我，希望我?guī)兔μ幚硪环?a target="_blank">數(shù)據(jù)。那份數(shù)據(jù)是這樣的：包含了3661行，第一行為各列的名稱；包含8列，第一列為專利ID，其余7列為企業(yè)ID。

這份數(shù)據(jù)截圖如下所示：

一、問(wèn)題描述

需要做的數(shù)據(jù)處理是，求所有專利之間的關(guān)系矩陣，這里的關(guān)系指的是：當(dāng)同一個(gè)企業(yè)同時(shí)申請(qǐng)了兩個(gè)不同的專利，那么就認(rèn)為這兩個(gè)專利是有關(guān)系的。也就是說(shuō)，當(dāng)兩個(gè)專利對(duì)應(yīng)的企業(yè)的集合存在交集，則認(rèn)為這兩個(gè)專利存在關(guān)系。需要用矩陣表達(dá)這3660個(gè)專利的相互關(guān)系，有關(guān)系的兩個(gè)專利交叉的位置置為1，否則置為0。

比如，上圖中的編號(hào)4和編號(hào)5對(duì)應(yīng)的企業(yè)的集合顯然存在交集（交集為94和115），那么最終的關(guān)系矩陣第四行第五列和第五行第四列就應(yīng)當(dāng)用1表示。如果數(shù)據(jù)就是上邊那樣的，那么最終輸出的關(guān)系矩陣就應(yīng)該為：

二、問(wèn)題解決

可能因?yàn)橛卸螘r(shí)間沒(méi)有使用R了，加上之前又正好在用awk, grep, bash這些，所以一直想使用這些工具來(lái)解決。不過(guò)，想了很久，依然進(jìn)展不大（主要是許久不用大多也忘了o(╯□╰)o）。后來(lái)看到壓在桌面上的《R語(yǔ)言實(shí)戰(zhàn)》，想到這里需要的輸出是矩陣，而且主要的邏輯判定為是否有交集，這些不正是R大展拳腳的地方嗎？！

于是先用偽代碼將整個(gè)邏輯梳理了一遍，然后照著偽代碼開(kāi)始寫(xiě)R腳本。由于邏輯并不復(fù)雜，所以很快便寫(xiě)好了，代碼如下：

data <- read.csv("C:\\Users\\dell\\Desktop\\data.csv") #讀取數(shù)據(jù)

relation_matrix <- matrix(0, 3660, 3660) #創(chuàng)建一個(gè)與源數(shù)據(jù)行數(shù)相等的方陣，所有元素初始化為0

for (i in 1:3660)

for (j in 1:3660) {

company_set1 = data[i, -1][!is.na(data[i, -1])] #讀取第i個(gè)專利對(duì)應(yīng)的企業(yè)編號(hào)集合

company_set2 = data[j, -1][!is.na(data[j, -1])] #讀取第j個(gè)專利對(duì)應(yīng)的企業(yè)編號(hào)集合

#如果第i個(gè)專利和第j個(gè)專利對(duì)應(yīng)的企業(yè)有相同的，則將對(duì)應(yīng)位置置為1

if (i != j && length(intersect(company_set1, company_set2)) > 0)

relation_matrix[i, j] = 1

}

write.csv(relation_matrix_test, "C:\\Users\\dell\\Desktop\\result.csv") #將關(guān)系矩陣寫(xiě)到文件中

代碼是很快寫(xiě)好了，不過(guò)執(zhí)行速度確慢得難以忍受。無(wú)奈，找了個(gè)辦法來(lái)緩解下焦急等待程序跑完的心情。到統(tǒng)計(jì)之都找到一個(gè)用在循環(huán)里顯示進(jìn)度條的程序改了改，終于好點(diǎn)了，也大概能算出來(lái)程序什么時(shí)候能跑完了。

包含顯示進(jìn)度條的程序代碼如下：

data <- read.csv("C:\\Users\\dell\\Desktop\\data.csv") #讀取數(shù)據(jù)

relation_matrix <- matrix(0, 3660, 3660) #創(chuàng)建一個(gè)與源數(shù)據(jù)行數(shù)相等的方陣，所有元素初始化為0

#創(chuàng)建進(jìn)度條pb <- txtProgressBar(min = 0, max = 3660, style = 3)

for (i in 1:3660)

for (j in 1:3660) {

company_set1 = data[i, -1][!is.na(data[i, -1])] #讀取第i個(gè)專利對(duì)應(yīng)的企業(yè)編號(hào)集合

company_set2 = data[j, -1][!is.na(data[j, -1])] #讀取第j個(gè)專利對(duì)應(yīng)的企業(yè)編號(hào)集合

#如果第i個(gè)專利和第j個(gè)專利對(duì)應(yīng)的企業(yè)有相同的，則將對(duì)應(yīng)位置置為1

if (i != j && length(intersect(company_set1, company_set2)) > 0)

relation_matrix[i, j] = 1

#設(shè)置進(jìn)度條

Sys.sleep(0.00001)

setTxtProgressBar(pb, i)

}

write.csv(relation_matrix_test, "C:\\Users\\dell\\Desktop\\result.csv") #將關(guān)系矩陣寫(xiě)到文件中

顯示效果如下所示：

三、解決優(yōu)化

雖然比之前好些了，但還是沒(méi)有解決程序運(yùn)行緩慢等待時(shí)間過(guò)長(zhǎng)的問(wèn)題。毫無(wú)疑問(wèn)，這段程序肯定還有很大的優(yōu)化空間，于是先讀取少量的數(shù)據(jù)，試著使用Rprof分析了一下耗時(shí)情況，結(jié)果發(fā)現(xiàn)[.data.frame 這個(gè)操作的耗時(shí)占比較大，Google搜索后在 這里 找到了一個(gè)優(yōu)化的方法，即對(duì)源數(shù)據(jù)讀取到到data frame之后再拷貝到一個(gè)矩陣中做取行的值的操作。優(yōu)化后的版本：

data <- read.csv("C:\\Users\\dell\\Desktop\\data.csv") #讀取數(shù)據(jù)

relation_matrix <- matrix(0, 3660, 3660) #創(chuàng)建一個(gè)與源數(shù)據(jù)行數(shù)相等的方陣，所有元素初始化為0data_matrix <- data.matrix(data_test[, -1]) #將數(shù)據(jù)拷貝到一個(gè)矩陣中

#創(chuàng)建進(jìn)度條#pb <- txtProgressBar(min = 0, max = 3660, style = 3)

for (i in 1:3660)

for (j in 1:3660) {

company_set1 = data_matrix[i, ][!is.na(data_matrix[i, ])] #讀取第i個(gè)專利對(duì)應(yīng)的企業(yè)編號(hào)集合

company_set2 = data_matrix[j, ][!is.na(data_matrix[j, ])] #讀取第j個(gè)專利對(duì)應(yīng)的企業(yè)編號(hào)集合

#如果第i個(gè)專利和第j個(gè)專利對(duì)應(yīng)的企業(yè)有相同的，則將對(duì)應(yīng)位置置為1

if (i != j && length(intersect(company_set1, company_set2)) > 0)

relation_matrix[i, j] = 1

#設(shè)置進(jìn)度條

#Sys.sleep(0.00001)

#setTxtProgressBar(pb, i)

}

write.csv(relation_matrix_test, "C:\\Users\\dell\\Desktop\\result.csv") #將關(guān)系矩陣寫(xiě)到文件中

在同樣的機(jī)器環(huán)境下，改進(jìn)后的程序只需要10min左右，而改進(jìn)前的版本則需要將近7個(gè)小時(shí)，執(zhí)行效率提高了40倍！

四、補(bǔ)充

在做這個(gè)數(shù)據(jù)處理過(guò)程中，值得記錄的還包括：

R語(yǔ)言程序多個(gè)語(yǔ)句的時(shí)候記得帶上{}，用縮進(jìn)控制是Python的做法；

源數(shù)據(jù)讀取之前要簡(jiǎn)單校驗(yàn)下，防止包含異常值影響數(shù)據(jù)讀取的結(jié)果（這里包含了#REF!，處理很久才發(fā)現(xiàn)）；

在Excel中比較兩份格式完全一樣的數(shù)據(jù)是否相同，復(fù)制其中一份選擇性粘貼“減”操作到另一份數(shù)據(jù)，選擇數(shù)據(jù)區(qū)域看右下角顯示的總和是否為0即可。