2013年是大數(shù)據(jù)元年，在美國(guó)，大數(shù)據(jù)的應(yīng)用正在各個(gè)行業(yè)風(fēng)生水起，大至奧巴馬競(jìng)選總統(tǒng)，小至互聯(lián)網(wǎng)公司的數(shù)據(jù)挖掘。2014年，數(shù)據(jù)挖掘技術(shù)已經(jīng)廣泛應(yīng)用于通訊、醫(yī)療、銀行、證券、保險(xiǎn)、制造、商業(yè)、市場(chǎng)研究、科研、教育等多個(gè)行業(yè)和領(lǐng)域。

為追隨數(shù)據(jù)時(shí)代的到來(lái)，人大經(jīng)濟(jì)論壇將于暑期8月開(kāi)設(shè)系列數(shù)據(jù)挖掘特訓(xùn)班。

分為兩大類(lèi)《基于SAS和weka的商業(yè)數(shù)據(jù)挖掘》和《基于SPSS Modeler的數(shù)據(jù)挖掘案例實(shí)務(wù)》

基于SAS和weka的大數(shù)據(jù)商業(yè)數(shù)據(jù)挖掘

課程內(nèi)容及目標(biāo)：

內(nèi)容包含：

   1. 數(shù)據(jù)挖掘的基本知識(shí)；

   2. 數(shù)據(jù)挖掘常用工具的使用與操作；

   3. 具體應(yīng)用案例介紹；

   4. 最新熱點(diǎn)趨勢(shì)。

目的：

   讓大家在大數(shù)據(jù)時(shí)代背景下，用最短的時(shí)間快速掌握數(shù)據(jù)挖掘的工具，從商用大數(shù)據(jù)中挖掘有用的信息與數(shù)據(jù)的價(jià)值，實(shí)現(xiàn)商業(yè)模式的創(chuàng)新與完善。

課程特點(diǎn)：

（1）課程中穿插實(shí)際案例，從基礎(chǔ)到應(yīng)用，由淺入深，通俗易懂；每一章節(jié)都配備有足夠的案例和數(shù)據(jù)分析，保證大家能夠掌握數(shù)據(jù)挖掘的基本操作。

（2）現(xiàn)場(chǎng)演示基于數(shù)據(jù)挖掘工具軟件SAS/Weka軟件的數(shù)據(jù)挖掘操作，,并免費(fèi)給大家提供常用的數(shù)據(jù)挖掘工具包和數(shù)據(jù)挖掘數(shù)據(jù)集。

（3）講義以美國(guó)著名商學(xué)院的數(shù)據(jù)挖掘教材為基礎(chǔ)，精選出對(duì)目前對(duì)符合國(guó)內(nèi)大數(shù)據(jù)應(yīng)用情況的內(nèi)容，同時(shí)結(jié)合主講人對(duì)大數(shù)據(jù)前沿問(wèn)題最新研究成果和實(shí)戰(zhàn)經(jīng)驗(yàn)編寫(xiě)而成。

（4）內(nèi)容分為基礎(chǔ)篇和應(yīng)用篇:基礎(chǔ)篇強(qiáng)調(diào)數(shù)據(jù)挖掘基本知識(shí)和基本技術(shù)的掌握；應(yīng)用篇?jiǎng)t將數(shù)據(jù)挖掘和實(shí)際應(yīng)用聯(lián)系起來(lái)，講授數(shù)據(jù)挖掘在真正的商業(yè)環(huán)境中的應(yīng)用。

課程大綱：

一、基礎(chǔ)篇（授課時(shí)間為兩天）： 數(shù)據(jù)挖掘基礎(chǔ)+小規(guī)模數(shù)據(jù)挖掘的應(yīng)用實(shí)例

（1） 數(shù)據(jù)挖掘概述

1.1） 大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘

1.2） 數(shù)據(jù)挖掘的經(jīng)典案例

1.3） 數(shù)據(jù)挖掘實(shí)現(xiàn)的十步法

1.4） 數(shù)據(jù)挖掘的研發(fā)利器及比較：SAS/Weka，Matlab，C++, Java, R, SPSS）

（2） 四大傳統(tǒng)數(shù)據(jù)挖掘方法及典型應(yīng)用案例演示

2.1）聚類(lèi)分析（Clustering analysis）及其在客戶(hù)細(xì)分中的應(yīng)用

2.2) 分類(lèi)分析（Classification analysis）及其在文檔分析中的應(yīng)用

2.3) 關(guān)聯(lián)規(guī)則（Association rule）及其在商場(chǎng)購(gòu)物促銷(xiāo)中的應(yīng)用

2.4）預(yù)測(cè)分析及其及客戶(hù)流失中的應(yīng)用；

2.5）四大傳統(tǒng)數(shù)據(jù)挖掘算法應(yīng)用的實(shí)際操作

（3） 面向大數(shù)據(jù)的數(shù)據(jù)挖掘之一: 文本挖掘及互聯(lián)網(wǎng)海量數(shù)據(jù)分析的應(yīng)用

3.1）文本大數(shù)據(jù)挖掘的基本步驟，和傳統(tǒng)挖掘的區(qū)別及難點(diǎn)剖析

3.2)  文本挖掘的前沿技術(shù)應(yīng)用實(shí)例：網(wǎng)頁(yè)分析及輿情發(fā)現(xiàn)

3.3）大數(shù)據(jù)時(shí)代其它非結(jié)構(gòu)化數(shù)據(jù)（圖像、語(yǔ)音、視頻、傳感數(shù)據(jù)等）挖掘及其應(yīng)用，例如圖像檢索

（4）面向大數(shù)據(jù)的數(shù)據(jù)挖掘之二：基于復(fù)雜網(wǎng)絡(luò)的數(shù)據(jù)挖掘及其在社交網(wǎng)絡(luò)分析上的應(yīng)用

4.1）復(fù)雜網(wǎng)絡(luò)分析：典型的大數(shù)據(jù)模型

4.2）社交網(wǎng)絡(luò)的應(yīng)用：朋友圈發(fā)現(xiàn)和社交搜索（Graph search）

4.3)  排列分析（Ranking analysis）及在網(wǎng)絡(luò)搜索中的應(yīng)用

4.5）一圖勝千言（A picture is more than one thousand words）：挖掘結(jié)果的可視化實(shí)現(xiàn)

（5）數(shù)據(jù)挖掘商業(yè)應(yīng)用實(shí)例

5.1）利用數(shù)據(jù)挖掘進(jìn)行欺詐檢測(cè)

5.2）商品銷(xiāo)售中推薦系統(tǒng) (Recommending system) 的基本原理

5.3）推薦系統(tǒng)的應(yīng)用

（6）大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)

6.1）對(duì)大數(shù)據(jù)（big data ）時(shí)代的理解

62）大數(shù)據(jù)技術(shù)掃描：從基礎(chǔ)設(shè)施、軟件平臺(tái)，計(jì)算模式到挖掘模型

6.3）大數(shù)據(jù)會(huì)給我們帶來(lái)什么改變：機(jī)遇和挑戰(zhàn)

二、應(yīng)用篇（授課時(shí)間為兩天）：在真實(shí)的商業(yè)環(huán)境的應(yīng)用，對(duì)真實(shí)的大數(shù)據(jù)進(jìn)行挖掘

（1） 高級(jí)數(shù)據(jù)挖掘知識(shí)：數(shù)據(jù)降維、集成學(xué)習(xí)等

（2） 金融領(lǐng)域風(fēng)險(xiǎn)預(yù)測(cè)評(píng)分，數(shù)據(jù)來(lái)源：國(guó)外某跨國(guó)商業(yè)銀行

（3） 電子商務(wù)大規(guī)模推薦系統(tǒng)的應(yīng)用，數(shù)據(jù)來(lái)源：國(guó)內(nèi)最大的電子商務(wù)網(wǎng)站之一

（4） 復(fù)雜網(wǎng)絡(luò)分在信息科學(xué)以及金融的應(yīng)用，數(shù)據(jù)來(lái)源：路透社和某國(guó)有大型銀行

（5） 文本挖掘及其應(yīng)用，數(shù)據(jù)來(lái)源：路透社和PUMED數(shù)據(jù)庫(kù)

（6） 基于大數(shù)據(jù)平臺(tái)下的數(shù)據(jù)挖掘具體實(shí)現(xiàn)簡(jiǎn)介，基于阿里巴巴的ODPS平臺(tái)

Number2：

基于SPSS Modeler的數(shù)據(jù)挖掘案例實(shí)務(wù)

講師介紹：

李御璽 (Yue-Shi Lee),國(guó)立臺(tái)灣大學(xué)計(jì)算機(jī)工程博士，銘傳大學(xué)計(jì)算機(jī)工程學(xué)系教授兼系主任暨所長(zhǎng)，銘傳大學(xué)數(shù)據(jù)挖掘中心主任，廈門(mén)大學(xué)數(shù)據(jù)挖掘中心顧問(wèn)，中國(guó)人民大學(xué)數(shù)據(jù)挖掘中心顧問(wèn)。其研究領(lǐng)域?qū)Ｗ⒂?a href='/map/shujucangku/' style='color:#000;font-size:inherit;'>數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、與文本挖掘。      

在其相關(guān)研究領(lǐng)域已發(fā)表超過(guò)260篇以上的研究論文,同時(shí)也是國(guó)科會(huì)與教育部多個(gè)相關(guān)研究計(jì)劃的主持人。服務(wù)過(guò)的客戶(hù)包括：中國(guó)工商局、中信銀行、臺(tái)新銀行、聯(lián)邦銀行、新光銀行、 新竹國(guó)際商業(yè)銀行(現(xiàn)已并入渣打銀行)、第一銀行、永豐銀行、遠(yuǎn)東銀行、美商大都會(huì)人壽、嘉義基督教醫(yī)院、臺(tái)灣微軟、零售業(yè)如赫蓮娜(Helena Rubinstein)化妝品公司、特立和樂(lè)(HOLA)公司、航空公司如東方航空公司、中華航空公司、汽車(chē)行業(yè)如福特(Ford)汽車(chē)公司；ZF行業(yè)如國(guó)稅局等。

課程大綱：

案例1：Drug Treatments: In this case, imagine that you are a medical researcher compiling data for a study. You have collected data about a set of patients, all of whom suffered from the same illness. During their course of treatment, each patient responded to one of five medications. Part of your job is to use data mining to find out which drug might be appropriate for a future patient with the same illness.

藥物治療(醫(yī)療業(yè))：在這個(gè)案例中，想象你是一個(gè)醫(yī)學(xué)研究人員，并收集許多患有相同疾病的病患資料。在他們的治療過(guò)程中，每一個(gè)病人會(huì)被記錄對(duì)哪一種藥物有療效(總共有五種針對(duì)此疾病的藥物)。此案例的目的是想利用數(shù)據(jù)挖掘(分類(lèi)模型-多目標(biāo)決策樹(shù)(Decision Tree))找出，哪種藥物適用于哪一種類(lèi)型的病人。

案例2：Modeling Customer Response: This case is based on a company that wants to achieve more profitable results in future marketing campaigns by matching the right offer to each customer. Specifically, this case identifies the characteristics of customers who are most likely to respond, based on previous promotions, and generates a mailing list based on the results.

對(duì)客戶(hù)響應(yīng)建模(零售業(yè))：本案例是某公司希望通過(guò)提供客戶(hù)對(duì)的營(yíng)銷(xiāo)活動(dòng)，在未來(lái)實(shí)現(xiàn)更多的獲利。此案例的目的是想根據(jù)以往的促銷(xiāo)活動(dòng)，利用數(shù)據(jù)挖掘(分類(lèi)模型-決策列表(Decision List))找出會(huì)對(duì)營(yíng)銷(xiāo)活動(dòng)有響應(yīng)的客戶(hù)特征，并根據(jù)建模的結(jié)果產(chǎn)生要郵寄的促銷(xiāo)客戶(hù)名單。

案例3：Classifying Telecommunications Customers: Suppose a telecommunications provider has segmented its customer base by service usage patterns, categorizing the customers into four groups. If demographic data can be used to predict group membership, you can customize offers for individual prospective customers.

:電信客戶(hù)分類(lèi)(電信業(yè))：假設(shè)某電信服務(wù)提供商通過(guò)客戶(hù)使用服務(wù)的方式，將客戶(hù)分為四類(lèi)人。此案例的目的是想根據(jù)人口統(tǒng)計(jì)數(shù)據(jù)(分類(lèi)模型-多目標(biāo)羅吉斯回歸(Multinomial Logistic Regression))，利用數(shù)據(jù)挖掘找出這四類(lèi)人的特征，并發(fā)掘這四類(lèi)人的潛在新客戶(hù)。

案例4：Telecommunications Churn: Suppose a telecommunications provider is concerned about the number of customers it is losing to competitors. If service usage data can be used to predict which customers are liable to transfer to another provider, offers can be customized to retain as many customers as possible. This example focuses on using usage data to predict customer loss (churn).

電信客戶(hù)流失(電信業(yè))：假設(shè)某電信服務(wù)提供商非常關(guān)注客戶(hù)流失到競(jìng)爭(zhēng)對(duì)手的數(shù)量。假如服務(wù)使用的數(shù)據(jù)可以用來(lái)預(yù)測(cè)哪些客戶(hù)有可能被轉(zhuǎn)移到另一個(gè)供貨商，則此供貨商可提供客制化的優(yōu)惠，以盡可能留住客戶(hù)。此案例的目的是想根據(jù)服務(wù)使用的數(shù)據(jù)，利用數(shù)據(jù)挖掘(分類(lèi)模型-二元羅吉斯回歸(Binomial Logistic Regression))來(lái)預(yù)測(cè)客戶(hù)的流失。

案例5：Forecasting Bandwidth Utilization: An analyst for a national broadband provider is required to produce forecasts of user subscriptions in order to predict utilization of bandwidth. Forecasts are needed for each of the local markets that make up the national subscriber base. This example will use time series modeling to produce forecasts for the next three months for a number of local markets.

預(yù)測(cè)帶寬使用率(通訊業(yè))：某全國(guó)寬帶網(wǎng)絡(luò)供貨商的分析師需進(jìn)行客戶(hù)使用網(wǎng)絡(luò)的預(yù)估，以便預(yù)測(cè)帶寬的使用。全國(guó)網(wǎng)絡(luò)的使用是全國(guó)各局域網(wǎng)絡(luò)使用的加總，因此分析師需逐一對(duì)給個(gè)區(qū)域市場(chǎng)進(jìn)行帶寬使用的預(yù)測(cè)。此案例的目的是想利用數(shù)據(jù)挖掘中的時(shí)間序列模型(預(yù)測(cè)模型-簡(jiǎn)單時(shí)間序列(Simple Time Series))來(lái)預(yù)測(cè)每個(gè)區(qū)域市場(chǎng)下三個(gè)月的帶寬使用量。

案例6：Forecasting Catalog Sales: A catalog company is interested in forecasting monthly sales of its men’s clothing line, based on their sales data for the last 10 years. This example takes a closer look at the two methods that are available when choosing a model yourself—exponential smoothing and ARIMA.

預(yù)測(cè)型錄商品的銷(xiāo)售(零售業(yè))：某型錄公司希望根據(jù)過(guò)去10年的銷(xiāo)售記錄，利用數(shù)據(jù)挖掘來(lái)預(yù)測(cè)男裝生產(chǎn)線每月的銷(xiāo)售。此案例的目的是想利用數(shù)據(jù)挖掘中的兩個(gè)時(shí)間序列模型-Exponential Smoothing和ARIMA(預(yù)測(cè)模型-復(fù)雜時(shí)間序列(Exponential Smoothing & ARIMA))來(lái)解決這個(gè)問(wèn)題。

案例7：Making Offers to Customers: This example teaches you how to predict which offers are most appropriate for customers and the probability of the offers being accepted. These sorts of models are most beneficial in customer relationship management, such as marketing applications or call centers.

提供對(duì)的產(chǎn)品給對(duì)的客戶(hù)(銀行業(yè))：此案例的目的是想利用數(shù)據(jù)挖掘(分類(lèi)模型-自學(xué)響應(yīng)模型(Self-Learning Response Model))來(lái)預(yù)測(cè)客戶(hù)對(duì)不同產(chǎn)品報(bào)價(jià)的接受程度，以便預(yù)測(cè)哪些產(chǎn)品適合提供給哪些客戶(hù)。此類(lèi)模型適合運(yùn)用在顧客關(guān)系管理中的目標(biāo)市場(chǎng)營(yíng)銷(xiāo)及客服中心。

案例8：Predicting Loan Defaulters: Suppose a bank is concerned about the potential for loans not to be repaid. If previous loan default data can be used to predict which potential customers are liable to have problems repaying loans, these “bad risk” customers can either be declined a loan or offered alternative products.

預(yù)測(cè)貸款逾期者(銀行業(yè))：某銀行希望根據(jù)客戶(hù)過(guò)去的貸款數(shù)據(jù)，利用數(shù)據(jù)挖掘(分類(lèi)模型-貝式網(wǎng)絡(luò)(Bayesian Network))來(lái)預(yù)測(cè)新的貸款者，核貸后會(huì)逾期的機(jī)率，以做為銀行是否核貸的依據(jù)，或提供給客戶(hù)其他類(lèi)型的貸款產(chǎn)品。

案例9：Retail Sales Promotion: This example deals with data that describes retail product lines and the effects of promotion on sales. The goal of this example is to predict the effects of future sales promotions.

零售業(yè)銷(xiāo)售促銷(xiāo)(零售業(yè))：此案例的目的是想根據(jù)零售產(chǎn)品過(guò)去的促銷(xiāo)記錄，利用數(shù)據(jù)挖掘(預(yù)測(cè)模型-神經(jīng)網(wǎng)絡(luò)及回歸樹(shù)(Neural Network & Regression Tree))來(lái)預(yù)測(cè)未來(lái)的銷(xiāo)售成效。

案例10：Condition Monitoring: This example concerns monitoring status information from a machine and the problem of recognizing and predicting fault states. The data consists of a number of concatenated series measured over time. Each record is a snapshot report on the machine.

狀態(tài)監(jiān)測(cè)(信息業(yè))：此案例的目的是想根據(jù)機(jī)器監(jiān)控狀態(tài)的信息，利用數(shù)據(jù)挖掘(分類(lèi)模型-神經(jīng)網(wǎng)絡(luò)及決策樹(shù)(Neural Network & Decision Tree))來(lái)預(yù)測(cè)機(jī)器發(fā)生故障的機(jī)率。此案例的數(shù)據(jù)包含在時(shí)間軸上連續(xù)的機(jī)器監(jiān)控狀態(tài)信息。因此，每一筆記錄是機(jī)器在某個(gè)時(shí)間點(diǎn)的狀態(tài)報(bào)告。

案例11：Classifying Cell Samples: A medical researcher has obtained a dataset containing characteristics of a number of human cell samples extracted from patients who were believed to be at risk of developing cancer. Analysis of the original data showed that many of the characteristics differed significantly between benign and malignant samples. The researcher wants to develop a model to give an early indication of whether their samples might be benign or malignant.

細(xì)胞樣本分類(lèi)(醫(yī)療業(yè))：某醫(yī)學(xué)研究中心收集癌癥病患的細(xì)胞樣本特征數(shù)據(jù)，以便進(jìn)行研究。原始的數(shù)據(jù)顯示良性樣本與惡性樣本間的許多特征有顯著的差異。此案例的目的是想根據(jù)此數(shù)據(jù)，利用數(shù)據(jù)挖掘(分類(lèi)模型-支持向量機(jī)(Support Vector Machine))來(lái)提早發(fā)現(xiàn)某樣本是良性還是惡性的樣本。

案例12：Market Basket Analysis: This example deals with data describing the contents of supermarket baskets (that is, collections of items bought together) plus the associated personal data of the purchaser, which might be acquired through a loyalty card scheme. The goal is to discover groups of customers who buy similar products and can be characterized demographically, such as by age, income, and so on.:

購(gòu)物籃分析(零售業(yè))：此案例的目的是想根據(jù)會(huì)員卡所記錄的客戶(hù)的個(gè)人信息及每次購(gòu)買(mǎi)商品的數(shù)據(jù)，利用數(shù)據(jù)挖掘(關(guān)聯(lián)模型-Apriori &決策樹(shù)(Decision Tree))來(lái)發(fā)掘購(gòu)買(mǎi)類(lèi)似商品的客群，以及客群的特征(例如，年齡、收入、等)。

12個(gè)真實(shí)案例玩轉(zhuǎn)數(shù)據(jù)挖掘！

（詳情請(qǐng)參照：http://bbs.pinggu.org/thread-3019568-1-1.html）