99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
2019-01-20 閱讀量: 928
如何使用Scala初始化spark1.6

如何使用Scala初始化spark1.6?一直使用spark-shell sc都是初始化好的,那怎么用代碼一點(diǎn)一點(diǎn)初始化sc呢?

答:sc是spark程序的入口,只有初始化sc一個spark程序才能運(yùn)行,經(jīng)典的初始化代碼如下:

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object SparkWordCountWithScala {
def main(args: Array[String]): Unit
= {

val conf
= new SparkConf()
/**
* 如果這個參數(shù)不設(shè)置,默認(rèn)認(rèn)為你運(yùn)行的是集群模式
* 如果設(shè)置成local代表運(yùn)行的是local模式
*/

conf.setMaster(
"local")
//設(shè)置任務(wù)名

conf.setAppName("WordCount")
//創(chuàng)建SparkCore的程序入口

val sc = new SparkContext(conf)
//創(chuàng)建sc成功

}
}

0.0000
4
關(guān)注作者
收藏
評論(0)

發(fā)表評論

暫無數(shù)據(jù)
推薦帖子