2019-01-20
閱讀量:
928
如何使用Scala初始化spark1.6
如何使用Scala初始化spark1.6?一直使用spark-shell sc都是初始化好的,那怎么用代碼一點(diǎn)一點(diǎn)初始化sc呢?
答:sc是spark程序的入口,只有初始化sc一個spark程序才能運(yùn)行,經(jīng)典的初始化代碼如下:
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object SparkWordCountWithScala {
def main(args: Array[String]): Unit = {
val conf = new SparkConf()
/**
* 如果這個參數(shù)不設(shè)置,默認(rèn)認(rèn)為你運(yùn)行的是集群模式
* 如果設(shè)置成local代表運(yùn)行的是local模式
*/
conf.setMaster("local")
//設(shè)置任務(wù)名
conf.setAppName("WordCount")
//創(chuàng)建SparkCore的程序入口
val sc = new SparkContext(conf)
//創(chuàng)建sc成功
}
}






評論(0)


暫無數(shù)據(jù)
推薦帖子
0條評論
1條評論
0條評論
0條評論