99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
2018-10-20 閱讀量: 1244
如何確定map的個數？

（1）一個文件HDFS中的file，占用3個block塊，每塊默認64M，這個是物理切分。

（2）運行map的時候，根據配置文件進行split切分，這是邏輯切分。

（3）一個split就會對應運行一個map。

hdfs-site.xml中設置

<property>

<name>dfs.block.size</name>

<value>n0</value>

</property>

mapred-site.xml中設置

<property>

<name>mapred.max.split.size</name>

<value>n1</value>

</property>

<property>

<name>mapred.min.split.size</name>

<value>n2</value>

</property>

那么： splitSize = max(n2,min(n1,n0))

則map的個數為：文件大小/(splitSize*1.1) 的向上取整。

101.7633
3
關注作者
收藏
評論(0)

發(fā)表評論

暫無數據
推薦帖子