2023-02-03
閱讀量:
2845
如何解決數(shù)據(jù)傾斜問題?
解決數(shù)據(jù)傾斜問題的方案
方案一:過濾掉傾斜數(shù)據(jù) 當(dāng)少量key重復(fù)次數(shù)特別多,如果這種key不是業(yè)務(wù)需要的key, 可以直接過濾掉。
方案二:引入隨機(jī)數(shù) 數(shù)據(jù)按照類型group by時(shí),會將相同的key所需的數(shù)據(jù)拉取到一 個(gè)節(jié)點(diǎn)進(jìn)行聚合,而當(dāng)某組數(shù)據(jù)量過大時(shí),會出現(xiàn)其他組已經(jīng)計(jì)算完 成而當(dāng)前任務(wù)未完成的情況??梢钥紤]加入隨機(jī)數(shù),將原來的一組key 強(qiáng)制拆分為多組進(jìn)行聚合。






評論(0)


暫無數(shù)據(jù)
CDA考試動態(tài)
CDA報(bào)考指南
推薦帖子
0條評論
0條評論
1條評論
0條評論