寫好Hive程序的五個(gè)提示,淘寶數(shù)據(jù)平臺(tái)團(tuán)隊(duì)
本文檔由 若蓮 分享于2011-07-31 08:48
使用Hive可以高效而又快速地編寫復(fù)雜的MapReduce查詢邏輯。但是某些情況下,因?yàn)椴皇煜?shù)據(jù)特性,或沒有遵循Hive的優(yōu)化約定,Hive計(jì)算任務(wù)會(huì)變得非常低效,甚至無法得到結(jié)果。一個(gè) 好 的Hive程序仍然需要對(duì)Hive運(yùn)行機(jī)制有深入的了解。有一些大家比較熟悉的優(yōu)化約定包括:Join中需要將大表寫在靠右的位置;盡量使用UDF而不是transfrom…諸如此類。下面討論5個(gè)性能和邏輯相關(guān)的問題,幫助你寫出更好的Hive程序。全排序Hive..
下載文檔
收藏