- 博客(2)
- 资源 (1)
- 论坛 (1)
- 收藏
- 关注
原创 真正让你明白Hive参数调优系列1:控制map个数与性能调优参数
本系列几章系统地介绍了开发中Hive常见的用户配置属性(有时称为参数,变量或选项),并说明了哪些版本引入了哪些属性,常见有哪些属性的使用,哪些属性可以进行Hive调优,以及如何使用的问题。以及日常Hive开发中如何进行性能调优。1.Hive有哪些参数,如何查看这些参数Hive自带的配置属性列表封装在HiveConfJava类中,因此请参阅该HiveConf.java文件以获取Hi...
2019-11-07 15:48:41
13787
13
原创 真正让你明白Hive参数调优系列2:如何控制reduce个数与参数调优
相比map个数的控制复杂性,reduce个数的设定要相对简单多了,reduce的个数一般最后决定了输出文件的个数,二者相等,如果想多输出文件的个数(这样文件变小,但有可能程序变慢),那么可以人为增加reduce个数。如果想减少文件个数,也可以手动较少reduce个数(同样可能程序变慢)。但实际开发中,reduce的个数一般通过程序自动推定,而不人为干涉,因为人为控制的话,如果使用不当...
2019-11-07 15:48:05
4098
3
牛大财有大才的留言板
发表于 2020-01-02 最后回复 2020-05-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝