我也要用- 博客(2)
- 资源 (1)
- 论坛 (1)
- 收藏
- 关注
RSS订阅原创 真正让你明白Hive参数调优系列1：控制map个数与性能调优参数
本系列几章系统地介绍了开发中Hive常见的用户配置属性（有时称为参数，变量或选项），并说明了哪些版本引入了哪些属性，常见有哪些属性的使用，哪些属性可以进行Hive调优，以及如何使用的问题。以及日常Hive开发中如何进行性能调优。1.Hive有哪些参数，如何查看这些参数Hive自带的配置属性列表封装在HiveConfJava类中，因此请参阅该HiveConf.java文件以获取Hi...
2019-11-07 15:48:41
13787
13
原创 真正让你明白Hive参数调优系列2：如何控制reduce个数与参数调优
相比map个数的控制复杂性，reduce个数的设定要相对简单多了，reduce的个数一般最后决定了输出文件的个数，二者相等，如果想多输出文件的个数（这样文件变小，但有可能程序变慢），那么可以人为增加reduce个数。如果想减少文件个数，也可以手动较少reduce个数(同样可能程序变慢）。但实际开发中，reduce的个数一般通过程序自动推定，而不人为干涉，因为人为控制的话，如果使用不当...
2019-11-07 15:48:05
4098
3
牛大财有大才的留言板
发表于 2020-01-02 最后回复 2020-05-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝