自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

涤生手记

知道不去做,等于不知道。知行合一。

  • 博客(10)
  • 资源 (1)
  • 论坛 (1)
  • 收藏
  • 关注

原创 只需花15分钟快速入门Hbase

Hbase是什么?学习东西的一手资料就是看官网,看hbase官网的背书:一个基于hadoop的分布式的,可扩展的,可以大量存储的数据库,主要应对大量数据的随机读写需求,实现海量数据的实时随机读写。 但是官网的表述往往是言简意赅,简洁客观性的陈述介绍。其实不利于很多初级学习者的学习和理解,或者不够的深入的和细节性的学习。技术是为了应用,技术的发展是为了解决已经存在问题。所以学一个技术框架,首先了解为什么需要它?它的出现是为了解决什么问题?以及它是如何解决的?把这个三个问题搞透了...

2021-06-28 01:34:30 479 11

原创 初级者与转行者,大数据如何学习最高效,简历该如何优化?

前面写了一篇大数据行业介绍,后台有很多小伙伴私信我大数据该如何学,简历该如何优化?尤其很多准备转行大数据的小伙伴,初级入门者,有较多困惑,简历写得天花乱坠,面试总是一面就挂,学习没有重点,找不到突破方向等等。 前一篇地址:写给大数据初级开发者或准备转行大数据的人1.大数据该如何学?1.1方向的选择 为什么我一定要强调方向的选择,因为在有限的时间内,对于初级入门者,转行的同学最重要的是术业有专攻。要用有限的时间,去做收益最高的事,所以要在有限的时间内...

2021-06-21 19:17:58 811 10

原创 写给大数据初级开发者或准备转行大数据的人

中国的IT行业因为有人口福利,所以但凡有个细分领域可以互联网+的,搞个应用服务,有日活十万+都可以活的很好了,当然像抖音那种日活过亿的,zoayi赚的盆满钵满。

2021-06-17 23:14:23 1758 26

原创 深入YARN系列3:剖析NodeManager架构,组件与生产应用

深入YARN系列2:剖析ResourceManaer的架构与核心源码分析深入YARN系列3:剖析NodeManager架构,组件机制,生产应用深入YARN系列4:剖析ApplicationMaster的任务管理机制与生产调优深入YARN系列5:YARN三大组件配合使用与YARN生产性能优化1.回顾YARN的三大组件1.1ResourceManager全局资源管理器每个集群有一个RM守护进程(可HA),RM负责整个系统的资源分配与管理;它主要有调度器ResourceScheduler和应用程

2021-06-16 01:17:21 324 3

原创 深入YARN系列2:剖析ResourceManager的架构与组件使用

深入YARN系列主要分为:深入YARN系列1:窥全貌之YARN架构,设计,通信原理等深入YARN系列2:剖析ResourceManaer的架构与核心源码分析深入YARN系列3:剖析NodeManager架构,组件机制,生产应用深入YARN系列4:剖析ApplicationMaster的任务管理机制与生产调优深入YARN系列5:YARN三大组件配合使用与YARN生产性能优化...

2021-06-15 10:33:26 265 5

原创 超详细版企业离线部署CDH6.10集群与配置使用

进入大数据行业数载,也从一个开发小白走到了今天,期间也历经过一摸番着石头过河的探索,到如今的胸有点墨;玩过demo,使用过负责过上千节点的大数据集群开发与使用;被人面虐过,也面挂过很多人;如今,想趁着自己心中有火,眼里有光的年纪,把自己的一点心得与经验分享大数据行业的爱好者。也希望有助于后面的童鞋少走弯路,也欢迎大家私信交流。持续每周更新。死磕大数据系列1.死磕大数据系列将从企业上千节点集群的搭建(包括cdh集群,以及升级后apache hadoop3集群),性能优化,牵扯到的组件包括...

2021-06-11 10:51:55 2701 4

原创 深入YARN系列1:窥全貌之YARN架构,设计,通信原理等

深入YARN系列主要分为:深入YARN系列1:窥全貌之YARN架构,设计,通信原理等 深入YARN系列2:剖析ResourceManaer的架构与核心源码分析 深入YARN系列3:剖析NodeManager架构,组件机制,生产应用 深入YARN系列4:剖析ApplicationMaster的任务管理机制与生产调优 深入YARN系列5:YARN三大组件配合使用与YARN生产性能优化1.YARN的架构与设计 YARN的总体架构模式是Master/Slave主从模式。一个全局的R...

2021-06-08 21:05:52 975 12

原创 大数据开发要学会看yarn日志:Task容错机制,任务推测执行,计数器

yarn的web界面是所有大数据开发都会或多或少查看的,比如任务运行失败,任务运行缓慢,查看详细任务运行进度,renw1.Task容错机制原理与使用

2021-06-07 18:42:02 779 11

原创 如何提高节点下线速度或避免因节点掉线产生网络风暴?

背景: 老集群规模上千节点,存储60PB数据左右,单节点因为历史原因配置不一,最大节点挂载32块盘,单节空间250TB左右,负载在150TB左右,block数240万块左右。

2021-06-05 17:20:37 1114 8

原创 为啥集群小文件治理那么重要,你真的懂吗?

小文件是 Hadoop 的常见挑战,如果不小心处理,它们可能会导致许多并发症。Apache Hadoop 分布式文件系统 (HDFS) 旨在存储和处理 TB 和 PB 级的大型数据集。但是,HDFS 存储小文件效率低下,导致 Namenode 内存利用率和 RPC 调用效率低下,块扫描吞吐量下降,应用层性能降低。在这篇博文中,我们将定义小文件存储问题,并研究解决它的方法,同时避免复杂性。...

2021-06-01 18:22:36 6749 19

Python3.5官方文档中文版本chm格式

python3.5版本,官方文档中文版,已经 集成为chm格式,直接打开即可使用,更加方便好操作。免费下载吧

2018-09-06

牛大财有大才的留言板

发表于 2020-01-02 最后回复 2020-05-09

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除