Hadoop

  Hadoop 是 Apache 软件基金会所研发的开放源码并行运算编程工具和分布式档案系统,与 MapReduce 和 Google 档案系统的概念类似

1
推荐
188
阅读

Hadoop + Hive + Spark 完整安装攻略

Prerequisites 桌面环境: Mac OSX虚拟机管理软体: Vagrant虚拟机: Virtual BoxClone repogit clone https://github.com/bryanyang0528/hellobicd h...
0
推荐
111
阅读

Sqoop增量导入

1、核心参数–check-column,用来指定一些列,这些列在导入时用来检查做决定数据是否要被作为增量数据,在一般关系型数据库中,都存在类似Last_Mod_Date的字段...
0
推荐
106
阅读

hadoop HDFS常用文件操作命令

hadoop HDFS常用文件操作命令https://segmentfault.com/a/1190000002672666 原贴命令基本格式:hadoop fs -cmd < args > 1.lshadoop fs -ls / 列出hdfs...
0
推荐
140
阅读

sqoop version 报错

报错[root@bigdata bin]# sqoop version Error: /software/sqoop-1.4.6/bin/../../hadoop does not exist! Please ...
3
推荐
725
阅读

【大数据】一起弄懂Data Lake数据湖

在前一篇文章《DW2.0技术架构被大家遗忘了? 》中,BAO胖子点评时说到DW2.0和大数据中的数据湖是一回事,之前对数据湖这个概念也仅仅是在一些大数据架构时,...
0
推荐
115
阅读

YARN笔记

1. YARN的产生背景MRv1编程模型:Map阶段和Reduce阶段数据处理引擎:MapTask和ReduceTask运行时环境:JobTracker(资源管理和作业控制)和TaskTracker(接受J...
1
推荐
195
阅读

hadoop设置用户

异常:org.apache.hadoop.security.AccessControlException: Permission denied: user=zhangsan, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x通常的...
0
推荐
164
阅读

数据开发系列篇(2):大数据处理和编程实践Hadoop(二)

下面是岑文初师兄总结的Hadoop入门的实践放翁(文初)的一亩三分地,基本上可以作为入门了解去看下,太细节的可以自己去找本书看看。其实参看Hadoop官方文档...
1
推荐
234
阅读

ZooKeeper实现分布式FIFO队列

前言ZooKeeper是一个强大的分布式协作系统,用ZooKeeper可以方便地实现先进先出(FIFO)队列。给“队列”的技术现实多一种选择,标准化我们的程序结构。另一篇,...
1
推荐
202
阅读

ZooKeeper伪分步式集群安装及使用

前言ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品。在单机中,系统协作大都是进程级的操作。分布式系统中,服务协作都是跨服务器才能完成的。在ZooK...
1
推荐
347
阅读

Hive导入10G数据的测试

前言Hadoop和Hive的环境已经搭建起来了,开始导入数据进行测试。我的数据1G大概对应500W行,MySQL的查询500W行大概3.29秒,用hive同样的查询大概30秒。如果我...
1
推荐
195
阅读

让Hadoop跑在云端系列文章 之 增加删除hadoop节点

前言让Hadoop跑在云端系列文章,经过前面几篇文章的介绍,我们已经可以创建并管理虚拟机,增加hadoop节点。本文只是把操作过程整理一下,做一个操作总结,让...
2
推荐
229
阅读

让Hadoop跑在云端系列文章 之 克隆虚拟机优化方案1-安装和配置

前言把虚拟化的hadoop环境创建好之后,我们就要考虑如何对系统进行优化了。从运维的角度,我找到了4个优化的出发点,安装,配置,监控,管理。为了完成1个人...
1
推荐
213
阅读

让Hadoop跑在云端系列文章 之 克隆虚拟机增加Hadoop节点

前言通过虚拟化技术,我们可轻松的增加或删除一台虚拟机。像hadoop技术,安装,配置,运维,管理都很复杂,如果能通过虚拟化技术,降低运维成本,是多么开心...
1
推荐
206
阅读

让Hadoop跑在云端系列文章 之 创建Hadoop母体虚拟机

前言通过虚拟化技术,我们可轻松的增加或删除一台虚拟机。结合hadoop技术,我们需要先创建一台配置好hadoop环境虚拟机,作为克隆的母体。非虚拟化安装Hadoop...

258 人关注

最佳回复者

改版

反馈