Hadoop

  Hadoop 是 Apache 软件基金会所研发的开放源码并行运算编程工具和分布式档案系统,与 MapReduce 和 Google 档案系统的概念类似

0
推荐
17
阅读

数据开发系列篇(2):大数据处理和编程实践Hadoop(二)

下面是岑文初师兄总结的Hadoop入门的实践放翁(文初)的一亩三分地,基本上可以作为入门了解去看下,太细节的可以自己去找本书看看。其实参看Hadoop官方文档...
0
推荐
62
阅读

ZooKeeper实现分布式FIFO队列

前言ZooKeeper是一个强大的分布式协作系统,用ZooKeeper可以方便地实现先进先出(FIFO)队列。给“队列”的技术现实多一种选择,标准化我们的程序结构。另一篇,...
0
推荐
46
阅读

ZooKeeper伪分步式集群安装及使用

前言ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品。在单机中,系统协作大都是进程级的操作。分布式系统中,服务协作都是跨服务器才能完成的。在ZooK...
1
推荐
146
阅读

Hive导入10G数据的测试

前言Hadoop和Hive的环境已经搭建起来了,开始导入数据进行测试。我的数据1G大概对应500W行,MySQL的查询500W行大概3.29秒,用hive同样的查询大概30秒。如果我...
0
推荐
44
阅读

让Hadoop跑在云端系列文章 之 增加删除hadoop节点

前言让Hadoop跑在云端系列文章,经过前面几篇文章的介绍,我们已经可以创建并管理虚拟机,增加hadoop节点。本文只是把操作过程整理一下,做一个操作总结,让...
2
推荐
68
阅读

让Hadoop跑在云端系列文章 之 克隆虚拟机优化方案1-安装和配置

前言把虚拟化的hadoop环境创建好之后,我们就要考虑如何对系统进行优化了。从运维的角度,我找到了4个优化的出发点,安装,配置,监控,管理。为了完成1个人...
0
推荐
45
阅读

让Hadoop跑在云端系列文章 之 克隆虚拟机增加Hadoop节点

前言通过虚拟化技术,我们可轻松的增加或删除一台虚拟机。像hadoop技术,安装,配置,运维,管理都很复杂,如果能通过虚拟化技术,降低运维成本,是多么开心...
1
推荐
59
阅读

让Hadoop跑在云端系列文章 之 创建Hadoop母体虚拟机

前言通过虚拟化技术,我们可轻松的增加或删除一台虚拟机。结合hadoop技术,我们需要先创建一台配置好hadoop环境虚拟机,作为克隆的母体。非虚拟化安装Hadoop...
2
推荐
54
阅读

RHadoop培训 之 R基础课

前言覆盖R基础知识,快速上手,RHadoop环境的搭建基础课。目录背景知识开发环境R语法R基本函数R的扩展包1. 背景知识R起源R 是一个有着统计分析功能及强大作图...
1
推荐
74
阅读

RHadoop培训 之 Java基础课

前言覆盖java基础知识,快速上手,RHadoop环境的搭建基础课。目录背景知识开发环境JAVA的编译及运行环境JAVA语法JDK基本包介绍JAVA项目(ant, maven)1. 背景知...
0
推荐
54
阅读

RHadoop培训 之 Linux基础课

前言覆盖Linux基础知识,快速上手,搭建RHadoop环境的基础课。目录背景知识文件系统常用命令vi编辑器用户管理磁盘管理网络管理系统管理软件包管理常用软件1. ...
3
推荐
78
阅读

解决RHadoop错误:PipeMapRed.waitOutputThreads(): subprocess failed with code 1

前言一行错误难倒一片同学,今天在准备 统计之都沙龙 的时候,我也遇到相同的错误。就让我来解决一下,在使用rhadoop的rmr2中,经常会遇到的一个错误。按照&n...
0
推荐
60
阅读

RHadoop实践系列之四 rhbase安装与使用

第四篇 HBase和rhbase的安装与使用,分为3个章节。 1. 环境准备及HBase安装 2. rhbase安装 3. rhbase程序用例 每一章节,都会分为”文字说明部分”和”代码部分”...
3
推荐
99
阅读

RHadoop实践系列之三 R实现MapReduce的协同过滤算法

第三篇 R实现MapReduce的协同过滤算法,分为3个章节。1.基于物品推荐的协同过滤算法介绍 2.R本地程序实现 3.R基于Hadoop分步式程序实现 每一章节,都会分为”...
0
推荐
45
阅读

Hadoop配置备忘录

在这个人人都谈大数据的时代,如果不了解一点大数据的操作,都不好意思说自己是学统计的了。所以,今天让我们来一起学习在自己的电脑上使用多个虚拟机模拟配...

88 人关注

最佳回复者

改版

反馈

======= >>>>>>> b75eec8b3e680c1b60a08a6bb3f9cd752a33281c