Hadoop

  Hadoop 是 Apache 软件基金会所研发的开放源码并行运算编程工具和分布式档案系统，与 MapReduce 和 Google 档案系统的概念类似

3
推荐
4027
阅读

【原创】企业Hadoop生态圈架构原理与应用——传统BI 向大数据Data Center转型的必备技能（一个实践者的心得经验）--附pdf


3
推荐
4081
阅读

Sqoop导入数据时添加时间戳字段

import转载请注明出处！背景说明：当利用Sqoop从Oracle等关系型数据库中抽取数据到Hive或HDFS时，加载到Hive或HDFS的数据需要有一个加载时间戳，以便于后续加...
3
推荐
1579
阅读

SecondaryNameNode机制

概述fsimage文件与edits文件是Namenode结点上的核心文件。Namenode中仅仅存储目录树信息，而关于BLOCK的位置信息则是从各个Datanode上传到Namenode上的。Name...
3
推荐
1727
阅读

搭建hadoop环境遇到的问题

不断扩充中  嗯 ing~目录1、50070端口访问失败 ，已关闭防火墙。18088端口可以访问2、datanode没有启动3、jdk安装报错：Error occurred during initaliz...
3
推荐
2294
阅读

Mahout推荐算法API详解

前言用Mahout来构建推荐系统，是一件既简单又困难的事情。简单是因为Mahout完整地封装了“协同过滤”算法，并实现了并行化，提供非常简单的API接口；困难是因为...
3
推荐
1890
阅读

解决RHadoop错误：PipeMapRed.waitOutputThreads(): subprocess failed with code 1

前言一行错误难倒一片同学，今天在准备 统计之都沙龙 的时候，我也遇到相同的错误。就让我来解决一下，在使用rhadoop的rmr2中，经常会遇到的一个错误。按照&n...
3
推荐
7409
阅读

【大数据】一起弄懂Data Lake数据湖

在前一篇文章《DW2.0技术架构被大家遗忘了？ 》中，BAO胖子点评时说到DW2.0和大数据中的数据湖是一回事，之前对数据湖这个概念也仅仅是在一些大数据架构时，...
3
推荐
4001
阅读

Hadoop + Hive + Spark 完整安装攻略

Prerequisites 桌面环境: Mac OSX虚拟机管理软体: Vagrant虚拟机: Virtual BoxClone repogit clone https://github.com/bryanyang0528/hellobicd h...
3
推荐
4285
阅读

《人人都会数据分析》20万字电子版

去年的时间把之前的数据分析工作经历、大环境背景、职场选择、公司选择、岗位选择、统计学的基本常识、需要掌握的分析工具、怎么写好一个报告、互联网和金融...
3
推荐
2992
阅读

HPL/SQL (Hive Hybrid Procedural SQL On Hadoop) --- 一个在Hive上执行过程SQL的工具

HPL / SQL是一种为Hive实现过程化SQL的工具。从Hive 2.0.0（HIVE-11055）开始可用。HPL/SQL对于Hive的意义，也就是PL/SQL对于Oracle的意义。对于广大的数据开...
2
推荐
3579
阅读

Hadoop集群（第2期）_机器信息分布表

1、分布式环境搭建　　采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1 集群的架构 　　其中有一台机器是Master节点，即名称节点，另外三...
2
推荐
4792
阅读

Hadoop应用、分布式架构、日志系统在Hadoop的应用及实现

吴文波bob今天先分享下我们在日志方面的一些处理方式。企业日志的几种情况：A.  服务器监控日志B.  内部应用程序日志C.  网站用户点击行为日...
2
推荐
2848
阅读

Hadoop-HBASE案例分析-Hadoop学习笔记<二>

主要介绍HBase，一个分布式数据库的应用案例。案例概况：1）时间序列数据库(OpenTSDB) 用HBase储存时间序列数据，每时每刻都在解决，数据库为开源 ...
2
推荐
3472
阅读

浅谈如何控制Mapreduce的map个数

1.Block 块 文件上传到HDFS中，第一步就是数据的划分，这个是真实物理上的划分，数据文件上传到HDFS后，要把文件划分成一块一块，每块的大小按照hdfs-site.xm...
2
推荐
2145
阅读

hadoop集群的搭建--vm虚拟机同时安装三台linux系统

简介：VMware可以在个人本地一台笔记本机器上同时运行二个或更多Windows、DOS、LINUX系统。与“多启动”系统相比，VMWare采用了完全不同的概念。多启动系统在一...

相关话题

1102 人关注

最佳回复者

改版

反馈