Hadoop

  Hadoop 是 Apache 软件基金会所研发的开放源码并行运算编程工具和分布式档案系统,与 MapReduce 和 Google 档案系统的概念类似

0
推荐
96
阅读

HPL/SQL (Hive Hybrid Procedural SQL On Hadoop) --- 一个在Hive上执行过程SQL的工具

HPL / SQL是一种为Hive实现过程化SQL的工具。从Hive 2.0.0(HIVE-11055)开始可用。HPL/SQL对于Hive的意义,也就是PL/SQL对于Oracle的意义。对于广大的数据开...
3
推荐
336
阅读

Hive在windows端的图形化连接工具

Hive官网上介绍过几种windows端的连接方式,本文主要介绍如何使用Oracle SQL Developer连接hive。1.下载并解压Oracle SQL Developer从  http://www.orac...
0
推荐
135
阅读

【数据蒋堂】第48期:Hadoop中理论与工程的错位

Hadoop是当前重要的大数据计算平台,它试图摒弃传统数据库的理念,重新构建一套新的大数据体系。但是,这并不是件很容易的事,在Hadoop的设计和实现中能看到...
1
推荐
121
阅读

【数据蒋堂】第47期:Hadoop – 一把杀鸡用的牛刀

Hadoop是个庞大的重型解决方案,它的设计目标本来就是大规模甚至超大规模的集群,面对的是上百甚至上千个节点,这样就会带来两个问题:1. 自动化管理管任务分...
0
推荐
124
阅读

MySQL,Hadoop闭源了咋办?

突然滴,MySQL、Hadoop等开源软件有可能被“闭源”的话题火起来了。听说,活跃在我国境内众多著名商用数据库数据仓库都是从这些开源代码改出来的,这要是被鬼子...
3
推荐
872
阅读

《人人都会数据分析》20万字电子版

去年的时间把之前的数据分析工作经历、大环境背景、职场选择、公司选择、岗位选择、统计学的基本常识、需要掌握的分析工具、怎么写好一个报告、互联网和金融...
3
推荐
733
阅读

Hadoop + Hive + Spark 完整安装攻略

Prerequisites 桌面环境: Mac OSX虚拟机管理软体: Vagrant虚拟机: Virtual BoxClone repogit clone https://github.com/bryanyang0528/hellobicd h...
0
推荐
279
阅读

Sqoop增量导入

1、核心参数–check-column,用来指定一些列,这些列在导入时用来检查做决定数据是否要被作为增量数据,在一般关系型数据库中,都存在类似Last_Mod_Date的字段...
0
推荐
335
阅读

hadoop HDFS常用文件操作命令

hadoop HDFS常用文件操作命令https://segmentfault.com/a/1190000002672666 原贴命令基本格式:hadoop fs -cmd < args > 1.lshadoop fs -ls / 列出hdfs文件系...
0
推荐
316
阅读

sqoop version 报错

报错[root@bigdata bin]# sqoop version Error: /software/sqoop-1.4.6/bin/../../hadoop does not exist! Please ...
3
推荐
2006
阅读

【大数据】一起弄懂Data Lake数据湖

在前一篇文章《DW2.0技术架构被大家遗忘了? 》中,BAO胖子点评时说到DW2.0和大数据中的数据湖是一回事,之前对数据湖这个概念也仅仅是在一些大数据架构时,...
0
推荐
275
阅读

YARN笔记

1. YARN的产生背景MRv1编程模型:Map阶段和Reduce阶段数据处理引擎:MapTask和ReduceTask运行时环境:JobTracker(资源管理和作业控制)和TaskTracker(接受J...
1
推荐
401
阅读

hadoop设置用户

异常:org.apache.hadoop.security.AccessControlException: Permission denied: user=zhangsan, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x通常的...
0
推荐
400
阅读

数据开发系列篇(2):大数据处理和编程实践Hadoop(二)

下面是岑文初师兄总结的Hadoop入门的实践放翁(文初)的一亩三分地,基本上可以作为入门了解去看下,太细节的可以自己去找本书看看。其实参看Hadoop官方文档...
1
推荐
506
阅读

ZooKeeper实现分布式FIFO队列

前言ZooKeeper是一个强大的分布式协作系统,用ZooKeeper可以方便地实现先进先出(FIFO)队列。给“队列”的技术现实多一种选择,标准化我们的程序结构。另一篇,...

591 人关注

最佳回复者

改版

反馈