hadoop HDFS常用文件操作命令https://segmentfault.com/a/1190000002672666 原贴命令基本格式:hadoop fs -cmd < args >
1.lshadoop fs -ls /
列出hdfs文件系...
报错[root@bigdata bin]# sqoop version
Error: /software/sqoop-1.4.6/bin/../../hadoop does not exist!
Please ...
在前一篇文章《DW2.0技术架构被大家遗忘了？ 》中，BAO胖子点评时说到DW2.0和大数据中的数据湖是一回事，之前对数据湖这个概念也仅仅是在一些大数据架构时，...
1. YARN的产生背景MRv1编程模型：Map阶段和Reduce阶段数据处理引擎：MapTask和ReduceTask运行时环境：JobTracker（资源管理和作业控制）和TaskTracker（接受J...
异常：org.apache.hadoop.security.AccessControlException: Permission denied: user=zhangsan, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x通常的...
下面是岑文初师兄总结的Hadoop入门的实践放翁（文初）的一亩三分地，基本上可以作为入门了解去看下，太细节的可以自己去找本书看看。其实参看Hadoop官方文档...
前言ZooKeeper是一个强大的分布式协作系统，用ZooKeeper可以方便地实现先进先出(FIFO)队列。给“队列”的技术现实多一种选择，标准化我们的程序结构。另一篇，...
前言ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品。在单机中，系统协作大都是进程级的操作。分布式系统中，服务协作都是跨服务器才能完成的。在ZooK...
前言Hadoop和Hive的环境已经搭建起来了，开始导入数据进行测试。我的数据1G大概对应500W行，MySQL的查询500W行大概3.29秒，用hive同样的查询大概30秒。如果我...
前言让Hadoop跑在云端系列文章，经过前面几篇文章的介绍，我们已经可以创建并管理虚拟机，增加hadoop节点。本文只是把操作过程整理一下，做一个操作总结，让...
前言把虚拟化的hadoop环境创建好之后，我们就要考虑如何对系统进行优化了。从运维的角度，我找到了4个优化的出发点，安装，配置，监控，管理。为了完成1个人...
前言通过虚拟化技术，我们可轻松的增加或删除一台虚拟机。像hadoop技术，安装，配置，运维，管理都很复杂，如果能通过虚拟化技术，降低运维成本，是多么开心...
前言通过虚拟化技术，我们可轻松的增加或删除一台虚拟机。结合hadoop技术，我们需要先创建一台配置好hadoop环境虚拟机，作为克隆的母体。非虚拟化安装Hadoop...
前言覆盖R基础知识，快速上手，RHadoop环境的搭建基础课。目录背景知识开发环境R语法R基本函数R的扩展包1. 背景知识R起源R 是一个有着统计分析功能及强大作图...
前言覆盖java基础知识，快速上手，RHadoop环境的搭建基础课。目录背景知识开发环境JAVA的编译及运行环境JAVA语法JDK基本包介绍JAVA项目(ant, maven)1. 背景知...
niu_poop
w卫东
平常心
面包君
张丹
