MarsJ

大数据玩家~DS

始于: 2015-10-13

广东省 广州市

发私信

1580

总声望

216

次被推荐

0

粉丝

他的回答
排序:

0
投票

大神,快出来,为什么老是格式化失败?

原因是你之前格式化过,曾经有过格式化,则已经生成了namespaceID等信息,此次再格式化没有覆盖,所以要先把之前(每个节点)生成的HDFS信息删掉后再进行格...

2016-10-30 11:20 回复了该问题
0
投票

请问Spark中并行计算的原理应该去看哪部分源码?

Core里面的吧

2016-10-30 11:15 回复了该问题
0
投票

各位同僚,请问如何增加Hadoop集群map任务并行执行的数量?谢谢!环境:apache-hadoop2.6,4个从节点。附截图。

你执行job的方式是什么?MR的java代码还是某个类似于Hive QL命令?

2016-10-26 19:07 回复了该问题
0
投票

habse无法启动HquorumPeer进程

HBase中的ZK配置正常吗

2016-10-26 19:06 回复了该问题
1
投票

想请教一个问题,我在linux上把hadoop的命令写成shell脚本,自己在命令行可以正常执行,但是放在crontab里面没有输出结果,试了好多次了

放在Shell脚本后,该shell脚本执行时会有自己的环境变量,应该要在脚本前部分加入该加入的环境变量,例如$HAODOP_HOME之类

2016-10-26 19:06 回复了该问题
0
投票

这个怎么 解决,有没有知道的,谢谢。

应该是某个RS没连上集群,检查RS的健康状况

2016-10-26 19:05 回复了该问题
0
投票

有搭建过hive的大神吗,这个问题怎么解决

你的问题是什么?我用的UTF-8

2016-10-26 18:36 回复了该问题
0
投票

用虚拟机搭hadoop-1.2.1集群,只有一个从机启动正常,另一个只启动了TaskTracker,而没有datanode,这是什么情况?我的两个从机是完全相同的呀

需要查看DataNode没起来的那个机器的datanode启动日志,才能查明原因的。 方便的话把日志贴出来吧。

2016-10-22 09:45 回复了该问题
0
投票

这什么情况

hdfs namenode,中间有个空格的。 不好意思,我的博客中在编辑时误删了空格~~~抱歉啊。

2016-10-22 09:35 回复了该问题
0
投票

mysql导入到hive,失败。提示out of range,该怎么处理??

可能是某个字段的定义导致越界?可以检查一下字段定义

2016-10-18 15:34 回复了该问题
0
投票

请问 各位大牛 hive on spark 跑的 一个sql 都要 1 -2 min 这正常吗

正常。如果Spark和Hadoop在一个集群上,那么是共享资源的,而且正常情况下,你这里说的1-2分钟肯定比单纯的MR要快。否则需要查清原因。

2016-10-18 15:33 回复了该问题
0
投票

请教个问题。我配置的datanode 有时候,能起来,有时候起不来 ? 这是怎么回事呢, namenode和datanode 在1台机器 。

可以的话提供日志,可能的原因有以下几个: 1、SSH没成功 2、防火墙

2016-10-18 15:32 回复了该问题
0
投票

我用的是Hadoop-2.5.2,重新编译过,但还是报这个错误,请问下是什么原因

从启动记录来看,是出现了两个WARN,可以先忽略的

2016-10-18 15:30 回复了该问题
0
投票

这个是什么意思

系统中本身是不存在这两个变量的,这应该是在hive-site.xml中用系统中的实际变量值去替换这两个变量

2016-10-18 15:27 回复了该问题

改版

反馈