MarsJ

大数据玩家~DS

始于: 2015-10-13

广东省 广州市

发私信

1580

总声望

216

次被推荐

0

粉丝

他的回答
排序:

0
投票

我有个问题。 就是向hdfs里-put文件的时候 报异常 但是namenode 和datanode都正常启动了怎么回事呢

需要给出报异常的错误信息哦,否则不知道错在哪里

2016-08-05 15:12 回复了该问题
0
投票

请问下 我用hadoop处理apache日志 统计PV的同时怎么也打印出时间

打印处理日志的时间吗? 如果是用Hive处理的,直接加上一个current_timestamp()时间函数就行了 如果是Java写的MR,就直接添加一个java...

2016-08-05 15:10 回复了该问题
0
投票

大家好。我启动zookeeper后没报错,但是查看状态显示 not running ,这是为什呀?有出现过这种错的吗?如何解决呢

这个需要查看ZooKeeper的日志才知道错在何处,如何解决。 ZK的日志在你启动ZK时所在目录下的zookeeper.out

2016-08-05 15:07 回复了该问题
0
投票

单台hadoop添加节点成hadoop集群,只需要添加节点的ip地址么?

1,/etc/hosts要修改 2,$HADOOP_HOME/etc/hadoop/slaves要修改

2016-08-05 15:05 回复了该问题
0
投票

跑mr的时候中途出现 错误的话,目标路径会删除吗?

目标路径,是指写出路径吗?一般来说是不会删除的,写出路径也可以有多种写出模式,append,overwrite等

2016-08-05 14:45 回复了该问题
0
投票

我把之前安装在HTY2-1单机集群删除了,就是Apache版本的解压缩之后的包删除了,重新使用bootcamp自动安装工具安装了cdh版本的集群后,执行hadoop fs -ls 如下命令报错了:

从错误看,是Hadoop配置文件core-site.xml无法找到,你配置了HADOOP_CONF_DIR这个环境变量吗?将这个环境变量指向hadoop的配置文...

2016-08-05 14:31 回复了该问题
0
投票

老师,你好,有Logistica的R相关文章或者资料推荐吗

[url]http://www.r-bloggers.com/lang/chinese/545[/url] R博客中的一篇文章还不错

2016-07-29 12:39 回复了该问题
0
投票

请问各位, 你们hbase用来存储 分析后的数据结果 还是 存储 准备分析的 原始数据?

两者都可以存,具体需求具体应用吧,我们目前是存着Analyze后的结果,并且供前端直接查询。

2016-07-29 10:38 回复了该问题
0
投票

我启动spark的时候去看worker是起来了,但是启动完了以后worker就挂了,有哪位大神知道

贴出错误日志,才可以更清晰的分析错误原因。

2016-07-29 09:25 回复了该问题
0
投票

老师能不能讲一下,如果学机器学习的话要学哪些技术? 而且还想知道大数据哪些技术比较有前途,或者说大数据的未来哪些方向是比较有潜力的?

机器学习,这是个对数学有些要求的方向,所以可以边熟悉一些机器学习的算法,分类、聚类、回归、优化、贝叶斯算法、马尔科夫链等等,同时复习线性代数、概率、统计等方面的...

2016-07-29 09:25 回复了该问题
0
投票

在hive里两个时间格式不同的字段要怎么样才能比较

时间格式不同是指的一个是date、一个是timestamp吗? 1、如果是字符串的话,可以直接用>、<等进行比较; 2、date和timestamp...

2016-07-29 09:04 回复了该问题
1
投票

flume或chukwa采集了数据,直接进hdfs,这样肯定是许多较小的文件,有各自的命名吧?这样的话,后期的mapreduce,怎么对这些文件操作?

此时需要进行HDFS的小文件合并,根据小文件数目定期合并。

2016-07-29 09:00 回复了该问题
0
投票

./spark-shell 报错 是什么意思

这是因为在启动spark-shell时,会自动为用户生成sparkContext和sqlContext,从报错信息来看,是Spark中与Spark SQL相关的...

2016-07-27 14:33 回复了该问题
0
投票

大神们,有人知道如何终止MapReduce任务吗?

2个方式,一个是在Application界面上点击Kill,可以终止MR任务,另一个是用hadoop命令kill

2016-07-27 14:26 回复了该问题

改版

反馈