MarsJ

大数据玩家~DS

始于: 2015-10-13

广东省 广州市

发私信

1580

总声望

216

次被推荐

0

粉丝

他的回答
排序:

0
投票

请教大家一个问题,大家调试MP程序的时候是怎么调试的?是直接打包到服务器上跑看异常调试 还是直接在本机运行调试 还是怎样?

MR程序?可以打包放上去跑,略微麻烦,建议直接远程调试。

2016-07-07 12:54 回复了该问题
0
投票

请教个问题,大数据分析是怎么把传统RDBMS中的数据导到hadoop的,写代码实时获取数据?还是直接导库?

如楼上Bob大神所说,使用Sqoop,注意版本。具体可以参考我的博文: Sqoop导入实战:[url]https://ask.hellobi.com/blog/...

2016-07-05 17:18 回复了该问题
1
投票

mater节点的hmaster和slave节点的regionserver启动几秒钟后自动关闭了,求教育,谢谢~

先查看HBase的HMaster和HRegionServer的日志吧。 有这么几种可能: 1,ZK没配置好,或者没有正常运行 2,HBase本身没配置好 查看日...

2016-07-04 16:28 回复了该问题
1
投票

hadoop节点上,zookeeper-hbase服务如何分配?

方案1: ZK在集群的每个节点上都部署上,但最好保值节点单数个。 NN和DN是占据的,如果你的存储规模有那么大,全部部署,肯定要做一个HA吧,其余节点全部DN。...

2016-07-04 09:29 回复了该问题
0
投票

本科生毕业设计一个大数据的应用,求思路求大数据可做的应用?

没有毕设主题吗?可以有很多的吧,例如: 1,基于大数据的移动XXX系统, 2,数据挖掘类型的 3,数据可视化类型的 4,数据仓库建模类型的

2016-07-04 08:39 回复了该问题
0
投票

spark如何分析hdfs 的txt文件

sc.textFile("hdfs://master:port/....") txt的格式是什么就怎么读怎么分析

2016-07-02 12:51 回复了该问题
0
投票
0
投票

有关注APache Kylin的吗,一个hadoop上的OLAP引擎,在hadoop上实现数据仓库CUBE模型

迁移是OK的。我们正在试用中。 个人认为,Kylin就是为基于Hadoop、Hive的大数据平台而生的OLAP引擎,数据输入目前是来自Hive,后期版本的数据源...

2016-06-30 09:42 回复了该问题
0
投票

sqoop如何直接获得mysql的表结构啊?

具体表结构获取不到,只能获取MySQL中有哪些数据库,某个数据库中有哪些表,例如: sqoop list-tables --connect jdbc:mysql...

2016-06-30 09:39 回复了该问题
0
投票

请教下,提取文本标签,主题,情感分析都用些什么算法?

首先要分词,主要是命名实体识别。 可以用TFI-DF、LSA等算法

2016-06-29 08:26 回复了该问题
0
投票

天善的大神们,请问一下,我现在HADOOP的环境是2.7.1,是apache 的,我现在要下载sqoop,哪个版本较好一些呀,有没有版本限制呀。

1.4.6 OK的 我的Hadoop环境是Apache Hadoop2.7.2,推荐一下我的一篇关于Sqoop导入的博文: https://ask.hellob...

2016-06-29 08:22 回复了该问题
0
投票

spark部署选型问题

可以用Spark on Yarn,个人感觉主要看自己的需求和现有配置,很多Spark集群都基于已有的Hadoop集群做的,所以可以利用现有的HDFS做存储,YA...

2016-06-28 14:09 回复了该问题
0
投票

做传统etl怎样能找个大数据的工作呢?

面试时,建议你自己向面试人员了解清楚你将去做的工作是什么具体内容。也可以清楚的说明你要从传统ETL转向大数据ETL的工作,但是在此之前必须做好各种准备,仅仅是搭...

2016-06-28 09:16 回复了该问题
0
投票

Spark saveAsTextFile 怎么设置字符集啊

saveAsTextFile实际上使用了Hadoop中的Text(这个的编码字符是UTF-8),看一下下面的Source Code: [code]def sav...

2016-06-23 19:49 回复了该问题
0
投票

问一个问题 hbase 1.1 regionserver向master汇报失败 进程会退出?

是有这个可能的,结果就是RegionServer直接挂掉了。 可以在RegionServer节点上写一个监听程序,一旦RS挂了,在该节点直接启动RS

2016-06-23 19:40 回复了该问题

改版

反馈