MarsJ

大数据玩家~DS

始于: 2015-10-13

广东省 广州市

发私信

1580

总声望

216

次被推荐

0

粉丝

他的回答
排序:

0
投票

各位大神问个问题是不是hbase得所有Regionserver节点上都要安装zookeeper

不安装没事,HBase自带了ZooKeeper了,启动HBase的时候默认会启动HBase自带的ZK

2016-09-09 10:26 回复了该问题
0
投票

请教个问题,想问下大家大数据目前在哪些方向用得比较好?产生的价值比较大

以互联网为例的电商、社交、游戏、广告、推荐都用的比较多比较好。 目测除了某些传统行业还没有完全把数据价值发挥出来,其他行业都用上了吧。有些传统行业由于数据太小不...

2016-08-27 10:57 回复了该问题
0
投票

谁知道如何将HDFS的多盘挂载整合成一个大的硬盘然后通过nfs挂载给别的服务器使用

试试Fuse,可以把HDFS变成一个可直接像访问Linux文件系统中的一个目录。访问时不需要hdfs dfs,而是直接通过Linux的命令去访问,要提供给其他服...

2016-09-09 10:29 回复了该问题
0
投票

有谁知道spark是否可以直接从eclipse下的程序直接提交到linux上部署的yarn集群执行吗

目测需要打包上传。。。

2016-08-27 10:58 回复了该问题
0
投票

hive中没有类似oracle 的months_between这种函数啊?

有的,double months_between(date1, date2) 具体请参考Hive的官方手册:https://cwiki.apache.org/c...

2016-08-27 11:01 回复了该问题
0
投票

请教群里hadoop大神一个问题 如何自动导入文件到HDFS 我们的架构是这样的

直接在Linux上用crontab定时调度就可以了。 可以关注大数据系列课程,目前正在进行的是Sqoop系列,未来几天应该会出Sqoop导入数据。

2016-09-29 16:23 回复了该问题
0
投票

hive show databases 报错

HDFS正常启动了吗?Metastore的服务起来吗?

2016-09-29 16:24 回复了该问题
0
投票

spark如何做权限控制,让不同的用户看到不同的表?

可实现的一种方式是在Hive那一层做权限控制,或在HDFS层对目录做访问权限控制。 Kerberos等方案不是很清楚,没有时间经验。

2016-09-10 13:18 回复了该问题
0
投票

请教各位大神,JAVA语言,自己写个函数,在spark程序中可以调用吗,如果能的话,用的是org.apache.spark.api.java.function这个接口来实现吗?能否提供具体的样例呢?这样实现的函数是并行计算的吗?

首先,可以在Spark中Java写函数,这样的程序在分布式Spark的环境下是并行计算的。 然后,在Spark中写Java,用到了什么就import什么,例如J...

2016-09-10 13:27 回复了该问题
0
投票

sqoop支持所有关系型数据库吗?还是只支持部分,例如mysql、oracal、mssql?

应该是支持所有绝大部分关系型数据库吧。

2016-07-23 14:34 回复了该问题
0
投票

大数据这块跟开发的关系是怎样的?感觉现在有些企业在打着大数据的旗号招开发的人,目前市面上的编程语言以哪种需求最高,java,python,还是什么?

Hadoop主要以Java为主。 Spark主要以Scala为主,但是还有Python、R和Java都有较多的使用。

2016-07-11 10:10 回复了该问题
0
投票

请问各位大神sparksql里带有字符'@'怎么处理?

使用转义字符

2016-08-17 10:54 回复了该问题
0
投票

把MySQL中的数据导入到hive中 id行数 增加了 是为什么? 大家有遇到过这样的情况吗

楼主使用的是增量导入吗?或者是采用的导入到HDFS目录的方式,这种方式有可能导致的结果是数据直接附加(Append),这样昨天导入id为1-10的,今天照样会导...

2016-07-11 10:12 回复了该问题
0
投票

新人求指导:spark on mesos 还是 spark on yarn? 请问大家一般都用哪种模式?

如果你的集群比较单一,只跑Spark,可以使用Spark Standalone,如果集群本身在做Spark之前就使用YARN之类的,那么可以根据需要去使用Spa...

2016-08-17 10:55 回复了该问题

改版

反馈