MarsJ

大数据玩家~DS

始于: 2015-10-13

广东省 广州市

发私信

1580

总声望

216

次被推荐

0

粉丝

他的回答
排序:

1
投票

hive语句如何女把10位的date格式,转成8位

如果日期格式比较规定,还可以把‘-’替换成‘’间接起到删除的作用,替换函数时regexp_replace,3个参数,第一个是要替换的字段,第二个是要替换的字段中...

2017-01-16 15:09 回复了该问题
1
投票

Hadoop 在写数据的时候,比如a文件学到A数据块,数据备份的时候会将数据复制到B,C块,如果这时候b文件写到A数据块,这个数据备份事怎么处理呢,继续往B,C写还是可以随机写到D,E块?

A文件写到A数据块、B文件写到A数据块,这种说法应该是不正确的。只能说一个文件会根据其大小被切分成几块,假设集群的块大小被设置成64M,若A文件的大小是120M...

2016-08-31 09:32 回复了该问题
1
投票

外部表管理组,创建提供程序时找不到BISQLGroupProvider

此问题已解决,原本的参考文档是官方文档的Security Guide,后来在根据11g的文档在11g环境测试了,可以找到BISQLGroupProvider,然...

2015-11-05 14:44 回复了该问题
1
投票

hadoop、python、Oracle 哪个前景好?

你好,你提到的Hadoop、Python、Oracle功能和本质不一样。 Hadoop是目前比较流行的大数据平台,并且Spark是这方面的后起之秀,人气超强; ...

2016-07-27 14:22 回复了该问题
1
投票

请教一下,spark sql能查询到大数据大家前端一般用什么工具展示呢?

可以自己写一套前端可视化工具; 也可以使用开源的工具,例如Pentaho,Zepplin等,后者是Apache的孵化项目,支持多种查询(shell/hive/s...

2016-07-15 08:26 回复了该问题
1
投票

想请教一个问题,我在linux上把hadoop的命令写成shell脚本,自己在命令行可以正常执行,但是放在crontab里面没有输出结果,试了好多次了

放在Shell脚本后,该shell脚本执行时会有自己的环境变量,应该要在脚本前部分加入该加入的环境变量,例如$HAODOP_HOME之类

2016-10-26 19:06 回复了该问题
1
投票

hadoop节点上,zookeeper-hbase服务如何分配?

方案1: ZK在集群的每个节点上都部署上,但最好保值节点单数个。 NN和DN是占据的,如果你的存储规模有那么大,全部部署,肯定要做一个HA吧,其余节点全部DN。...

2016-07-04 09:29 回复了该问题
1
投票

hdfsbolt(storm写hdfs)访问集群名错误,访问某个namenode就ok,为啥?

withFsUrl()中的参数就是HDFS集群的位置,例如你的集群在192.168.130.1,那么就应该是hdfs://192.168.130.1:portn...

2016-09-19 14:30 回复了该问题
1
投票

mater节点的hmaster和slave节点的regionserver启动几秒钟后自动关闭了,求教育,谢谢~

先查看HBase的HMaster和HRegionServer的日志吧。 有这么几种可能: 1,ZK没配置好,或者没有正常运行 2,HBase本身没配置好 查看日...

2016-07-04 16:28 回复了该问题
1
投票

hiveserver2 和 metastore 的关系和区别是 什么

hiveserver2是你写的程序连接到Hive的一个服务,默认和Iveserver2是10000端口,那么你的代码里要指明和和hiveserver2运行的机器...

2016-09-20 10:12 回复了该问题
1
投票

有没有一个框图介绍spark,hadoop mapreduce,yarn,samza等之间的关系呢?

可以参考一下[url]https://edu.hellobi.com/course/93[/url] 这个课程当中的开源组件介绍,除了samza之外,其他都有提...

2016-09-20 10:13 回复了该问题
1
投票

flume或chukwa采集了数据,直接进hdfs,这样肯定是许多较小的文件,有各自的命名吧?这样的话,后期的mapreduce,怎么对这些文件操作?

此时需要进行HDFS的小文件合并,根据小文件数目定期合并。

2016-07-29 09:00 回复了该问题
1
投票

在一台没装hadoop的机器的文件,怎么传到hdfs里。有哪些大神指导下

可以不装Hadoop,但是必须要有Hadoop的相关包(例如执行hdfs dfs所用),否则如何使用hdfs dfs -ls等命令呢? 所以建议拷贝一份Hado...

2016-06-06 10:27 回复了该问题
1
投票

Hadoop2有什么好的性能分析工具,求推荐

有使用Ganglia+Nagios的组合,这俩都是做监控的,Ganglia对服务器性能做监控,Nagios可以加上对Hadoop、HBase等的具体服务进程(如...

2016-06-06 10:35 回复了该问题
1
投票

进入pyspark报错了,求救啊?

在/etc/hosts中,127.0.0.1   localhost localhost.localdomain localhost4 localhost4.l...

2016-06-21 14:19 回复了该问题

改版

反馈