MarsJ

大数据玩家~DS

始于: 2015-10-13

广东省 广州市

发私信

1580

总声望

216

次被推荐

0

粉丝

他的回答
排序:

0
投票

问个问题哈,假如hdfs中有10T数据,通过Hive来查询,此时要将hdfs中10T数据也入mysql,这样mysql是存不下10T数据啊,求解,是怎么个意思,没明白hdfs,hive,mysql三者具体的关系,求教,谢谢?

楼上Seng总解释清了MySQL作为元数据的问题。 还请注意,1,HDFS存储数据是有副本的,1T的数据,如果副本是3,则需要3T的空间;2,如果是把HDFS某...

2016-10-11 15:11 回复了该问题
0
投票

各位大神,请教个问题,这是啥错误了

jdk没装好吧

2016-11-30 14:14 回复了该问题
0
投票

Hadoop集群有一个机器DataNode(总共有1个master,2个slave )启动不了,怎么回事?求大神解答

首先可以查看该机器上的DataNode相关的日志找出错误信息分析,有可能的原因是该机器上的防火墙开着了,或SSH没做好,通信有问题,无法启动起来

2016-11-09 19:11 回复了该问题
0
投票

这是我之前搭建2.5.2的时候还可以的,今天我搭建2.7.3按照这个文档来就不行了

是在同一个集群上装的不同版本吗?

2016-11-30 14:16 回复了该问题
0
投票

求助HbaseUI上显示的这些waiting是什么意思

你是在做什么操作的时候发生的吧? Regionserver状态全部正常吗?

2016-11-09 19:11 回复了该问题
0
投票

sqoop如何直接获得mysql的表结构啊?

具体表结构获取不到,只能获取MySQL中有哪些数据库,某个数据库中有哪些表,例如: sqoop list-tables --connect jdbc:mysql...

2016-06-30 09:39 回复了该问题
0
投票

使用sqoop从MySQL导表到hive中

--hive-import --hive-database DBN 这里的DBN就是你想导入的某个Hive数据库  我前几天写的一篇博客描述的就是Sqoop导入...

2016-06-15 19:46 回复了该问题
0
投票

有关注APache Kylin的吗,一个hadoop上的OLAP引擎,在hadoop上实现数据仓库CUBE模型

迁移是OK的。我们正在试用中。 个人认为,Kylin就是为基于Hadoop、Hive的大数据平台而生的OLAP引擎,数据输入目前是来自Hive,后期版本的数据源...

2016-06-30 09:42 回复了该问题
0
投票

有没有用大数据的技术 hadoop hive这类来出报表进行数据监控的?

我把你的问题理解成是能进行数据监控、并且以报表形式展现的工具。   你可以看一下[b]Ambari[/b],能对大数据平台的多个组件服务(注意,不是大数据平台的...

2016-06-02 09:28 回复了该问题
0
投票

现在的工作中很少写mapreduce,但是我想自己提高一下写mapreduce的能力,请问有什么方法吗?

如果很少写,那就得写,找机会写。   例如,我的工作中如果以写Hive QL为主,那么我可以写MR来实现这些Hive QL的功能 就是这样去找机会练。。。

2016-06-02 09:30 回复了该问题
0
投票

运行一个mr作业往hbase里写数据,中途人为停止,然后有一个名为RunJar 的进程,通过kill -9 进程号,此进程已经看不到了,但是hbase里的写数据并没停止,还继续在写,这是怎么回事

确定该RunJar进程就是在往HBase里写数据的进程吗?MR作业号可以在配置的8088端口页面看到的。  

2016-06-02 09:32 回复了该问题
0
投票

大家 oracle里 的number(带小数点,不带小数点)类型 到hive里都映射成什么类型了? 要考虑精度问题

我一般是根据那个类型在Oracle中的含义或者大小来定的。   大多数情况下,有小数点的会按照number的精度映射成float或double,无小数点的情况下...

2016-06-02 09:39 回复了该问题
0
投票

请教,在hive中生成的parquet文件 和 impala生成的parquet文件相比,大小不一样,有知道原因的吗

源数据、生成方式都一样吗?是在同一台机器上吗?一般情况下是一样的

2016-08-31 09:18 回复了该问题
0
投票

如何向hadoop集群定时提交一个jar作业,哪位大神有shell脚本的模板吗

1、创建一个shell脚本文件test.sh,里面写上你要执行的jar作业执行命令:hadoop jar XXX.... 2、借助Linux的定时调度系统Cro...

2016-08-31 09:41 回复了该问题

改版

反馈