regan

run! run! run! happy runner! 我是奔跑的小米~

始于: 2017-02-15

四川省 成都市

发私信

30

总声望

12

次被推荐

0

粉丝

他的回答
排序:

0
投票

hive的启动问题。

message:Could not connect to meta store using any of the URIs provided. Most rec...

2017-03-14 09:52 回复了该问题
0
投票

请教大家 sparkstreaming处理的过程中 怎么去mysql更新状态 比如每十秒更新一条记录

SparkStreaming中使用SparkSql,将RDD转换为DataFrame,利用其上的高层API将结果保存到Mysql,指定SaveMode是Over...

2017-03-08 13:46 回复了该问题
1
投票

求助! 怎么把Rdd的三个字段,比如a,b,c变成 a,(a,b,c)这样的Rdd[string,string] ?

xxx.map(data=>(a,(a,b,c)))

2017-03-06 10:41 回复了该问题
0
投票

hive查询中毫秒转换为日期用哪个函数?

日期函数UNIX时间戳转日期函数: from_unixtime语法:   from_unixtime(bigint unixtime[, string form...

2017-03-02 10:44 回复了该问题
0
投票

Spark当前的参数配置,是通过用户自己配置,这个要拼接自己的经验来配置才能让应用运行的效果达到最佳。那有没有办法可以实现自动化的配置?谢谢

在Spark里面要根据你的作业使用资源的情况,合理的配置资源才行。目前Spark的资源配置还没有这么智能,需要根据经验来合理的进行配置,当然你也可编写程序,根据...

2017-03-01 14:05 回复了该问题
0
投票

进入hive输入任何命令报错

1.检查环境变量配置了吗? 2.检查安装包是否损坏,可以尝试重新 配置安装

2017-03-01 10:31 回复了该问题
0
投票

WordCount运行不起来

报错很明显,没有将jar包含,应该有个API设置jar包,好像是setJar,没有jar包怎么能执行喃?具体怎么设置自行百度吧,智能帮你到这里了

2017-03-01 10:29 回复了该问题
1
投票

MapReduce Unexpected end of input stream怎么解决?

这种情况一般是程序有BUG

2017-03-01 10:27 回复了该问题
1
投票

配置centos后总是ping不通主机,但是主机可以ping到虚拟机

1.检查你虚拟机的 防火墙,关闭防火墙 2.看虚拟机和你的电脑在不在同一个网段 3.建议使用桥接模式 4.建议配置static IP,防止 重新启动IP发生变化...

2017-03-01 10:25 回复了该问题
1
投票

求助,spark sql 任务执行的时候一致报这个错,该如何解决啊

你是查hive表?查hive表,那首先你要在你的$SPARK_HOME/conf目录下加入你的hive的hive-site.xml配置文件。然后初始化Spark...

2017-03-01 08:11 回复了该问题
0
投票

能否在本地连接到spark集群进行计算,不用将程序打包到hdfs,求方案

当然可以,你本地作为Driver节点,任务分发到集群上去执行。程序中指定master就可以了

2017-02-28 08:42 回复了该问题
0
投票

spark streaming监控目录,程序有时会自动中断(如出现异常),如何启动重新运行

写个脚本判断是否有这个进程,如果没有重新启动~。当然如果你的SparkStreaming监控HDFS目录出现异常,说明的你程序本身的稳定性不好,最好做try c...

2017-02-28 08:40 回复了该问题
0
投票

spark程序运行报错找不到sparksql的方法

Spark_SQL是构建在SparkCore之上的,必须加上Spark-core的依赖~

2017-02-23 10:58 回复了该问题

改版

反馈