Spark

  Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算， 拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS， 因此Spark能更 好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法

4
投票
13
已解决
20639
浏览

超级菜鸟怎么学习数据分析？数据挖掘、工具、技术、所需知识点等？

2018-01-08 14:44 提问
0
投票
1
已解决
1252
浏览

有人能大概的解释下类似于hadoop spark这些东西 预编译和源码安装的区别主要是在哪

2017-03-03 09:59 提问
0
投票
0
回答
974
浏览

大神有没有pyspark三到四个节点的集群搭建的文档？求分享

2017-03-14 10:51 提问
0
投票
0
回答
1091
浏览

咨询下各位大大，目前Spark中还缺少哪些机器学习算法实现？做毕业设计要用到的

2017-03-14 10:28 提问
0
投票
0
回答
962
浏览

Spark的MLlib中SVM的核函数为什么只支持线性核，其他如高斯核函数都不能支持呢？

2017-03-13 11:13 提问
0
投票
2
回答
1288
浏览

能否在本地连接到spark集群进行计算，不用将程序打包到hdfs，求方案

2017-02-27 12:32 提问
0
投票
0
回答
1015
浏览

目前公司要用上SnappyDataInc/snappydata ，问下解决了Spark应用的哪些痛点？实际应用效果如何？

2017-03-08 15:06 提问
0
投票
1
回答
818
浏览

请教大家 sparkstreaming处理的过程中 怎么去mysql更新状态 比如每十秒更新一条记录

2017-03-07 16:04 提问
0
投票
0
回答
841
浏览

spark-submit 进行spark调优的一些疑问

2017-03-07 11:54 提问
0
投票
1
回答
1079
浏览

求助! 怎么把Rdd的三个字段,比如a,b,c变成 a,(a,b,c)这样的Rdd[string,string] ?

2017-03-04 11:59 提问
0
投票
0
回答
1127
浏览

各位大佬谁有Spark读取MongoDB的范例说明

2017-03-03 09:42 提问
0
投票
1
已解决
988
浏览

Spark当前的参数配置，是通过用户自己配置，这个要拼接自己的经验来配置才能让应用运行的效果达到最佳。那有没有办法可以实现自动化的配置？谢谢

2017-03-01 10:54 提问
0
投票
1
回答
858
浏览

求助，spark sql 任务执行的时候一致报这个错，该如何解决啊

2017-02-28 17:46 提问
0
投票
1
已解决
1726
浏览

spark streaming监控目录，程序有时会自动中断（如出现异常），如何启动重新运行

2017-02-27 15:36 提问
0
投票
1
已解决
1315
浏览

如何设置spark中每个stage的task数目

2017-02-22 09:47 提问
0
投票
0
回答
2006
浏览

有没有人用过spark处理mongodb的数据，我怎么感觉读取速度很慢，有没有什么需要特殊注意的地方？

2017-02-23 14:08 提问

相关话题

887 人关注

最佳回复者

改版

反馈