Spark

  Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算， 拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS， 因此Spark能更 好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法

4
投票
13
已解决
22434
浏览

超级菜鸟怎么学习数据分析？数据挖掘、工具、技术、所需知识点等？

2018-01-08 14:44 提问
0
投票
3
已解决
6897
浏览

spark是用Scala来写的，为什么Scala语言没火起来

2016-10-13 09:41 提问
0
投票
1
已解决
1613
浏览

最近有需求，需要使用python在Spark平台上重新实现mllib包中的协同过滤推荐算法，不知道有没有大神做过这方面的研究？直接阅读scala源码然后照着搬，还是有其他什么好的路径？

2016-10-06 20:10 提问
0
投票
1
已解决
1480
浏览

Hi，各位早。请问spark上有模糊C均值算法或者任意的模糊聚类算法么

2016-09-21 09:32 提问
0
投票
1
已解决
1212
浏览

有没有一个框图介绍spark，hadoop mapreduce，yarn，samza等之间的关系呢？

2016-09-20 09:33 提问
0
投票
1
已解决
1563
浏览

Spark如何自学，有哪些小型的项目或者练习？

2016-09-19 18:47 提问
0
投票
1
已解决
998
浏览

谁做过spark项目，在生产上，spark作业如何配置调度作业，并提交作业到集群

2016-09-14 10:27 提问
0
投票
1
已解决
1401
浏览

当要处理的文件远大于内存时，spark是如何解决的？此时会比mapreduce快吗?如何保证的？

2016-09-13 09:33 提问
0
投票
1
已解决
1459
浏览

请教各位大神，JAVA语言，自己写个函数，在spark程序中可以调用吗，如果能的话，用的是org.apache.spark.api.java.function这个接口来实现吗？能否提供具体的样例呢？这样实现的函数是并行计算的吗？

2016-09-09 19:47 提问
0
投票
1
已解决
2660
浏览

spark如何做权限控制，让不同的用户看到不同的表？

2016-09-09 19:48 提问
0
投票
1
已解决
1026
浏览

请教个问题，spark WordCount 怎么根据词频排

2016-09-07 15:57 提问
0
投票
2
已解决
4641
浏览

谁有Spark大数据分析实战的pdf版本？谢谢！

2016-09-01 15:11 提问
0
投票
1
已解决
1075
浏览

问个问题，scala循环遍历的时候，在循环外有一个变量，循环里改变这个变量的值，在本地使用local的时候没问题，但是放到spark集群上，这个变量就取不到值了，是不是并行计算导致的？

2016-08-23 10:00 提问
0
投票
1
已解决
1119
浏览

spark平台直接搭建比较好 还是在Hadoop基础上比较好

2016-08-22 11:29 提问
0
投票
0
回答
1387
浏览

spark中的TFIDF的结果集每项参数是什么？

2016-08-23 10:56 提问
0
投票
2
回答
1268
浏览

请问各位大神sparksql里带有字符'@'怎么处理？

2016-08-15 14:50 提问

相关话题

887 人关注

最佳回复者

改版

反馈