Spark

  Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算, 拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS, 因此Spark能更 好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法

7
推荐
354
阅读

windows下虚拟机配置spark集群最强攻略!

1、虚拟机安装首先需要在windows上安装vmware和ubuntu虚拟机,这里就不多说了vmware下载地址:直接百度搜索,使用百度提供的链接下载,这里附上一个破解码5A0...
0
推荐
120
阅读

数据开发系列篇(3):spark实战高手之路(一):如何搭建spark集群 面包君

从零起步,构建Spark集群经典四部曲:第一步:搭建Hadoop单机和伪分布式环境;第二步:构造分布式Hadoop集群;第三步:构造分布式的Spark集群;第四步:测试S...
3
推荐
142
阅读

在 Spark 中使用 IPython Notebook

本文是从 IPython Notebook 转化而来,效果没有本来那么好。主要为体验 IPython Notebook。至于题目,改成《在 IPython Notebook 中使用 Spark》也可以,没什...
0
推荐
107
阅读

轻量级OLAP(一):Cube计算

有一个数据多维分析的任务:日志的周UV;APP的收集量及标注量,TOP 20 APP(周UV),TOP 20 APP标注分类(周UV);手机机型的收集量及标注量,TOP 20 机型(周U...
3
推荐
257
阅读

Idea下使用maven打包可执行jar包并小案例演示

这一阵子在学习spark,有些本地执行不了,需要到集群上才能执行,奈何打包后的jar包放到集群上跑后一直找不到主类,折腾了好一会才搞出来,所以来此记录一下...
2
推荐
160
阅读

Scala学习总结(一)

Scala是Spark的原生语言,读懂Spark源码的先前条件就是要学会Scala,因此scala学习是重要的。最近一周学习量大,主要是观看中华石杉老师的视频和快学scala这...
3
推荐
247
阅读

Spark学习总结(一)

最近一周学习了scala编程基础和spark核心编程,现主要对所学的spark部分做个总结。RDD及其特点1、RDD是Spark的核心数据模型,但是个抽象类,全称为Resillient...
2
推荐
314
阅读

在阿里云上搭建 Spark 实验平台

之前在自己的笔记本上运行 Python 代码,有些要运行一天多,一关机就前功尽弃,很不方便,所以才有租用阿里云服务器的想法,用了同学租的一台用了两天又觉得...
3
推荐
178
阅读

spark与hadoop

在网上摘取的一些关于两者的对比,待增加。。sparkSpark是小数据集上处理复杂迭代的交互系统,并不擅长大数据集,也没有稳定性。但是最近的风评已经变化,尤...
2
推荐
232
阅读

Sparklyr 0.5 已在CRAN正式发布

Sparklyr 0.5 包已经在CRAN正式发布,新的版本在以下几个方面做了优化:1)加强对dplyr支持,如do( )和n_distinct( )2)增加新的函数,如sdf_quantile( )、ft...
3
推荐
418
阅读

ELK 在 Spark 集群的应用

概述大数据处理技术越来越火,云计算平台也如火如荼,二者犹如 IT 列车的两个车轮,相辅相成,高速发展。如果我们将大数据处理平台比作一个可能会得病的人的话,...
4
推荐
479
阅读

使用scala开发spark入门总结

一、spark简单介绍关于spark的介绍网上有很多,可以自行百度和google,这里只做简单介绍。推荐简单介绍连接:http://blog.jobbole.com/89446/1、  ...
1
推荐
233
阅读

spark2.0中求最值,平均值,TopN编写

对比MR,spark编写计算要简洁很多,代码如下:import org.apache.spark.sql.SparkSession object App { def main(args: Array[String]): Unit = { /...
1
推荐
262
阅读

基于spark和hive的thrift server的代理中间件开发

1.hive环境0.132.实现功能通过启动代理的thrift server服务,能够分发到实际启动的spark thrift,使spark thrift 服务不会是指定用户访问,交由代理层控制。3...
3
推荐
695
阅读

最全的Spark基础知识解答

一. Spark基础知识 1.Spark是什么?UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架。dfsSpark基于mapreduce算法实现的分布式计算,拥...

97 人关注

最佳回复者

改版

反馈