Spark

  Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算, 拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS, 因此Spark能更 好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法

2
推荐
60
阅读

spark2.x源码阅读之SparkSubmit

        通常spark程序提交通过bin/spark-submit.sh,而在shell中调用的是org.apache.spark.deploy.SparkSubmit,阅读代码如下:1.Spark...
2
推荐
123
阅读

spark环境搭建

准备工作 一套搭建好的hadoop环境下载scala、spark安装包1、安装scalatar -xzvf scala-2.12.3.tgz2、安装sparktar -xzvf spark-2.2.0-bin-had...
2
推荐
96
阅读

[Apache Spark][基本架构] RDD特性(一)

万丈高楼平地起,要熟悉Spark就得熟悉RDD,要熟悉RDD,就是要看Doc.当我们对RDD做运算时,其实都会产生不同的RDD.RDD的官方文件(http://spark.apache.org/...
7
推荐
544
阅读

windows下虚拟机配置spark集群最强攻略!

1、虚拟机安装首先需要在windows上安装vmware和ubuntu虚拟机,这里就不多说了vmware下载地址:直接百度搜索,使用百度提供的链接下载,这里附上一个破解码5A0...
0
推荐
201
阅读

数据开发系列篇(3):spark实战高手之路(一):如何搭建spark集群 面包君

从零起步,构建Spark集群经典四部曲:第一步:搭建Hadoop单机和伪分布式环境;第二步:构造分布式Hadoop集群;第三步:构造分布式的Spark集群;第四步:测试S...
3
推荐
189
阅读

在 Spark 中使用 IPython Notebook

本文是从 IPython Notebook 转化而来,效果没有本来那么好。主要为体验 IPython Notebook。至于题目,改成《在 IPython Notebook 中使用 Spark》也可以,没什...
0
推荐
146
阅读

轻量级OLAP(一):Cube计算

有一个数据多维分析的任务:日志的周UV;APP的收集量及标注量,TOP 20 APP(周UV),TOP 20 APP标注分类(周UV);手机机型的收集量及标注量,TOP 20 机型(周U...
3
推荐
425
阅读

Idea下使用maven打包可执行jar包并小案例演示

这一阵子在学习spark,有些本地执行不了,需要到集群上才能执行,奈何打包后的jar包放到集群上跑后一直找不到主类,折腾了好一会才搞出来,所以来此记录一下...
2
推荐
234
阅读

Scala学习总结(一)

Scala是Spark的原生语言,读懂Spark源码的先前条件就是要学会Scala,因此scala学习是重要的。最近一周学习量大,主要是观看中华石杉老师的视频和快学scala这...
3
推荐
328
阅读

Spark学习总结(一)

最近一周学习了scala编程基础和spark核心编程,现主要对所学的spark部分做个总结。RDD及其特点1、RDD是Spark的核心数据模型,但是个抽象类,全称为Resillient...
2
推荐
373
阅读

在阿里云上搭建 Spark 实验平台

之前在自己的笔记本上运行 Python 代码,有些要运行一天多,一关机就前功尽弃,很不方便,所以才有租用阿里云服务器的想法,用了同学租的一台用了两天又觉得...
3
推荐
202
阅读

spark与hadoop

在网上摘取的一些关于两者的对比,待增加。。sparkSpark是小数据集上处理复杂迭代的交互系统,并不擅长大数据集,也没有稳定性。但是最近的风评已经变化,尤...
2
推荐
290
阅读

Sparklyr 0.5 已在CRAN正式发布

Sparklyr 0.5 包已经在CRAN正式发布,新的版本在以下几个方面做了优化:1)加强对dplyr支持,如do( )和n_distinct( )2)增加新的函数,如sdf_quantile( )、ft...
3
推荐
473
阅读

ELK 在 Spark 集群的应用

概述大数据处理技术越来越火,云计算平台也如火如荼,二者犹如 IT 列车的两个车轮,相辅相成,高速发展。如果我们将大数据处理平台比作一个可能会得病的人的话,...
4
推荐
545
阅读

使用scala开发spark入门总结

一、spark简单介绍关于spark的介绍网上有很多,可以自行百度和google,这里只做简单介绍。推荐简单介绍连接:http://blog.jobbole.com/89446/1、  ...

159 人关注

最佳回复者

改版

反馈