Hadoop

  Hadoop 是 Apache 软件基金会所研发的开放源码并行运算编程工具和分布式档案系统,与 MapReduce 和 Google 档案系统的概念类似

0
推荐
2058
阅读

Hadoop专业解决方案(12)-为Hadoop应用构建企业级的安全解决方案

一、前言:  非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,春节期间,项目进度有所延迟,不过元宵节以后大家已经步入正...
0
推荐
1748
阅读

Hadoop专业解决方案之翻译原书

《Wrox.Professional.Hadoop.Solutions》中文目录全稿前言最近有朋友给推荐一本书,英文原版《Wrox.Professional.Hadoop.Solutions》,感觉很好打算翻译成中...
0
推荐
1790
阅读

Hadoop专业解决方案(5)-开发可靠的MapReduce应用

本章主要内容:1、利用MRUnit创建MapReduce的单元测试。2、MapReduce应用的本地实例。3、理解MapReduce的调试。4、利用MapReduce防御式程序设计。在WOX.COM下...
3
推荐
1496
阅读

一篇文看懂Hadoop:风雨十年,未来何去何从

“ 我们很荣幸能够见证Hadoop十年从无到有,再到称王。感动于技术的日新月异时,希望通过这篇内容深入解读Hadoop的昨天、今天和明天,憧憬下一个十年。”...
1
推荐
3134
阅读

Hadoop专业解决方案(3)-MapReduce处理数据

前言:非常感谢团队的努力,最新的章节终于有了成果,因为自己的懒惰,好久没有最新的进展了,感谢群里兄弟的努力。本章主要内容:★理解MapReduce基本原理★了...
1
推荐
2625
阅读

Hadoop专业解决方案(1)-大数据和Hadoop生态圈

一、前言:  非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第1章 大数据和Ha...
0
推荐
1653
阅读

Hadoop专业解决方案(13)-Hadoop的发展趋势

一、前言:  非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第13章 Hadoop的...
0
推荐
1608
阅读

Hadoop专业解决方案之构建Hadoop企业级应用

一、大数据的挑战  大数据面对挑战是你必须重新思考构建数据分析应用的方式。传统方式的应用构建是基于数据存储在不支持大数据处理的基础之上。这主要是因...
0
推荐
1819
阅读

一张图测试你的Hadoop能力-Hadoop能力测试图谱

1.引言  看到一张图,关于Hadoop技术框架的图,基本上涉及到Hadoop当前应用的主要领域,感觉可以作为测试Hadoop开发人员当前能力和水平的比较好的一个工具...
0
推荐
1521
阅读

基于Hadoop开发网络云盘系统(二)-客户端界面设计初稿

前言:  本文是《基于Hadoop开发网络云盘系统(一)-架构设计方案》的第二篇,针对界面原型原本考虑有两个方案:1、类windows模式,文件夹、文件方式,操作...
0
推荐
2630
阅读

基于Hadoop开发网络云盘系统(一)-架构设计方案

引言  云计算技术的发展,各种网络云盘技术如雨后春笋,层出不穷,百度、新浪、网易都推出了自己的云盘系统,本文基于开源框架Hadoop设计实现了一套自己的...
0
推荐
1684
阅读

基于Hadoop的云盘系统客户端技术难点之三 小文件存储优化

一、概述首先明确概念,这里的小文件是指小于HDFS系统Block大小的文件(默认64M),如果使用HDFS存储大量的小文件,将会是一场灾难,这取决于HDFS的实现机制...
0
推荐
1484
阅读

基于Hadoop的云盘系统客户端技术难点之二 HDFS文件访问控制

一、概述   Hadoop开源技术框架在实际业务应用中,其早期的安全机制饱受诟病,具体到HDFS应用方面的问题,主要包括以下几个方面: 1.用户到服务器的认证...
0
推荐
1549
阅读

基于Hadoop的云盘系统客户端技术难点之一 上传和下载效率优化

一、概述  基于任何平台实现的云盘系统,面临的首要的技术问题就是客户端上传和下载效率优化问题。基于Hadoop实现的云盘系统,受到Hadoop文件读写机制的影...
0
推荐
1400
阅读

基于Hadoop的云盘系统客户端技术选型说明

 伴随云计算技术的发展,云盘系统不断涌现,百度、360、金山等都推出了各自的云盘产品,而云盘存储的模式也越来越被用户所接受,也有越来越多的公司跃跃欲试...

1102 人关注

最佳回复者

改版

反馈