Hadoop

  Hadoop 是 Apache 软件基金会所研发的开放源码并行运算编程工具和分布式档案系统,与 MapReduce 和 Google 档案系统的概念类似

0
推荐
2092
阅读

BIEE 11G控制台乱码解决

BIEE 11.1.1.6 安装 (patch 到 11.1.1.6.2)一,用 RCU 创建资料库 D:\setup\BIEE11.1.6\rcuHome\BIN\rcu.bat,使用运行 dba 权限用户创建资料库用户选择 Oracle...
0
推荐
2130
阅读

Hadoop在大数据处理时的优劣势分析

在近两年,大数据分析似乎很受欢迎,但即使如此,仍有不少企业发现,现有的数据挖掘和分析技术还是不能完美胜任大数据的处理任务。而对于这个问题,一个可能...
0
推荐
1418
阅读

基于Hadoop的云盘系统客户端技术选型说明

 伴随云计算技术的发展,云盘系统不断涌现,百度、360、金山等都推出了各自的云盘产品,而云盘存储的模式也越来越被用户所接受,也有越来越多的公司跃跃欲试...
0
推荐
1565
阅读

基于Hadoop的云盘系统客户端技术难点之一 上传和下载效率优化

一、概述  基于任何平台实现的云盘系统,面临的首要的技术问题就是客户端上传和下载效率优化问题。基于Hadoop实现的云盘系统,受到Hadoop文件读写机制的影...
0
推荐
1507
阅读

基于Hadoop的云盘系统客户端技术难点之二 HDFS文件访问控制

一、概述   Hadoop开源技术框架在实际业务应用中,其早期的安全机制饱受诟病,具体到HDFS应用方面的问题,主要包括以下几个方面: 1.用户到服务器的认证...
0
推荐
1719
阅读

基于Hadoop的云盘系统客户端技术难点之三 小文件存储优化

一、概述首先明确概念,这里的小文件是指小于HDFS系统Block大小的文件(默认64M),如果使用HDFS存储大量的小文件,将会是一场灾难,这取决于HDFS的实现机制...
0
推荐
2669
阅读

基于Hadoop开发网络云盘系统(一)-架构设计方案

引言  云计算技术的发展,各种网络云盘技术如雨后春笋,层出不穷,百度、新浪、网易都推出了自己的云盘系统,本文基于开源框架Hadoop设计实现了一套自己的...
0
推荐
1541
阅读

基于Hadoop开发网络云盘系统(二)-客户端界面设计初稿

前言:  本文是《基于Hadoop开发网络云盘系统(一)-架构设计方案》的第二篇,针对界面原型原本考虑有两个方案:1、类windows模式,文件夹、文件方式,操作...
0
推荐
1830
阅读

一张图测试你的Hadoop能力-Hadoop能力测试图谱

1.引言  看到一张图,关于Hadoop技术框架的图,基本上涉及到Hadoop当前应用的主要领域,感觉可以作为测试Hadoop开发人员当前能力和水平的比较好的一个工具...
0
推荐
1626
阅读

Hadoop专业解决方案之构建Hadoop企业级应用

一、大数据的挑战  大数据面对挑战是你必须重新思考构建数据分析应用的方式。传统方式的应用构建是基于数据存储在不支持大数据处理的基础之上。这主要是因...
0
推荐
1770
阅读

Hadoop专业解决方案之翻译原书

《Wrox.Professional.Hadoop.Solutions》中文目录全稿前言最近有朋友给推荐一本书,英文原版《Wrox.Professional.Hadoop.Solutions》,感觉很好打算翻译成中...
0
推荐
2087
阅读

Hadoop专业解决方案(12)-为Hadoop应用构建企业级的安全解决方案

一、前言:  非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,春节期间,项目进度有所延迟,不过元宵节以后大家已经步入正...
0
推荐
1831
阅读

Hadoop专业解决方案(5)-开发可靠的MapReduce应用

本章主要内容:1、利用MRUnit创建MapReduce的单元测试。2、MapReduce应用的本地实例。3、理解MapReduce的调试。4、利用MapReduce防御式程序设计。在WOX.COM下...
0
推荐
1668
阅读

Hadoop专业解决方案(13)-Hadoop的发展趋势

一、前言:  非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第13章 Hadoop的...
0
推荐
1490
阅读

Hadoop2.2.0 eclipse插件编译及Ecliipse配置说明(图文版)

一、引言:  最近在做一个城商行项目的POC测试it版本,涉及到编译Linux64bti的源码和开发插件使用,作为笔记分享给大家。二、插件编译  Hadoop2x版本的Ec...

1102 人关注

最佳回复者

改版

反馈