大数据

  从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。

2
推荐
2522
阅读

挖掘算法是什么?

“如何分辨出垃圾邮件”、“如何判断一笔交易是否属于欺诈”、“如何判断红酒的品质和档次”、“扫描王是如何做到文字识别的”、“如何判断佚名的著作是否出自某位名家...
2
推荐
2681
阅读

大数据时代 传统统计学依然是数据分析的灵魂

        来源:《 人民日报 》( 2015年07月20日 12 版)经笔者稍加整理        &n...
2
推荐
2966
阅读

机器学习、数据挖掘、人工智能、统计模型这么多概念有何差异?

“在各种各样的数据科学论坛上这样一个问题经常被问到——机器学习和统计模型的差别是什么?”这确实是一个难以回答的问题。考虑到机器学习和统计模型解决问题的...
2
推荐
4821
阅读

Hadoop应用、分布式架构、日志系统在Hadoop的应用及实现

吴文波bob今天先分享下我们在日志方面的一些处理方式。企业日志的几种情况:A.  服务器监控日志B.  内部应用程序日志C.  网站用户点击行为日...
2
推荐
2731
阅读

2015年12月18日晚8点半微信直播旅游行业之大数据创新、互联网+对传统旅游业带来的变化等交流会第八场

本期交流内容往期内容回顾【Friday BI Fly】2015年10月30日零售行业&BIEE技术微信直播文字版记录 【全程回放】 http://www.flybi.net/blog/tianshansoft...
2
推荐
2454
阅读

为什么这么多企业都要转型大数据或上云平台?

       标题来源于问答区里面一个朋友的问题,类似的问题在论坛里面谈的也比较多,其实答案很简单:时代趋势+业务发展。  &nb...
2
推荐
3652
阅读

【Friday BI Fly】2016年01月08日 阿里巴巴面包君分享金融行业如何利用大数据进行征信与风控管理微信直播文字版记录 【全程回放】

【公告】周五BI飞起来,天善商业智能BI社区每周五下午举办问答社区在线答疑活动,每周五晚上举办行业、厂商工具、技术相关的微信在线直播活动。【预告】这次...
2
推荐
2551
阅读

hadoop和MSTR连接配置及MSTR访问inceptor中数据

1、 把TranswarpJDBC包(TranswarpJDBC文件下)放到oracle jdbc目录(C:\oraclexe\app\oracle\product\11.2.0\server\jdbc\lib)下2、 安装odbc驱动( Transwa...
2
推荐
1644
阅读

胖子哥的大数据之路(二)- 大数据结构化数据存储应用模式

一、楔子  胖子哥是我网名,叫了很多年的网名,网名的来历与自己的沧桑和身材有关,不知是IT改变了我,显得苍老,还是我本就苍老,顺应了IT行业的需要。25...
2
推荐
1991
阅读

胖子哥的大数据之路(三)- 数据仓库的需求分析该怎么做

引言  基于大数据技术构建数据仓库平台,源于大数据技术本身的不成熟和普及度问题,以及辅助工具的缺失,注定了其实施过程与传统数据仓库的差异性,和更大...
2
推荐
1552
阅读

胖子哥的大数据之路(一)- 数据仓库也需要大数据

一、楔子  大数据传统企业实施,其路漫漫,绝不会如昙花一现,探索大数据在传统行业的实施之路,寻找一条适合传统行业的企业大数据实施方法体系,是我执着...
2
推荐
1651
阅读

胖子哥的大数据之路(十)- 基于Hive构建数据仓库实例

一、引言  基于Hive+Hadoop模式构建数据仓库,是大数据时代的一个不错的选择,本文以郑商所每日交易行情数据为案例,探讨数据Hive数据导入的操作实例。二、...
2
推荐
2165
阅读

胖子哥的大数据之路(十二)- 三张图告诉你大数据安全方案设计

一、引言:  最近一直很忙,在做一个全国性项目的IT架构,所以一直没有更新,好在算是告一段落,继续努力吧。项目沟通中过程客户反复在强调,大数据的安全...
2
推荐
1552
阅读

胖子哥的大数据之路(十五):互联网企业数据战略运营规划之总决式

一、总决      “天下武功唯快不败”,数据化运营战略在不同的行业、不同的企业之间是不同的,但是亦有其共性,即:快速的数据就绪和响应能力。...
2
推荐
5482
阅读

查看hdfs仓库文件时出现Permission denied

问题:在hdfs上运行hdfs dfs -ls /inceptorsql1/user/hive/warehouse出现如下错误:ls: Permission denied: user=root, access=READ_EXECUTE, inode="/incept...

1965 人关注

最佳回复者

改版

反馈