Bob

同程旅游大数据+BI 架构师

始于: 2015-09-29

江苏省 苏州市

发私信

250

总声望

142

次被推荐

105

粉丝

他的回答
排序:

3
投票

A. Hadoop + Hive B. GreenPlum + PostGreSQL 大数据存储,这两个方案各有什么特点啊

 A. Hadoop + Hive  支持新增节点,过程中不需要重启 支持jdbc访问hive数据库 支持sql的方式获取数据 在技术过程中,数据是以批量的方式...

2015-11-30 13:25 回复了该问题
3
投票

如何自动部署Analysis Services2008项目?

1.使用SSIS+ SQL Agent代理来完成自动部署 2.使用C#编程,通过ascmd.net来访问cube,并完成部署功能

2015-11-13 13:07 回复了该问题
2
投票

如何给一个博客程序设计mongodb数据库?

mongodb是自动分片,可以不需要参考mysql的分表。 mongodb的文档大小是16m,这个在存储你的文章或附件时需要考虑下。 最简单的内嵌结构: {  ...

2015-11-10 13:34 回复了该问题
2
投票

可以使用交换机的组播技术优化 hadoop 数据传输吗?

Hadoop集群的数据传输不能简单地理解是加快速度。 集群里面的数据在内部是数据块 你上传的一个文件,有可能会被分割为好几个数据块。   组播技术在Hadoop...

2015-11-24 13:40 回复了该问题
2
投票

Spark目前的瓶颈在哪里,还有希望解决么?

spark的任务调度方面可以选择配置yarn作为计算框架。 在任务依赖调度方面可以使用oozie来完成。最新版本的oozie工作流软件中有spark actio...

2015-10-29 19:35 回复了该问题
2
投票

当Data Flow Task中报错时,怎么得到ErrorColumn Name

在你的脚本任务控件中插入如下代码: Dictionary<int, string> lineageIds = null; public void ...

2016-01-28 21:08 回复了该问题
2
投票

请问,hbase表的数据是存储在hadoop的datanode 存在哪里,谢谢

hbase的数据本质上是存储在Hadoop的 datanode中。 但不是普通的hdfs文件存储。 hbase有自己的存储,包括HMaster、HRegionS...

2015-10-30 09:42 回复了该问题
2
投票

哪位大神做过用Spark合并多个parquet文件,求个思路

可以在save前调用coalesce(1)方法 val rows = parquetFile(...).coalesce(1) rows.saveAsParqu...

2015-10-26 11:37 回复了该问题
2
投票

hive如何按某一字段分组取最大(小)值所在行的数据?

hive中有row_number() 函数可以做到. 在hive 0.13上的版本中应该有,此版本中提供了几个窗口函数

2015-11-18 17:20 回复了该问题
2
投票

如何将在java web 页面上的hbaseshell 命令远程传给hbase集群执行

没必要在java系统中执行shell命令吧。 多数的hbase shell命令都可改为 API调用解决。

2015-10-21 12:44 回复了该问题
2
投票

谈谈你对Hive on Spark的理解?

hive.execution.engine=spark 表示将hive的引擎设置为spark。 在hiveContext.sql()也是利用spark引擎来完成...

2015-11-18 17:40 回复了该问题
2
投票

请教个问题,hadoop2.5(cdh5)在配置capacity scheduler的时候,配置的ACLs没起作用,谁遇到过

我们也做过yarn的多队列,这其中需要仔细计算每个队列的内存配置,确保没超出总额度后才能启动并加载出多个队列名称

2015-10-08 18:26 回复了该问题
2
投票

应该怎么去设计一个推荐系统,需要考虑哪些因素?

从以下几个方面来考虑:1.系统的并发问题 如果并发过高,则需要前端架设负载均衡。 编程语言推荐用java,因为并发量大,请求量也大,就势必会用到大数据的相关组件...

2015-11-25 13:14 回复了该问题
2
投票

如果只考虑开源数据库,要支持海量数据的数据仓库应用,维度建模的数据模型,MySQL和PostgreSQL该用哪个?为什么?

如果是支撑OLTP的业务,那么构建Percona-XtraDB-Cluster-server版本的MySQL集群是非常实用的,Postgresql XC集群也适...

2015-09-29 13:26 回复了该问题
2
投票

Hfile的blocksize问题?

2.如果使用HColumnDescripter把blocksize块大小改成576KB,是不是表示每个Data块的大小为576KB? 是的。HColumnDes...

2015-11-13 12:49 回复了该问题

改版

反馈