Hive

  Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。

0
推荐
372
阅读

hive-shell批量操作分区文件

使用hive表的过程中经常需要一些便捷操作:一、hdfs文件批量写SUCCESS文件,一般来说hive表生成结束,会产生一个_SUCCESS文件判断数据是否正常刷新完成但是如...
2
推荐
875
阅读

利用钉钉机器人定时发送数据提醒&消息

工作中偶尔会遇到一些小需求,比如以下几种需求:在钉钉里面定时提醒订餐每天及时发送某一场景数据指标到某个聊天群监控数据异常因为是小需求,没有必要新起...
1
推荐
724
阅读

windows和linux连接hive问题

本文讲述下远程连接Hive遇到的一些问题一、CentOS连接Hive   尝试使用CentOS 7远程连接Hive,首先安装好需要的相关包pip install pyhive pip instal...
0
推荐
295
阅读

【老贝伏枥】 数据库窗口函数-windows function

几乎常用的数据库都具备了SQL常用的窗口函数,比如比较常见的row_number() over()。尤其在hive数据库,灵活使用窗口函数能快速实现代码逻辑并提高执行效率。...
0
推荐
474
阅读

【hive常用函数一】日期函数

使用hive进行数据处理的过程种,遇到不少问题,总结之前的一些开发经验,把之前的一些处理技巧mark一下:使用通用的哑表dual作为测试表用。1、时间戳转换日期...
0
推荐
371
阅读

hive 调度

这个方法适用于存在多个hql脚本,想要统一调度,或者多个hql存在依赖关系的场景逻辑简述:四类文件 1、pkg.sh文件(1个pkg.sh文件),用来调度rpt.sh文...
7
推荐
747
阅读

实现Hive查询操作HBase中的数据

今天主要给大家讲解一下,如何使用Hive来查询及操作HBase里面的数据,也就是实现二者的数据互通互导,相互操作。首先不了解HBase的亲可以看一下我之前写过的...
6
推荐
569
阅读

大数据环境-快速安装使用

安装大数据环境的技术博文、甚至视频课在网上有太多太多啦。还是有很多小伙伴很头疼环境安装配置,怎么安装怎么配置,总有出错的地方,都其中最头疼的莫过于L...
0
推荐
338
阅读

hive 配置时一些错误

一:初始化元数据库错误:解决方法:将初始化名利:schematool -initSchema –dbType mysql  改为 schematool -dbType mysql -initSchema二:初始化...
0
推荐
345
阅读

问题:因为ambari重启HDFS有某个节点失败导致,后续创建目录报错 根本原因:name node处于safe mode

错误信息:Caused by: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop...
0
推荐
1114
阅读

在Hadoop 中用 hive 命令启动时报错:expansion character (code 0x8 at [row,col,system-id]: [3213,96,

错误信息:Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion charact...
6
推荐
821
阅读

三步构建Hive自己的dual

       dual表的概念来自oracle,数据库建立时即与数据字典一起初始化,该表只有一个varchar2类型名为dummy的字段,表数据只有一行“X”,...
5
推荐
649
阅读

Hive分区技术

本周已经更新完成Hive分区的三个章节:技术详解,多重分区,动态分区在Hive Select查询中一般会扫描整个表的内容,会消耗很多时间做没必要的工作。有时候只需...
0
推荐
344
阅读

【老贝伏枥】Hive表的存储格式对比分析

  Hive支持Hadoop中使用的几种熟悉的文件格式,在建表时使用STORED AS (TextFile|RCFile|SequenceFile|AVRO|ORC|Parquet)来指定存储格式。1、Hive的建表...
1
推荐
265
阅读

【老贝伏枥】Hive的系列化和反系列化

  对象的序列化主要有两种用途:对象的持久化,即把对象转换成字节序列后保存到文件中。  hive的序列化的作用是可以方便的将数据加载到表中而不需...

相关话题

514 人关注

最佳回复者

改版

反馈