--hive分区、桶、倾斜##marjs老师hive课程的听课笔记1、分区，是粗粒度的 partition by (par_col p...
#工作杂记#维度：行业、仓库、全部行业、全部仓库#为减少tmp表 使用grouping setsinsert overwrite table tpm_p1partition(pt_date='${hivevar:partition_day...
接上一次单机方式的安装，开始进行分布式基于mysql存储方式的安装启动mysql service mysql start启动后使用root账户登录，在命令行下输入如下 &n...
启动hive报错[hadoop@master2 conf]$ hive
which: no hbase in (/home/hadoop/app/hive-2.1.1/bin:/home/hadoop/app/sqoop/bin:/usr/local/bin:/usr/bin:/usr...
Hive支持Hadoop中使用的几种熟悉的文件格式，在建表时使用STORED AS (TextFile|RCFile|SequenceFile|AVRO|ORC|Parquet)来指定存储格式。1、Hive的建表...
错误信息：Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion charact...
错误信息：Caused by: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop...
一：初始化元数据库错误：解决方法：将初始化名利：schematool -initSchema –dbType mysql 改为 schematool -dbType mysql -initSchema二：初始化...
几乎常用的数据库都具备了SQL常用的窗口函数，比如比较常见的row_number() over()。尤其在hive数据库，灵活使用窗口函数能快速实现代码逻辑并提高执行效率。...
这个方法适用于存在多个hql脚本，想要统一调度，或者多个hql存在依赖关系的场景逻辑简述：四类文件 1、pkg.sh文件（1个pkg.sh文件），用来调度rpt.sh文...
使用hive表的过程中经常需要一些便捷操作：一、hdfs文件批量写SUCCESS文件，一般来说hive表生成结束，会产生一个_SUCCESS文件判断数据是否正常刷新完成但是如...
使用hive进行数据处理的过程种，遇到不少问题，总结之前的一些开发经验，把之前的一些处理技巧mark一下：使用通用的哑表dual作为测试表用。1、时间戳转换日期...
日常使用Hive时候 经常出现中文乱码问题 在此总结下MySQL大量数据插入Hive时，一般两种情况：手动导入Hive或者用Python代码（基于python2）一.My...
问题当创建UDF过程报错，如：Class不存在等，show functions like 'xx' 会发现UDF创建成功，实际函数本身是有问题的直接drop function xx，提示成功但实...
cx库t3表hdfs://nameservice1:8020/user/hive/warehouse/cx.db/t3/delta_0000011_0000011_0000hdfs://nameservice1:8020/user/hive/warehouse/cx.db/t3/delta...
liliwu
brucelu
走马兰台
老头子
