服务器之家

服务器之家 > 正文

sqoop 实现将postgresql表导入hive表

时间:2021-03-04 16:22     来源/作者:空中的鱼1987

使用sqoop导入数据至hive常用语句

直接导入hive表

 

?
1
2
3
4
5
sqoop import
--connect jdbc:postgresql://ip/db_name
--username user_name
--table table_name
--hive-import -m 5

内部执行实际分三部,1.将数据导入hdfs(可在hdfs上找到相应目录),2.创建hive表名相同的表,3,将hdfs上数据传入hive表中

sqoop根据postgresql表创建hive表

?
1
2
3
4
5
6
sqoop create-hive-table
--connect jdbc:postgresql://ip/db_name
--username user_name
--table table_name
--hive-table hive_table_name
( --hive-partition-key partition_name若需要分区则加入分区名称)

导入hive已经创建好的表中

?
1
2
3
4
5
6
7
sqoop import
--connect jdbc:postgresql://ip/db_name
--username user_name
--table table_name
--hive-import -m 5
--hive-table hive_table_name
(--hive-partition-key partition_name --hive-partition-value partititon_value);

使用query导入hive表

?
1
2
3
4
5
6
7
sqoop import
--connect jdbc:postgresql://ip/db_name
--username user_name
--query "select ,* from retail_tb_order where \$CONDITIONS"
--hive-import -m 5
--hive-table hive_table_name
(--hive-partition-key partition_name --hive-partition-value partititon_value);

注意:$CONDITIONS条件必须有,query子句若用双引号,则$CONDITIONS需要使用\转义,若使用单引号,则不需要转义。

遇到问题

 

若需要在导入hive数据表的前提下,再添加在原有关系型数据库中没有的一列数据如何解决。

首先,我们想到的是添加一个partition可很方便的添加“一列”数据,partition的使用很类似普通一列,常用的sql执行是没有问题的。

其次,想到在query的sql中添加一个常量或者一个变量,例如:”select 'hello',* from retail_tb_order where \$CONDITIONS“,执行后会报异常

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
12/08/28 14:41:31 INFO tool.CodeGenTool: Beginning code generation
12/08/28 14:41:31 INFO manager.SqlManager: Executing SQL statement: select 'hello',* from retail_tb_order where (1 = 0)
12/08/28 14:41:32 INFO manager.SqlManager: Executing SQL statement: select 'hello',* from retail_tb_order where (1 = 0)
12/08/28 14:41:32 ERROR orm.ClassWriter: Cannot resolve SQL type 1111
12/08/28 14:41:32 ERROR orm.ClassWriter: Cannot resolve SQL type 1111
12/08/28 14:41:32 ERROR orm.ClassWriter: No Java type for SQL type 1111 for column _column_
12/08/28 14:41:32 ERROR orm.ClassWriter: No Java type for SQL type 1111 for column _column_
12/08/28 14:41:32 ERROR orm.ClassWriter: No Java type for SQL type 1111 for column _column_
12/08/28 14:41:32 ERROR orm.ClassWriter: No Java type for SQL type 1111 for column _column_
12/08/28 14:41:32 ERROR orm.ClassWriter: No Java type for SQL type 1111 for column _column_
12/08/28 14:41:32 ERROR orm.ClassWriter: No Java type for SQL type 1111 for column _column_
12/08/28 14:41:32 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.NullPointerException
java.lang.NullPointerException
 at org.apache.sqoop.orm.ClassWriter.parseNullVal(ClassWriter.java:900)
 at org.apache.sqoop.orm.ClassWriter.parseColumn(ClassWriter.java:925)
 at org.apache.sqoop.orm.ClassWriter.generateParser(ClassWriter.java:999)
 at org.apache.sqoop.orm.ClassWriter.generateClassForColumns(ClassWriter.java:1314)
 at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1138)
 at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:82)
 at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:367)
 at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:453)
 at org.apache.sqoop.Sqoop.run(Sqoop.java:145)
 at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
 at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:181)
 at org.apache.sqoop.Sqoop.runTool(Sqoop.java:220)
 at org.apache.sqoop.Sqoop.runTool(Sqoop.java:229)
 at org.apache.sqoop.Sqoop.main(Sqoop.java:238)
 at com.cloudera.sqoop.Sqoop.main(Sqoop.java:57)

该问题出现原因是sqoop ClassWriter类会在postgresql表中解析sql中的所有列,当解析常量'hello'时,数据库没有该列也就找不到相应的数据类型。

若要解决该问题应该需修改ClassWriter源码。

补充:使用Sqoop,最终导入到hive中的数据和原数据库中数据不一致解决办法

Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。

1.问题背景  

 

使用Sqoop把oracle数据库中的一张表,这里假定为student,当中的数据导入到hdfs中,然后再创建hive的external表,location到刚才保存到hdfs中数据的位置。最后发现对hive中表特定条件进行count时结果和oracle中结果不一致。

1.1 导入数据到hdfs中/user/hadoop/student路径下

?
1
sqoop import --connect "jdbc:oracle:thin:@//localhost:1521/student" --password "***" --username "***" --query "select * from student where name='zhangsan' and class_id='003' and \$CONDITIONS" --target-dir "/user/hadoop/student" --verbose -m 1

这个时候hdfs上/user/hadoop/student下就保存了从oracle上导入的表数据。

表数据在hdfs上是如何存储的呢?注意这一点,造成了最后产生结果不一致的错误。

我们来看一看在hdfs上数据是如何存储的。我们运行hadoop fs -cat /user/hadoop/student/part-m-00000,可以看到原来字段与字段之间都用‘,'分隔开,这是sqoop默认的,这时候,如果一个字段值当中包含‘,',再向hive中插入数据时分隔就会出错。因为hive也是用‘,'分隔的。

2.分析问题  

 

对hive中表select count(*) from student的结果和oracle中select count(*) from studeng的结果进行比较,发现条数是一样的,说明没有少load数据。那为什么对特定条件结果就会不一致,而且hive中条数比oracle中少。也就是同时运行select count(*) from student where class_id='003'

最后,发现hive用逗号分隔数据时,有几条数据字段内值包含有逗号,所以字段与值对应起来就乱套了,所以得不到正确结果。

我们建议用‘\001'来进行sqoop 导入数据时的 分割。也就是--fields-terminated-by <char>参数。

参考:http://sqoop.apache.org/docs/1.4.2/SqoopUserGuide.html#_large_objects

最后优化后的sqoop语句为:

?
1
sqoop import --connect "jdbc:oracle:thin:@//localhost:1521/student" --password "***" --username "***" --query "select * from student where name='zhangsan' and class_id='003' and \$CONDITIONS" --target-dir "/user/hadoop/student" --fields-terminated-by "\001" --verbose -m 1

以上为个人经验,希望能给大家一个参考,也希望大家多多支持服务器之家。如有错误或未考虑完全的地方,望不吝赐教。

原文链接:https://blog.csdn.net/lookqlp/article/details/52096193

标签:

相关文章

热门资讯

2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
yue是什么意思 网络流行语yue了是什么梗
yue是什么意思 网络流行语yue了是什么梗 2020-10-11
Intellij idea2020永久破解,亲测可用!!!
Intellij idea2020永久破解,亲测可用!!! 2020-07-29
背刺什么意思 网络词语背刺是什么梗
背刺什么意思 网络词语背刺是什么梗 2020-05-22
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总 2020-11-13
返回顶部