如何迁移HDInsight Hive Table到Azure SQL Database
在我写的博客里提到过如何Load TXT 到HDInsight Hive table https://blog.csdn.net/weixin_44953126/article/details/102254360
那么如何把Hive table迁移到Azure SQL Database呢？迁移到Azure SQL Database后，你就可以把它当作Onprem SQL来处理了。
如何迁移？你可以用Azure Data Factory来实现：
1, 创建ADF V2.
2, 创建Hive Database Linked Server, 输入主机名，端口号，还有用户名和密码。
3， 创建dataset, hivetest为你的HDInsight Hive Database, hiveexample为Hive table。
0: jdbc:hive2://headnodehost:10001/> select * from hiveexample;
+-------------------+-----------------+------------------+--+
| hiveexample.name | hiveexample.id | hiveexample.sex |
+-------------------+-----------------+------------------+--+
| linlin | 123 | male |
| brian | 345 | male |
| lin | 567 | female |
+-------------------+-----------------+------------------+--+
HDInsight的table hiveexample.
Note: 可以用同样的办法创建Azure SQL Database Dataset.
hivetable为Azure Sql Database的表。
如何创建Azure Sql Database: https://docs.microsoft.com/en-us/azure/sql-database/sql-database-single-database-get-started?tabs=azure-portal
4， 创建pipeline, source.
Sink:
Mapping:
5, 运行pipeline:
6, pipeline 运行成功后，我们可以看到Hive table里的数据成功move到Azure Sql Database.
