原创 區塊鏈的Merkle Tree
區塊鏈的Merkle Tree 這幾天閒着沒事，學習了一下北大肖老師的課程，覺得講的還真不錯，在第三課裏講到區塊鏈是如何知道有人做了交易。 在如上圖黃色的部分tx就是一個交易的transaction，這樣就會改變綠色哈希部分H(
2020-06-23 19:34:58
原创 Build High Availability Two Nodes for Self-Host Integration Runtime
Lab preparation Create ADF and two Virtual Machines from your Azure Portal. Quickstart: Create a data factory by us
2020-06-23 19:34:55
原创 如何驗證SPN是否對ADLS有訪問權限
如何驗證SPN是否對ADLS有訪問權限 以下的程序就是用來驗證SPN對ADLS的文件夾是否有訪問權限： accountFQDN爲ADLS的FQDN. path爲ADLS對應的文件夾 clientid clientkey爲SPN的o
2020-06-23 19:34:55
原创 AWS EMR Vs HDInsight Vs Aliyun Cloud E-MapReduce之架構篇
AWS EMR Vs HDInsight Vs Aliyun Cloud E-MapReduce之架構篇 從大數據的架構上，我們可以看出AWS EMR和Aliyun Cloud E-MapReduce蠻像的，HDInsight則有
2020-06-23 19:34:52
9
原创 如何發佈Web應用到Azure
如何發佈Web應用到Azure 本地的web應用如下： 在Azure上部署Web App服務： 部署的時候，你可以選web運行時runtime是什麼，我這個web應用 example是基於ASP.Net開發的。 創建好
2020-06-23 19:34:40
原创 parquet與schema的那點事
parquet與schema的那點事 最近做了一個從數據庫遷移到parquet報異常的案例，錯誤如下： java.lang.IllegalArgumentException:No enum constant org.apache.
2020-06-23 19:34:37
原创 NpgsqlConnector ETL的那點事
有時候我們需要調用NpgsqlConnector來完成ETL到PostgreSQL的遷移，不過會遇到一些問題，比如：在遷移數據到PostgreSQL數據庫的時候，最後一個字節一直都寫不到數據庫。 這個時候我們可以收集dump文件，
2020-02-21 11:41:07
原创 如何遷移HDInsight Hive Table到Azure SQL Database
如何遷移HDInsight Hive Table到Azure SQL Database 在我寫的博客裏提到過如何Load TXT 到HDInsight Hive table https://blog.csdn.net/weixin
2020-02-21 11:41:07
原创 如何Load TXT 到HDInsight Hive table
如何Load TXT 到HDInsight Hive table 記得以前做過一個小項目，需要把客戶整理的TXT導入到數據庫，然後結合客戶的需求統計分析特定條件的報表，比如表的schema爲：time, name, meeting
2020-02-21 11:41:07
原创 Hive查詢慢的那點事2
Hive查詢慢的那點事2 有時候我們收集了HS2的Jstack dump後，你會發現有好多threads pending on waiting for specific thread, 這個specific thread在寫deb
2020-02-21 11:41:07
原创 Hive性能測試
Hive性能測試 有時候我們需要對Hive cluster做性能測試，如下的代碼就是用多線程的方式對hive查詢，300個線程作查詢，從而測試hive的返回速度。 package jdbc; import java.sql
2020-02-21 11:41:07
原创 簡單介紹什麼是Hive
簡單介紹什麼是Hive 什麼是Hive Hive是在Hadoop中處理結構化數據的數據倉庫基礎設施工具。它位於hadoop之上，針對大數據，使查詢和分析變得簡單。最初Hive是由FaceBook開發的，後來Apache軟件基金會採
2020-02-21 11:41:06
原创 Hive查詢慢的那點事
當你用jdbc對HiveServer2做一些查詢的時候，有時候會遇到一些延時，爲了查找原因，我們可以收集jstack dump日誌，它可以把Hiveserver2進程的所有線程的callstack打印出來提供你分析，那麼如何分析j
2020-02-21 11:41:06