原创 長途貨運行程統計
問題： 貨車運行過程中，每隔一段時間會反饋發動機狀態和時間，1代表啓動，0代表熄火。一次完整的運單過程，會有多段行程，需要計算每段行程的開始時間和結束時間。 解決辦法： 按照時間排序，lead,lag函數前後移位，取狀態不相等的數據，
2019-01-12 16:49:50
2
原创 Hive子查詢的別名重複的BUG
以下SQL查出來的user_id 全爲0，似乎是從ods.bbs_topic讀取的user_id。將外層的別名c改成t以後，user_id取值正常 select user_id from (
2018-11-04 07:33:30
原创 SSAS - 最佳實踐和性能優化（2）
問題 在本系列中，我們已經討論了可以用來優化您的SQL Server分析服務環境的各種技術。在這一節中，我們將討論多維數據集設計和開發的性能優化最佳實踐。 解決方案 在本系列的第1部分中，談到了一個典型的SSAS應用程序體系結構和SSAS
2018-08-27 07:19:51
10
原创 SSIS變量表達式和變量值
場景：String變量str包配置從SQL Server配置變量的表達式，變量str初始狀態的值和表達式都爲空，下斷點調試，發現變量str的表達式從SQL Server配置正確獲得了值，但是變量str的值依然是空。 解決方法：查看變量的屬
2018-08-27 07:19:51
原创 兩個拉鍊表時間區間覆蓋合併問題
問題描述： A表爲連續時間區間，B表爲間斷時間區間。每條數據描述某ID在Eff_Date到Exp_Date之間的number取值。 區間重合的數據，優先考慮B表的數據，要求合併A，B表爲C查詢表。 解決方案： 1.每天取一個快照，獲
2018-08-27 07:19:51
10
原创 SSIS包配置的執行順序
問題 SSIS包配置有多種配置類型，一個包中的不同類型的包配置執行順序如何呢? 如果不理解包配置運行時的執行順序，會產生讓人費解的Bug。 比如：子包的連接字符串變量從父包繼承，子包的一個變量只是SQL Server包配置，並且依賴這個
2018-08-27 07:19:51
6
原创 Cloudera-Manager安裝意外中斷如何卸載的問題
問題描述： 使用Cloudera-Manager-Installer.bin安裝過程中，意外中斷。當你重新安裝時，提示已經安裝了CM，請先卸載。 嘗試使用 sudo /usr/share/cmf/uninstall-cloudera-ma
2018-08-27 07:19:51
1
原创 SSAS - 最佳實踐和性能優化（3）
問題 有幾個方面可能會影響分析服務cube的性能。比如，源系統，cube和MDX查詢的設計，網絡問題。在這一節，將討論在設計和開發分析服務多維數據集時應該考慮的一些最佳實踐。 解決方案 在本系列的第1部分中，我們討論了典型的SSAS應用程
2018-08-27 07:19:51
13
原创 SSAS - 最佳實踐和性能優化（1）
問題 一般Analysis Services cube的性能問題可能由多方面的原因造成。源系統，cube設計，MDX查詢，網絡問題等因素都可能導致性能問題的產生。在這個系列文章中，我會分享一些設計和開發cube的最佳實踐和可以用來解決現存
2018-08-27 07:19:51
45
原创 超過8000長度的字符串賦值給String變量
以下結論和方法，筆者基於SSIS 2010 親測，如有疑問歡迎指正 1.Execute SQL Task 不能將數據庫返回的varchar(max)類型值賦給String變量 2.Execute SQL Task 將數據庫返回的大於80
2018-08-27 07:19:51
1