原创 Python學習心得(四) yield和三元運算以及lambda表達式
1.yield 英文意思生產、生成的意思，在Python中帶有yield的函數被稱爲生成器(Generator) ''' for i in range(10000) #生成10000個元素的List 值越大，運行中佔用的內存就會越大
2020-02-23 04:46:37
原创 Linux下crontab命令添加Kettle作業定時任務
1. 確保作業 $KETTLE_HOME/kitchen.sh -file=/data1/testdata/testkjb.kjb 或轉換 $KETTLE_HOME/pan.sh -file=/data1/testdata/testktr
2020-02-23 04:46:37
原创 SQL Server表中某些字段含有水平製表符、換行符、回車符、反斜槓的解決辦法
DECLARE @TableName VARCHAR(50); SET @TableName = 'Buzzreader_Data_Union'; --系統表syscolumns中xtype = 61表示是日期字段，除了日期字段，其它
2020-02-23 04:46:37
原创 SQL Server根據表或視圖批量生成插入語句並BCP導出成文本
--聲明變量 DECLARE @TableName VARCHAR(100),@RunStr VARCHAR(MAX),@RunRC VARCHAR(MAX),@FinalRun VARCHAR(MAX) --在master庫創建
2020-02-23 04:46:37
原创 GreenPlum之按月份或季度實現行轉列
1.參考GreenPlum之生成月份字典表 GreenPlum之生成月份字典表 2.根據Case When語句及GreenPlum中string_agg聚合函數拼湊對應月份或季度週期字段，以下是核心實現sql，讀者可根據需求自行修
2020-02-23 04:46:37
1
原创 SQL Server返回兩個Date日期相差共多少天零多少小時零多少分鐘零多少秒
如果工作中遇到需要統計兩個時間段相差的詳細時間信息，你會怎麼做？歡迎思考，歡迎討論。我的需求是：統計兩個時間段之間相差了共多少天零多少小時零多少分鐘零多少秒，要求返回的是 XX天XX小時XX分鐘XX秒。 1天 = 24小時 = 1440分
2018-09-02 07:07:25
原创 gpcrondump備份命令翻譯筆記(GreenPlum)
把一個數據庫備份成SQL腳本文件，該腳本文件可以用gpdbrestore命令來恢復數據庫。 摘要 gpcrondump -x database_name [-s schema | -t schem
2018-09-02 03:51:52
原创 Hive參數配置調優
hive通過將查詢劃分成一個或多個MapReduce任務達到並行處理的目的。每個任務都可能具有多個mapper和reducer任務，其中至少有一些是可以並行執行的。 確定最佳的mapper個數和reducer個數取決於多個變量，例如輸入的
2018-09-02 03:51:51
2
原创 GreenPlum之日常SQL腳本筆記(二)
1.查看數據庫中大於100MB的表的傾斜情況 (數據傾斜率公式：最大子節點數據量/平均節點數據量。爲避免整張表的數據量爲空，同時對結果的影響很小，在平均節點數據量基礎上加上一個很小的值) SELECT table_name,max_di
2018-09-02 03:51:50
原创 HiveQL邏輯執行順序
FROM->WHERE->GROUP BY->HAVING->SELECT->ORDER BYHive總是按照從左到右的順序執行的，如a、b、c三個表關聯 select a.id,b.colname,c.
2018-09-02 03:51:50
2
原创 CentOS下實現SCP免輸密碼傳送文件
前提條件：兩臺CentOS主機擁有相同的用戶名，假設主機A和主機B擁有相同的用戶名binguo，只需下面兩步 1.以binguo帳戶名登錄主機A，主目錄下執行如下命令生成配對密鑰，不用管提示，一路回車； ssh-keygen -t rs
2018-09-02 03:51:50
原创 Linux下安裝rar命令，簡易而不簡單
wget https://www.rarlab.com/rar/rarlinux-x64-5.5.0.tar.gz tar -zxvf rarlinux-x64-5.5.0.tar.gz cd rar make install mkdir
2018-09-02 03:51:50
原创 Python學習心得(七) 深入理解threading多線程模塊
Python提供了多個模塊來支持多線程編程，包括thread、threading和queue模塊等。 thread模塊提供了基本的線程和鎖定支持；而threading模塊提供了更高級別、功能更全面的線程管理。 queue模塊，用戶可以創建
2018-09-02 03:51:50
原创 Linux(CentOS)下Postgresql數據庫的安裝配置
1.驗證本機是否已經安裝：[root@master ~]# rpm -qa | grep postgresql 2.yum方式加-y參數安裝(-y默認需要選擇的全部選擇是)[root@master ~]# yum -y install
2018-09-02 03:51:50
原创 Linux下Samba服務配置筆記
1.yum方式安裝samba服務(實踐證明yum方式安裝最方便) yum -y install samba 2.養成好的習慣，先把smb.conf備份 cp smb.conf smb.conf.bak 3.配置samba服務 vi /et
2018-09-02 03:51:50
2