原创 hadoop 二次排序join的實現
需求背景：提供一批卡號，去提取這批卡號的流水(lzo格式的交易流水) 模擬實現邏輯： 大致流程圖 配置文件如下： #!/bin/bash hadoop fs -rmr card_match_2/output ha
2020-06-10 00:54:11
原创 aws s3 遞歸上傳和下載
上傳 aws s3 cp MyFolder s3://bucket-name -- recursive [--regionus-west-2] 下載 aws s3 cp s3://bucket-name [--region us-
2020-06-10 00:54:11
原创 shell 獲取上個月或者上一年…
lastMonth=`date -d "1 month ago" +%Y_%m` lastYear=`date -d "1 year ago" +%Y_%m`
2020-06-10 00:54:11
原创 shell在指定行插入文本
需求背景:在指定行插入特定文本 sed -i '第幾行i文本內容' 文件 會直接編輯文件。 特殊用法： 插入一個只有一個空格的空行在第三行 sed -i '3i\ ' a
2020-06-10 00:54:11
原创 如何用PLSQL從ORACLE中導入導出數據
如何使用PLSQL Developer從oracle數據庫 導入導出數據 用pl/sql developer導出表的數據時有三種方式：Oracle Export，Sql Insert，pl/sql developer 只有“Ora
2020-02-21 12:32:10
原创 weblogic顯示原來ip怎麼修改到新的ip
Weblogic 9 的默認IP是本地localhost, 默認端口爲7001, 修改它們，需要進入Weblogic 9的安裝目錄下的user_projects\domains\base_domain\config\ 找
2020-02-21 12:32:09
原创 scrapy 入門
最近在自學python中的scrapy爬蟲模塊，以下是一些我的理解： scrapy有自己的模塊組成， 流程： 自定義的spider通過請求鏈接訪問，scheduler模塊負責封裝url請求的一些參數然後帶着封裝好的reques
2020-02-21 12:32:09
原创 騰訊雲免流搭建教程免流服務…
原文地址：騰訊雲免流搭建教程免流服務器搭建教程流控搭建自動安裝作者：免流搭建-免流服務器搭建看本教程前先確保你的服務器上已經用最新適配centos7.0的一鍵腳本搭建了雲免服務器 推薦使用 阿里雲或騰訊雲 現在適配某汪的一鍵雲免搭建腳本
2020-02-21 12:32:09
原创 Myeclipse斷點調試
最基本的操作是： 1, 首先在一個java文件中設斷點，然後運行，當程序走到斷點處就會轉到debug視圖下， 2, F5鍵與F6鍵均爲單步調試，F5是step into,也就是進入本行代碼中執行，F6是step over， 也就是
2020-02-21 12:32:09
原创 spring jpa no pro…
觸發原因：一般爆出這種錯誤，會明顯提示那個持久化類和那個實體類，也會告訴你那個實體類中的字段未找到，觸發錯誤的關鍵在於，你已經從實體類中刪除了某個字段映射，但是在持久化類中還有用到包含該字段的方法，從而導致方法解析到sql語句時，
2020-02-21 12:32:09
1
原创 python 填坑之旅
今天幫同事調試一個腳本，同事用的是Python中uuid這個模塊，但是輸出的時候使用uuid.uuid1(),一直提示uuid模塊中沒有uuid1這個方法，查了api用法沒錯，但是我試了下腳本也是一樣，後來發現是命名的問題，他把腳本名稱也
2020-02-21 12:32:08
原创 hadoop 建立多級目錄 報錯誤…
需求背景：在shell腳本想建立多層ｈｄｆｓ目錄時，報錯。 在HDFS中創建多級目錄，然而總是報錯：mkdir: `/user/a/bb': No such file or directory。 在StackOverflow上面某
2018-08-28 23:11:08
1
原创 spark 中map 和flatmap 的區別
需求背景： 統計相鄰兩個單詞出現的次數。 val s="A;B;C;D;B;D;C;B;D;A;E;D;C;A;B" s: String = A;B;C;D;B;D;C;B;D;A;E;D;C;A;B val data=sc.
2018-08-28 23:11:08
原创 spark 項目啓動的時候報出如下錯誤
解決錯誤“class "javax.servlet.FilterRegistration"'s signer information does not match signer information of other classes
2018-08-28 23:11:06
1
原创 gnome連接mysql workbench時…
在Store in Keychain時出現了gnome-keyring-daemon錯誤，不能保存密碼，也就連不上數據庫。 修改/usr/bin/mysql-bench。 將# WB_NO_GNOME_KEYRING=1改成expo
2018-08-28 23:11:06