原创 在Spark中加載Redshift數據問題彙總
1. java.sql.SQLException: No suitable driver 這個錯誤是因爲，連接Redshift時需要一個driver，而程序執行時找不到能用的driver，所以報錯。AWS提供了多個版本連接Reds
2020-06-21 07:53:42
1
原创 nginx 轉發錯誤 13 permission denied
今天在做 nginx 轉發的時候，總是權限的錯誤： 2019/11/23 14:22:28 [crit] 19986#19986: *1 connect() to 127.0.0.1:5050 failed (13: Permis
2020-06-21 07:53:41
原创 「原碼 反碼 補碼 移碼」一探究竟（上）
拋開復雜的理論，直探事物的本質。 0. 二進制 相比於二進制，十進制數字大家都比較熟悉。從右往左依次是個位、十位、百位、千位等，每個位置上的數字範圍 [0, 9]。個位上的 1 表示 1，十位上的 1 表示 10，百位上的 1
2020-06-21 07:14:25
原创 『Effective Java』讀書整理
書地址 ：鏈接: https://pan.baidu.com/s/1kUAwYgv 密碼: ij4j - Chapter 3 適用於所有對象 8. 重寫equals方法 三個原則：對稱性、傳遞性、一致性 9. 重寫equals
2020-06-21 07:14:25
原创 RHEL(Red Hat Enterprise Linux) 安裝 zip、unzip
多數的系統鏡像文件中都是包含這兩個命令，但總有意外。 一般方法 $ sudo yum install zip unzip 如果一般方法報錯，這個是安裝unzip $ sudo rpm -ivh https://rpm
2020-06-21 07:14:25
1
原创 ELK 單機部署，多 beat 節點
參考文章 適用場景：多個項目或服務，獨立部署，各個服務有自己的 log 文件。爲便於查看、過濾等，可單機部署 ELK 服務後，各個服務通過 filebeat 服務將 log 發送至 ELK 機器。 一、安裝 java $ sud
2020-06-21 07:14:25
2
原创 React - Webpack 項目腳手架搭建
把手還是伸向了前端，抽空折騰了幾天，算是理清了起步門檻。 一、首先確保安裝了 npm，如果沒裝…那就想辦法裝上 $ npm Usage: npm <command> where <command> is one of:
2020-06-21 07:14:25
原创 yum 安裝最新版本 mysql
一. 先到官網查詢最新的版本，官網地址 注意選擇自己Linux對應的版本，查詢方式： $ cat /etc/*-release NAME="Red Hat Enterprise Linux Server" VERSION="7.7
2020-06-21 07:14:25
原创 AWS EMR 上運行Spark + Kinesis: NoSuchMethodError: org.apache.spark.internal.Logging
如題，因有需求，這兩天在弄這個Spark，用的是AWS的EMR，具體是什麼就不解釋了。上面這個問題卡了很久，故在此記錄一下。 Spark支持多種語言，如Scala、Java、Python、R，我用的是Python。 官方有
2020-06-21 07:14:25
原创 在AWS Lambda中使用psycopg2連接Redshift
環境：MacOS 10.12.6 開始說正題。 Redshift是基於PostgreSQL的二次開發應用，所以，能連接PostgreSQL的工具都可以用來連接Redshift。我選擇的是使用最廣泛的psycopg2。 如果上來
2020-06-21 07:14:25
原创 保持ssh遠程連接不斷開
通過ssh user@server登陸到遠程服務器時，經常會遇到一個問題， Connection closed by remote host 意思就是服務器斷開了這個連接。 解決方法 // 先登錄到遠程服務器 $ ssh -i
2020-06-21 07:14:25
原创 Flask API 單元測試 unittest，mock && patch
單元測試，主要是爲了測試某個方法，或是某個代碼快，對於各種輸入的處理，輸出是否符合預期。但由於其他庫、或模塊的依賴，以至於很難獨立測試我們自己實現的邏輯代碼。 對此，引出 mock。 一、Flask Flask是個輕量 API 框
2020-02-20 16:37:20
原创 Android改變圖片屬性之飽和度
ImageView image = (ImageView) findViewById(R.id.image); ColorMatrix matrix = new ColorMatrix(); matrix.setSatura
2020-02-20 16:37:20
原创 golang 項目結構
好久沒寫golang的項目了，前兩天接個臨時需求，需求不難，但要求必須用golang來寫。一時間竟然忘了如何開始，從哪入手了，故在此做個記錄，以備不時之需。 環境： MacOS IDE：GoLand 項目路徑 爲了便於
2019-08-25 13:49:54