原创 AWS實戰 - EMR Zeppelin啓用用戶驗證
背景 默認情況下，運行在emr上的zeppelin是未開啓用戶驗證的，這意味着集羣安全組內的任何人都可以訪問zeppelin，並在上面運行代碼，這無疑是不安全的。我們通過一定的設置爲zeppelin開啓用戶驗證。 手動設置 參考文檔Apac
2019-10-23 17:25:19
原创 優化Pandas DataFrame的處理速度
背景 本文的內容主要來源於A Beginner’s Guide to Optimizing Pandas Code for Speed這篇文章，入門級的講了怎麼優化Pandas DataFrame的處理速度。 數據準備 一個50000行
2019-08-22 17:45:43
3
原创 記一次PMML文件的處理過程
背景 業務方說需要我做個web界面，在上面輸入一條網站訪問線索的信息，後臺通過機器學習計算這條線索的評級，例如這條線索對應的用戶購買意願有多強之類的。而機器學習對應的模型，也是業務方自己用KNIME這個軟件訓練的，然後將訓練完的模型導出爲一
2019-02-02 10:54:34
2
原创 AWS實戰 - S3存儲類別
儲存類別介紹 在S3中儲存對象時，可以選擇不同的儲存類別，對應不同的持久性、可用性及價格等。 STANDARD: 用於儲存經常訪問的對象，默認的標準儲存類別，存儲費用最高，請求(執行Select/GET/PUT等操作)費用最低； S
2019-01-08 11:43:12
原创 AWS實戰 - EC2權限控制的簡單總結
介紹 簡單總結EC2的文檔發現，對AWS EC2的權限進行控制，包含三層意思：第一是對使用EC2及EC2相關的AWS服務的權限控制，比如創建、運行EC2或者使用EC2相關的AMI，創建VPC等相關操作的權限控制；第二是EC2實例中運行的應用
2018-12-19 14:53:02
10
原创 AWS實戰 - IAM角色的簡單使用
介紹 簡單來說，IAM角色是一組權限的集合，IAM用戶或者AWS服務可以臨時性代入這個角色，獲得角色所擁有的權限；AWS官方定義如下： IAM角色類似於用戶，因爲它是一個AWS實體，該實體具有確定其在AWS中可執行和不可執行的操作的權限策
2018-12-14 16:23:47
6
原创 AWS實戰 - 對S3數據加密方式的總結
名詞解釋 KMS: AWS Key Management Service，AWS的密鑰託管服務； 數據加密密鑰: 用於對S3對象進行加密的密鑰； 主密鑰: 也叫客戶主密鑰或CMK，根據不同的加密方式，主密鑰有可能直接用於加密S3對象，也有
2018-12-10 15:33:48
36
原创 AWS實戰 - 利用IAM對S3做訪問控制
介紹 要對S3的訪問權限做控制，既可以使用基於身份的策略（IAM用戶策略），也可以使用基於資源的策略（ACL和存儲桶策略）。 訪問一個存儲桶的權限控制流程如圖所示： 訪問存儲桶中的對象的權限控制流程如圖所示： 當 Amazon S3 收到對
2018-12-05 11:23:10
3
原创 PyGame貪吃蛇的實現代碼示例
貪吃蛇是款經典遊戲，本文將帶你一步步用python語言實現一個貪吃蛇小遊戲，具有一定的參考價值，感興趣的小夥伴們可以參考一下 最近幫人做了個貪吃蛇的遊戲（交作業用），很簡單，界面如下： 開始界面： 遊戲中界面：
2018-11-25 08:15:58
28