原创 LeetCode contest180

文章目錄5356.矩陣中的幸運數5357. 設計一個支持增量操作的棧5179. 將二叉搜索樹變平衡5359. 最大的團隊表現值 5356.矩陣中的幸運數 完全拼手速的題目,數據量不大,即使O(n^3)也能解決 5357. 設計一個

原创 pycharm問題:module ‘pip’ has no attribute ‘main’

更新pip之後,Pycharm安裝package出現報錯:module ‘pip’ has no attribute ‘main’ 找到安裝目錄下 helpers/packaging_tool.py文件,找到如下代碼: def d

原创 AWS Lambda function 版本化和格式化

函數版本化和別名化 當你開始使用Lambda構建複雜系統時,你將想要以一個可控的基礎來演進它們。我們已經添加了一個新的版本化特性來簡化開發和測試這一重要方面。 每次你上傳一個特定函數代碼的最新副本時,Lambda將會自動創建一個新

原创 Hive不讀取下劃線文件

文章目錄現象原因 現象 在hive中建了一個parquet表,導入文件數據結構如下 _success 0M _commited_ 10M _started_xxx 0M part-xxx.parquet 40M ..

原创 01.使用靜態工廠方法替代構造方法【Effective Java】

Character 2 Creating and Destroying objects 使用靜態工廠方法替代構造方法 一個類允許客戶端獲取其實例的傳統方式,是提供一個公共構造方法。 不過還有另一種技術應該成爲每個程序員工具箱的一部

原创 Hive Metastore表結構設計分析

文章目錄DatabaseTablePartitionsSDS 圍繞hive的metastore的表結構進行分析: Database DBS表:column有DB_ID, DESC, DB_LOCATION_URI, NAME, O

原创 Hadoop集羣搭建模式和各模式問題

文章目錄分佈式集羣的通用問題集羣的搭建的集中通用模式1、單機模式2、僞分佈式模式(搭建在了只有一個節點的集羣中)3、分佈式模式4、高可用模式5、聯邦模式 分佈式集羣的通用問題 當前的HDFS和YARN都是一主多從的分佈式架構,主從

原创 azkaban基礎概覽

https://azkaban.readthedocs.io/en/latest 文章目錄一、爲什麼需要工作流調度器二、工作流調度實現方式三、常見工作流調度系統四、各種調度工具對比五、Azkaban 與 Oozie 對比六、Azk

原创 02.構造方法參數較多時考慮builder模式【Effective Java】

Character 2 Creating and Destroying objects 構造方法參數較多時考慮builder模式 文章目錄問題場景方法一:telescoping constructor方法二:JavaBeans方法

原创 leetcode contest-144

文章目錄Defanging an IP AddressCorporate Flight BookingsDelete Nodes And Return ForestMaximum Nesting Depth of Two Vali

原创 python-zip,list賦值,全局變量

文章目錄ziplist賦值shallow copy/Deep Copy 最近使用python 看到這麼幾個知識點,收集下 zip zip() 函數用於將可迭代的對象作爲參數,將對象中對應的元素打包成一個個元組,然後返回由這些元組組

原创 Mysql使用Event定期清理數據

In order to delete data in a fixed time automatically, use mysql event; Login Mysql Check event_scheduler SHOW VA

原创 python type()和instance()區別

isinstance() function is used to judge one object is some type, this is familiar with function type() the differenc

原创 AWS S常見命令總結

管理存儲桶 創建桶: $ aws s3 mb s3://bucket-name 刪除桶: $ aws s3 rb s3://bucket-name 刪除非空桶: $ aws s3 rb s3://bucket-name –forc

原创 python使用Mock

文章目錄背景問題一:使用mock調用lambda function問題二: 使用mock操作RDS(mysql) 背景 aws的lambda function使用python完成,python連接pymsql,涉及到的UT怎麼寫?