原创 徹底搞懂-扔雞蛋問題-方程-動態規劃
1、題目： 2個雞蛋，從100層樓上往下扔，以此來測試雞蛋的硬度，比如雞蛋在第9層沒有摔碎而在第10層摔碎了，那麼雞蛋不會摔碎的零界點就是9層，如何用最少的嘗試次數，測試出雞蛋不會摔碎的臨界點？ 2、解決思路 2.1、最笨法： 把其中一個
2020-06-30 13:30:43
4
原创 布隆過濾器+緩存穿透問題+Counting Bloom Filter，原理+案例+代碼實現
1、概述布隆過濾器 1.1、什麼是布隆過濾器 布隆過濾器（Bloom Filter）是1970年由布隆提出的，它實際上是由一個很長的二進制向量和一系列隨意映射函數組成。 它是一種基於概率的數據結構，主要
2020-06-22 06:45:02
45
原创 Python smtplib.SMTP()和smtplib.SMTP_SSL() 登錄郵箱併發送郵件比較
一、郵件發送流程 郵件的發送是主動行爲：主要通過 MUA/郵件客戶端軟件，將郵件內容發送給對應的服務器 暫存到投遞服務區，然後由當前運營商根據郵件特徵信息將郵件轉發給目標服務器的投遞服 務區，此時目標用戶的郵件已經發送
2020-06-16 06:08:16
6
原创 漫談數據倉庫之拉鍊表使用場景、原理和在Hive中的實現示例
一、全量表-增量表-拉鍊表-流水錶-介紹 1. 全量表：每天的所有的最新狀態的數據， 2. 增量表：每天的新增數據，增量數據是上次導出之後的新數據。 3. 拉鍊表：維護歷史狀態，以及最新狀態數據的一種表，拉鍊表根據拉鍊粒度的不同，實際上
2020-06-16 06:08:16
原创 python使用xlwt形成合並單元格的excel並且讀取合併單元格的excel
python使用xlwt形成合並單元格的excel並且讀取合併單元格的excel 在日常數據報表數據處理中，經常會遇到看某個大類下面每個小類的各自的情況，此時形成的合併一些單元格作爲表頭的excel。在excel中，手動合併
2020-06-16 06:08:16
原创 linux下，源碼的安裝之 ./configure --prefix --with解釋
linux下，源碼的安裝之 ./configure --prefix --with解釋 linux下，源碼的安裝一般由3個步驟組成：配置（configure）、編譯（make）、安裝（make install）。 過程中用到 ./conf
2020-06-16 06:08:16
原创 Linux shell命令行可選參數的getopts命令使用例子
Linux shell命令行可選參數的getopts命令使用例子 一、概述 getopts [option[:]] [DESCPRITION] VARIABLE option：表示爲某個腳本可以使用的選項 ":" 冒號如果某個選項（opt
2020-06-16 06:08:16
原创 多進程和多線程的概念
多進程和多線程的概念 目錄 零、進程和線程的定義和區別 一、多線程是什麼？ 二、多進程是什麼？ 三、多線程與多進程，選擇誰？ 四、並行、併發、高併發等概念 零、進程和線程的定義和區別 進程和線程的定義 進程的概念：以一個整體的形式暴露給操
2020-06-16 06:08:16
原创 Linux alias實現命令別名
Linux alias實現命令別名 需要經常進入/srv/www/app/account這個目錄，每次都得重複的輸入這一長串路徑進入該目錄，顯得麻煩而費時，因此可以將“cd /srv/www/app/account”這樣一個命令取一個別名
2020-06-16 06:08:16
原创 hive-sql查詢結果保留特點小數位數的方法
一、ceil：向上取整 ceil(DOUBLE d): d是DOUBLE類型的，返回>=d的最小的BIGINT值 spark-hive> select ceil(123.58); _c0 124 Time taken: 0.093
2020-06-16 06:08:16
原创 Sublime Text 3 常用插件 —— SFTP
Sublime Text 3 常用插件 —— SFTP SFTP 在 Win 下常用 Xftp 軟件來和遠程服務傳遞文件，但是要是在項目開發的時候頻繁的將遠程文件拖到本地編輯然後再傳回遠程服務器，那真是麻煩無比，但是Sublime中S
2020-06-16 06:08:16
33
原创 python 多sheet複雜報表開發
在實際工作中，報表開發的過程中，往往會遇到各種較爲複雜報表，比如一個報表excel裏面有多個sheet，每個sheet都是不同維度的統計指標，如何形成這樣多sheet的報表呢？ 廢話不多說，代碼這就來見： #!/usr/bi
2020-06-16 06:08:16
原创 【spark源碼系列】pyspark.sql.Row介紹和使用示例
0、Spark SQL和DataFrames重要的類有： pyspark.sql.SQLContext： DataFrame和SQL方法的主入口 pyspark.sql.DataFrame： 將分佈式數據集分組到指定列名的數據框中 pys
2020-06-16 06:08:16
2
原创 Linux shell xargs命令詳解，xargs與管道的區別
Linux shell xargs命令詳解，xargs與管道的區別 目錄 Linux shell xargs命令詳解，xargs與管道的區別 一、爲什麼要用xargs，問題的來源 二、xargs是什麼，與管道有什麼不同 三、xargs的一
2020-06-16 06:08:16
原创 Spark模擬實現統計出每個域名下面訪問次數最多的前三個URL
Spark模擬實現統計出每個域名下面訪問次數最多的前三個URL 一、需求： 現在假設有一個IT教育網站，有Java，PHP，net等多個欄目，下面是模擬實現的網站日誌 第一個字段是訪問日期，第二個字段是訪問的URL，其中每個欄目有一個獨立
2020-06-16 06:08:16