原创 03 使用numpy內置函數創建ndarray

目錄 一、zeros 二、ones 三、full 四、eye 五、diag 六、arange 七、linespace 八、reshape 九、random   使用ndarray提供的內置函數可以快速,簡單的創建需要的ndarray數組。

原创 mongo 從庫不同步數據

最近mongo主庫因爲宿主機有問題,需要下線。大概的方案如下: 1.原主庫停寫 2.原從庫升級爲主庫 3.新增一臺從庫從新的主庫同步數據 發現在第3步的時候,從庫一直不能拉到主庫的數據,查看從庫日誌報如下錯誤:   2019-11-21

原创 07 numpy 算數運算和廣播

一、算數運算 a.加減乘除 import numpy as np x = np.array([1, 2, 3, 4]).reshape([2, 2]) y = np.array([5.5, 6.5, 7.5, 8.5]).reshap

原创 布隆過濾器-BloomFilter

目錄   一、概述 二、詳解 三、實現 四、適用業務場景 一、概述 簡單講布隆過濾器就是判斷一個列表中是否存在某個元素。一般在JAVA判斷是否存在,我們可以Map,Set等容器。但是當數據量特別大的時候,用Map和Set會佔用過多的內存。

原创 gradle 嚐鮮

目錄 一、安裝 二、初始化gradle項目  三、導入helloworld項目到idea 四、運行gradle項目 這幾天打算看看學習學習databus。發現databus是用gradle管理。要編譯項目必須要安裝gradle。所以藉此機

原创 00 numpy 介紹

目錄   一、介紹 二、安裝 三、參考文檔 四、numpy學習目錄 一、介紹 numpy 是 Numerical Python的簡稱,Numpy是Python中基礎科學計算的軟件包,Numpy爲Python提供大量的數學庫,使我們能夠高效

原创 06 numpy 布爾型索引 集合運算 排序

目錄   一、布爾類型索引 二、集合運算 三、排序 一、布爾類型索引 import numpy as np # 創建arr arr = np.array([[1,2,3],[5,2,8],[1,2,3]]) print('arr =

原创 hive 常用語句

顯示所有的database show databases; 使用某個database use data_base_name_xxxx; 顯示所有的表 show tables; 創建表 CREATE TABLE `student_2

原创 mac用brew 安裝mysql5.5

1.在終端敲命令搜索brew倉庫有的mysql版本:brew search mysql 可以看到有5.5 ,5.6, 5,7 等版本 2.安裝mysql5.5:  brew install [email protected]    3.配置環境變量 :

原创 倆個線程相互交叉運行

/題目要求:  //有一個對象,對象中有一個status字段,字段類型是int,status的初始值爲0。 //有兩個線程,一個線程將這個對象的status字段更新爲1,另一個線程將這個對象的status字段更新爲2。 //要求這個對象的

原创 hive row_number 去重 取第一條

假如根據id去重,取第一條數據,對應當前hive 語句爲: select t.id, t.name, t.time_c from ( select id, name,

原创 databus安裝 for mysql

一、前提工作 安裝mysql(5.5版本),5.7的版本我試了,接收不到binlog,原因後續在排查。參看:mac用brew 安裝mysql5.5 安裝gradle(4.7版本)。因爲databus源碼是用gradle構建的;安裝方法參考

原创 spark寫hive按照partition overwrite

剛發現spark寫hive的是用overwrite後會把整個表刪了,在執行插入,導致所有的partition都被刪除了。期望是能按照partition去覆蓋,而不是全表覆蓋。研究了一下,以下方法親測可行: 建表語句: CREATE TA

原创 anaconde 在指定的環境安裝庫

conda install -n my_base torchvision -c soumith 在 my_base 這個環境下安裝torchvision, 最近發現在anaconde 可視化的客戶端無法安裝torchvision,只能

原创 hive分區之《靜態分區》和《動態分區》

先準備一個基礎表student select * from student; id name age sex ----------------------------- 1 zhangsan 19