原创 linux /dev/sda1 磁盤滿了，解決辦法
一開始系統報“no space left on device”（磁盤空間不足），然後本來帶桌面的ubuntu系統變成只能黑框輸入命令的界面了，tab鍵自動補全命令也用不了了。 然後上網查找資料，用df -h 命令查看磁盤使用情況時發現/d
2020-06-25 03:52:31
120
原创 Ubuntu 安裝Maven步驟
首先，我用的系統是Ubuntu16.04 LTS，編輯器用的 Sublime ，Maven以 3.5.0爲例 第一步，去官網下載maven。 官網下載頁面.png 第二步，解壓到/opt/maven目錄（我安裝在這個目錄） 創建manv
2020-06-20 09:13:39
1
原创 “no space left on device”（磁盤空間不足）問題解決
關於“no space left on device”（磁盤空間不足）問題 1.首先介紹兩個命令df -h查看磁盤使用情況 df -i 查看inode使用情況 2.block滿了 通常解決方法是刪除大文件，不要直接刪除，先確認數據是否重要
2020-06-20 09:13:39
原创 spark 僞分佈式安裝
環境：Ubuntu16.04 在僞分佈式安裝spark之前，首先需要僞分佈式安裝配置Hadoop,這個就不做詳細介紹了，可以參看博主的另一篇博客： https://blog.csdn.net/lyc0424/article/details
2020-06-20 09:13:39
原创 Maven2與maven1之間的區別
1． 更快、更簡單 比起 Maven1 那不急不慢的運行速度，Maven2在速度上有了質的飛躍，甚至與Ant相比也毫不遜色（當然，下載不算）。除此之外，"簡化工作，使用業界公認的最佳實踐"也是是 Maven2 的另一大主題，其他的新特性
2020-06-20 09:13:39
原创 關於sparksql中的轉義符如何處理
在spark中處理iris.txt數據集，部分處理數據如下： 但是使用sparksql查找數據時出了錯誤，錯誤原因應該是所匹配字符"setosa"帶有雙引號，需要轉義 嘗試直接在雙引號前加‘\’,如下所示 成功，問題解決！ 參考：h
2020-06-14 23:40:50
原创 spark讀取不了本地文件
環境:ubuntu16.04 在spark集羣中想要獲取本地文件數據集iris.txt，但是卻報了上圖這樣的錯誤，顯示這個文件在這個路徑不存在 。然後我在本地這個文件路徑查看是否有這個txt文件 結果發現本地有這個文件啊，這就有點問題
2020-06-14 23:40:50
原创 Ansible: sudo: a password is required\n
在運行kolla-ansible -i ./all-in-one bootstrap-servers(具有kolla的Bootstrap服務器部署依賴項)報了下面這個錯誤 具有SSH密鑰身份驗證的用戶如何在Ansible中具有sudo權
2020-05-21 01:09:59
6
原创 python基礎—python3中的defaultdict()
1.collections.defaultdict 類 from collections import defaultdict 2.collections.defaultdict 類與工廠函數dict比較： (1) 衆所周知，在Py
2020-05-14 10:20:57
原创 【numpy】ndarray 與 list 相互轉換
import numpy #list 轉 ndarray a = numpy.array(a) #ndarray 轉 list a = a.tolist()
2020-05-14 10:20:57
原创 Python中Numpy mat的使用
前面介紹過用dnarray來模擬，但mat更符合矩陣，這裏的mat與Matlab中的很相似。(mat與matrix等同) 基本操作 >>> m= np.mat([1,2,3]) #創建矩陣 >>> m matrix([[1, 2,
2020-05-10 09:59:31
原创 Pycharm打開（打印）大數據文件內容顯示不全的解決方法
前言 昨晚寫了個小爬蟲，簡單分析下發現可以修改請求的url，直接獲取所有目標的數據。想先打印在控制檯看看，發現打印的數據不全，一開始還以爲被反爬蟲了，獲取的數據本身不全，後來將數據直接保存JSON文件（3兆多大小），用Ubuntu文檔編輯
2020-05-04 14:55:22
原创 Python Sklearn train_test_split 隨機劃分訓練集和測試集
sklearn.model_selection.train_test_split隨機劃分訓練集和測試集 可以點擊 官方文檔 查看 一般形式： train_test_split是交叉驗證中常用的函數，功能是從樣本中隨機的按比例選取train
2020-05-01 19:43:46
3
原创 如何查看服務器GPU狀態
nvidia-smi GPU：GPU 編號； Name：GPU 型號； Persistence-M：持續模式的狀態。持續模式雖然耗能大，但是在新的GPU應用啓動時，花費的時間更少，這裏顯示的是off的狀態； Fan：風扇轉速，從0到100
2020-04-20 15:05:06
原创 VMware虛擬機匹配屏幕大小縮放問題解決
VMware版本：VMware Workstation Pro 15 剛創建的虛擬機結果發現虛擬機顯示範圍有點小 然後按照網上的方法 安裝了VMware tools再重啓虛擬機之後還是沒解決問題 又試着在菜單欄視圖嘗試 在拉伸客戶機
2020-04-20 15:05:06