原创 spring項目的jar包中讀取classpath下的文件
在springboot項目resources文件夾下，加入一個其他類型的資源文件，比如一個test.txt文件，爲實現類似啓動加載，實現了CommandLineRunner 接口，這個接口是spring初始化完成後最後一個回調函數。 新加
2020-06-21 22:27:24
原创 linux傳輸文件的命令
傳輸文件可以用 scp 命令：遠程加密拷貝。 用法主要是： 將本機的文件傳輸到另一臺機器： scp file username@host:/dir 通過這樣的方式將本地 file 傳輸到 遠程文件夾 dir 下。 將遠程文件傳輸到
2020-06-15 08:01:18
原创 linux程序運行結果在打印到屏幕的同時寫入文件
正常來說，程序運行會打印日誌信息，默認的標準輸出是屏幕， 所以想要保存到文件，一般是通過輸出重定向： 輸出重定向以後，屏幕不會打印任何信息，因爲輸出都在指定的文件裏了。 如果想兩者兼顧，在屏幕上打印的同時，還能保存到文件，可以使用te
2020-06-15 08:01:07
原创 centos7 安裝中文語言包（docker 鏡像）
使用docker可以隔離資源，下載了官方精簡版的centos7鏡像，大小203兆。其中很多東西都沒有預置，比如中文語言，啓動這個精簡版centos，發現打印日期也是英文的，於是我想把語言設置爲中文。 首先使用locale命令查看語言區域
2020-06-15 08:01:07
4
原创 centos 添加新硬盤，對根目錄擴容
本地安裝了虛擬機，系統爲centos7，使用過程中，漸漸地發現磁盤容量不夠用了，於是在虛擬機中新增了一塊硬盤。 進入系統內查看： sdb是新增的硬盤，大小爲40g。 接下來有兩種方式，一種是普通方式直接掛載。https://blog.
2020-06-15 08:01:07
原创 spark 3.0 集羣配置
下載spark安裝包：https://spark.apache.org/downloads.html 下載對應hadoop版本的spark即可。 解壓，得到目錄如下： 配置環境變量。依然採用在/etc/profile.d/下創建spa
2020-06-15 08:01:07
原创 docker容器配置ssh服務
精簡版的centos鏡像不帶有ssh服務，需要自己安裝： 安裝ssh yum install -y openssl openssh-server 啓動ssh 缺少主機祕鑰文件，接着生成祕鑰文件 ssh-keygen -q -t r
2020-06-15 08:01:07
原创 lvm 掛載硬盤
在做了給根分區擴容（https://blog.csdn.net/qq_39314099/article/details/106358035）後，對lvm有了一點了解，於是準備重新添加硬盤，使用lvm掛載方式掛載。 首先，lvm掛載過程大致
2020-06-15 08:01:07
原创 pandas 讀取csv文件，再寫入文件，產生超長小數位數問題
python中的浮點數是17位精度，所以小數在python中實際是17位，這在用pandas時更能體現出來，假如有這樣的一個csv文件： 其中有很多小數，經由python的pandas讀取，再寫入： import pandas as
2020-06-15 08:01:07
原创 linux下的cut命令
linux下的cut命令，經常用來對每一行操作，比如刪除、分割，並顯示內容。 查看幫助信息 cut --help 用法都在幫助信息裏列出來了。 分割功能（-d）： 這是一個比較常用的功能，按一個分隔符分割每一行，並顯示出來，默認分割符
2020-06-15 08:01:07
原创 docker 啓動容器時讀取宿主機的dns配置
今天在打鏡像的時候，突然發現了一個問題。docker 啓動容器dns會讀取宿主機的配置。 我的宿主機配置的dns是虛擬機的網關。可以正常上網。 基於centos7打了一個鏡像，dockerfile如下： 我在這裏指定了dns配置，然後
2020-06-15 08:01:07
原创 用一個csv格式的字符串創建dataframe對象
pandas提供了很多的方式去創建dataframe，例如接收字典，讀取csv或excel格式文件。 在讀取本地文件的時候，可以直接調用讀取csv的方法，但是多數情況下，csv文件是作爲一種模型的訓練數據存儲在hdfs上，pandas是沒
2020-06-15 08:01:07
原创 Python：this version of libhadoop was built without snappy support
問題如下：項目中有hadoop集羣，有的模塊在寫數據的時候，啓用了spark的壓縮格式：snappy，在讀取的時候，程序解析不了snappy壓縮格式的文件。this version of libhadoop was built witho
2020-06-15 08:01:07
原创 docker 無法拉取harbor中的鏡像
docker 可以從遠程鏡像倉庫（harbor）中拉取鏡像。有時候會遇到拉取鏡像失敗： 根據提示可以看出，這應該是由於沒有配置host文件導致的，可以配置host或者直接用ip。 配置好host後，再次嘗試拉取，報錯缺少證書。 取ha
2020-06-15 08:01:07