原创 [Linux] 修改系統默認 Python 版本
Centos7 默認使用Python2.7版本，安裝Python3之後要將系統默認的Python指向新版本，需進行以下幾步操作 1. 查看當前狀況 Python 的執行文件放在 /usr/bin 目錄下，使用 ls -l /usr
2020-07-08 04:26:34
3
原创 [Python] 安裝 bcolz 模塊
1. 方法一 根據米筐提供的方法, 可以通過下面的方式安裝 bcolz # 鏡像加速 pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple # 更新 pip/setupt
2020-07-08 04:26:33
28
原创 [Lunix] 將 Python 任務設爲守護進程（一）
一般來說守護進程是通過shell腳本來實現的，大致過程如下： 創建shell腳本，在文件開頭加上#!/bin/sh, 然後寫入要執行的任務。 創建service文件，在文件中寫入要執行的shell文件路徑，路徑必須爲絕對路徑。
2020-07-08 04:26:33
3
原创 [Python] 讀取 rar/zip 壓縮文件
一. 讀取 rar 文件 Python 中 python-unrar 模塊依賴於 UnRAR library, 所以需要先安裝 UnRAR library 1. 安裝 UnRAR library 在官網可以找到各種版本的安裝包,
2020-07-08 04:26:33
241
原创 [Lunix] 將 Python 任務設爲守護進程（二）
接着上一篇文章 將 Python 任務設爲守護進程（一），當python任務中包含相對路徑引用時，在service文件中執行python文件會報錯，爲了解決這個問題，還需藉助shell腳本的力量。假設項目存在/root/pytho
2020-07-08 04:26:33
2
原创 [Spark] 學習筆記 (一)
1. 分區 爲了讓多個執行器並行地工作，Spark 將數據分解成多個數據塊，每個數據塊叫做一個分區。 分區是位於集羣中的一臺物理機上的多行數據的集合，DataFrame 的分區也說明了在執行過程 中，數據在集羣中的物理分佈。如果只
2020-07-08 04:26:33
10
原创 [MySQL] 索引學習筆記
1. 索引分類 單值索引: 一個索引只包含單個列, 一個表可以有多個單列索引, 單值索引一次查詢只能用一個 唯一索引: 索引列的值必須唯一, 但允許有空值 複合索引: 一個索引包含多個列 2. 索引創建/刪除 創建: CRE
2020-07-08 04:26:33
2
原创 配置 VS Code Insiders 連接服務器
1. 安裝 Remote SSH 插件 2. 配置 config 文件 點擊 F1 - 輸入 “remote” - 點擊 “Remote-SSH: Connect To Host” - 點擊 Configure SSH Host
2020-07-08 04:26:33
1
原创 [Python] 連接 SQL Server 的兩種方式
1. 通過 pymssql 連接 首先創建連接 import pymssql conn = pymssql.connect(host='xxx.xxx.xxx.xxx', user=
2020-07-08 04:26:33
22
原创 [SQLServer] 使用 Visual Studio 2008 製作多維數據集
本博客主要記錄了使用 Visual Studio 2008 製作多維數據集的整個流程及其中可能會遇到的部分問題。 1. 新建項目 打開 Visual Studio 2008，在起始頁點擊新建項目 在新建項目窗口選擇“Analys
2020-07-08 04:26:33
2
原创 [Ubuntu] 安裝並設置遠程連接 MySQL
1. 安裝&啓動 # 安裝 sudo apt-get install mysql-server sudo apt-get install mysql-client # 啓動 sudo service start mysql 2.
2020-07-08 04:26:33
1
原创 [Spark] Spark/PySpark 的安裝及配置
1. 安裝 JAVA 詳細步驟可以參考: [Linux] 安裝 JAVA 2. 安裝 Spark 下載單機版 Spark, 當前最新版本 spark-2.4.4-bin-hadoop2.7.tgz wget http://mi
2020-07-08 04:26:33
2
原创 [Centos] 安裝和配置 MongoDB
1. 下載安裝包 wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.2.0.tgz 2. 解壓文件 將文件放在 /usr/local 目錄下 tar zxf
2020-07-08 04:26:33
3
原创 [Python] 讀/寫/查詢 .bcolz 文件
1. 讀取 將 .bcolz 文件讀爲 DataFrame import bcolz f = bcolz.open('/tmp/test.bcolz') df = f.todataframe() 2. 寫入 方法一: b
2020-07-08 04:26:33
2
原创 [雲服務] AWS-AMI 雲服務器系統初始配置
在嘗試了 AWS 各個地區各個版本系統之後, 最終選用了東京地區的 AMI 系統的節點, 下面記錄一下開啓實例之後的一些基本配置操作 1. 更新 yum AMI 自帶的 yum 版本較低, 導致很多包無法安裝, 所以需要先升級 y
2020-07-08 04:26:33