原创 Docker學習1——Docker容器初始

什麼是容器 依託linux內核的虛擬化技術 什麼是docker 能夠把應用自動部署到容器的開源引擎 docker與虛擬器的區別對比 docker的目標 (1)提供簡單輕量的建模方式 (2)職責的邏輯分離 (3)快速高效的開發週期

原创 Python調用R KeyError:"R_HOME"

import rpy2.robjects as robject 報錯 在shell 也報錯 爲什麼找不到環境變量呢,已經配置過了呀! 解決 pycharm中 就可以了

原创 Docker學習2——Docker容器相關技術介紹

Docker依賴的Linux內核特性 1.Namespaces 命名空間 2.Control groups 控制組 (1)命名空間 編程語言:封裝——代碼隔離 操作系統:系統資源的隔離 進程、網絡、文件系統 (2)控制組 用

原创 Docker容器初始

什麼是容器 依託linux內核的虛擬化技術 什麼是docker 能夠把應用自動部署到容器的開源引擎 docker與虛擬器的區別對比 docker的目標 (1)提供簡單輕量的建模方式 (2)職責的邏輯分離 (3)快速高效的開發週期 (

原创 linux系統下安裝R

1)升級:從源代碼編譯安裝 $ wget http://cran.r-project.org/src/base/R-3/R-3.3.1.tar.gz $ tar -xf R-3.3.1.tar.gz $ cd R-3.3.1 $ ./

原创 Python調用R

import rpy2.robjects as robject 報錯 在shell 也報錯 爲什麼找不到環境變量呢,已經配置過了呀! 解決 pycharm中 就可以了

原创 FTP與SFTP

FTP與SFTP

原创 Alluxio使用

Alluxio使用

原创 Spark讀寫S3文件

Spark讀寫S3文件 Spark讀寫Alluxio文件

原创 Wormhole的使用

Wormhole的使用

原创 matplotlib報錯

源代碼 def spec(temp_wave,framerate): spec, freqs, t, im= plt.specgram(temp_wave,NFFT=1024, Fs=framerate, n

原创 集羣上運行pyspark的坑———調用(bash)

那些踩過的坑 1 pyspark程序在集羣上運行——配置文件 配置文件需要分發到各個節點: (1)配置文件打包進zip,zip包含_int_.py文件 (2)bash 文件中配置好 引用了其他的數據源,也要添加進bash文件 2 包

原创 Python 學習:002day——面向對象

Python 學習:002day——面向對象 網絡學習: http://www.runoob.com/python3/python3-class.html

原创 Python 學習:001day——標準庫

Python 學習:001day——標準庫 Python 標準庫包含超大量的實用模塊,同時其實是每個 Python 標準安裝的一部分。 os模塊 os模塊提供了不少與操作系統相關聯的函數。 glob模塊 glob模塊提供了一個函數用於

原创 Python 學習:003day——模塊,搜索路徑與包

模塊 把這些定義存放在文件中,爲一些腳本或者交互式的解釋器實例使用,這個文件被稱爲模塊。模塊是一個包含所有你定義的函數和變量的文件,其後綴名是.py。模塊可以被別的程序引入,以使用該模塊中的函數等功能。這也是使用 python 標準庫