原创 安裝Uwsgi
在CentOS 7裏面安裝Uwsgi時通常使用 sudo pip install uwsgi 但是可能會遇到問題 所以也可以使用 yum -y install uwsgi 來安裝
2020-07-06 07:56:48
原创 解決Ubuntu安裝CUDF中一系列問題
在使用GPU對pandas加速的情況下需要使用cudf包，在安裝和使用CUDF過程中遇到了以下的問題 1、conda源中沒有cudf安裝包： 解決方法：由於conda配置的清華源中並沒有cudf等安裝包，所以需要自己掛載VPN下載 2、按
2020-07-06 07:56:48
6
原创 解決spark submit jar包出現OM問題
通過執行spark-submit XXX 命令來執行jar包的時候可能會出現以下錯誤： Java 堆內存溢出，出現這種情況可能是因爲spark默認分配給Java driver執行內存不夠，需要我們手動設定Java driver內存。
2020-07-06 07:56:48
1
原创 解決在local模式中提交spark作業至Apache Livy Batch交互模式錯誤
問題詳情： 在使用Apache Livy中Batch模式提交Spark作業時，提交json如下： { "conf":{"spark.master":"local"}, "file":"/home/hadoop/Documents/s
2020-07-06 07:56:48
原创 解決cv2短時間內連續打開電腦前置攝像頭報錯問題
問題描述： 使用opencv3.4.3來開啓攝像頭，10s之後關閉攝像頭，但是cv2.release()之後攝像頭依然開啓，並未釋放（通過觀察電腦上面攝像頭旁邊的指示燈可以知道），然後再次啓動攝像頭的話會有警告，警告提示如下： [ WAR
2020-07-06 07:56:48
1
原创 解決使用java編寫spark代碼maven打包報錯問題
java代碼編寫好之後，在使用maven將其打爲jar包的時候，報錯如下： Error:(20,46) java: 無法訪問scala.Cloneable 原因是在pom.xml文件中添加了如下依賴： <dependency>
2020-04-23 17:24:16
原创 歐基裏德距離計算相似度評價值
歐幾里得距離評價方法已經過人們一致評價的物品爲座標軸，然後將參與評價的人繪製在圖上並考察他們彼此距離，計算出每一軸上的差值，求平方後再相加，最後對總和求平方根。 critics={'Lisa Rose':{'Lady in Water'
2018-08-27 15:54:00
原创 Tomcat安裝以及配置環境變量
安裝tomcat http://tomcat.apache.org/download-70.cgi 然後解壓到自己的指定路徑下 需要配置三個變量： （1）在tomcat文件中找到bin文件夾，編輯其中的startup.bat，這其中添加j
2018-08-27 15:53:30
原创 python sys.argv的使用
sys.argv 變量保存了程序的文件名和命令行參數的列表sys.argv[0] :表示此程序文件名sys.argv 用來獲取命令行輸入的字符，生成列表sys.argv 適用於列表切片例如：sys.argv[:4]表示獲得列表中從下表
2018-08-27 15:53:18
1
原创 python強大的列表推導式
真的感覺python的列表推導式是一個非常強大的功能 （1）創建一個包含1~12的平方的列表： <<<squares=[x*x for x in range(1,12)] (range也是一個非常強大的排序函數) （2）
2018-08-27 15:53:06
1
原创 CentOS配置virtualenv
安裝virtualenv: yum install python-virtualenv 創建python虛擬環境： virtualenv env1（創建了名爲env1的虛擬環境） 在本地生成了一個名爲env1的文件夾 啓動虛擬環境：
2018-08-27 15:53:06
1
原创 皮爾遜相關度評價
皮爾遜相關係數是判斷兩組數據與某一直線的擬合程度的一種度量。 critics={'Lisa Rose':{'Lady in Water':2.5,'Snacks on a Plane':3.5,'Just My Luck':3.0,'Su
2018-08-27 15:53:06
3
原创 pip更新
通過 pip --version pip2 --version pip3 --version 查看當前pip版本 使用 pip install --upgrade pip pi
2018-08-27 15:53:06
3
原创 構造數據集
先行條件：在網站http://oreilly.com/catalog/9780596529321下載函數庫 調用函數：get_popular(獲得一組近期張貼的熱門鏈接) get_urlposts(返回給定URL的所有張貼記錄)
2018-08-27 15:53:06
原创 解決Django網頁端口顯示被佔用問題
運行一個django項目之後再一次運行另一個項目，即輸入python manage.py runserver後可能會出項以下錯誤: ERROR:the port is already in use 就是端口還在被佔用，無法運行下一個項目
2018-08-27 15:53:06
2