原创 RedisCrawlSpider爬蟲遇到 `明威把`不能轉換爲漢字的解決辦法

問題闡述 爬取網頁時,正常情況下python3中能直接轉化爲utf-8,即所謂的漢字能夠正常顯示。所以即使網頁中顯示的是這種escape sequence,獲取到之後能夠顯示正常,但是偶爾也不好使,不好使的情況下就會出現以下的ch

原创 python中調用matplotlib畫圖,各種中文標註亂碼強力解決辦法

關於python中調用matplotlib畫圖,中文標註亂碼 如下: 1、 常規情況 2、 特殊情況 圖形註釋(plt.legend()) 餅狀圖(plt.pie()) 解決辦法: 針對常規情況 # 通用字體設置 f

原创 mysql日誌文件開啓及詳解:General_log 和 Binlog

轉自:https://blog.csdn.net/Abysscarry/article/details/79949480 Genera

原创 pandas 0.23.4 :'pd.ewma'沒有這個模塊,改用`Series.ewm` 或 降低版本到 pandas 0.21.0

問題: 在進行畫出指數平滑移動平均線,遇到如下問題: # pd.ewma(com=None, span=one) # 指數平均線。com:數據;span:時間間隔 AttributeError: module 'pandas'

原创 python將pandas數據轉爲spark的dataframe格式保存到hive中

使用python在調用集羣跑數據之後,數據以pandas計算,輸出的結果保存到hive數據庫中,最老套的辦法。(注意:這裏的spark版本是1.6) 步驟: from pyspark.sql import HiveContext

原创 搭建自己的blog

由於 NightTeam 的域名是 nightteam.cn,所以這裏官方博客使用了二級域名 blog.nightteam.cn,官方主頁使用了根域名 nightteam.cn,現在兩個站點都已經穩定運行在 GitHub Page

原创 第五章 支持向量機(SVM)

支持向量機(SVM)詳解 文章目錄支持向量機(SVM)詳解支持向量機線性SVM分類大間隔分類特徵縮放的敏感度軟間隔分類硬間隔對異常值的敏感度街道寬闊 vs 限制間隔違例(之間找到良好的平衡,即:軟間隔分類)非線性SVM分類非線性S

原创 python爬取網頁的視頻

這裏指定了一個視頻的鏈接地址: http://f.us.sinaimg.cn/000bIRNylx07uBalSO1y0104120cNh4r0E050.mp4?label=mp4_hd&template=640x360.28.0

原创 python運行demo時,自動安裝環境

將下面的代碼放入demo中,輸入use_module_list = [需要安裝的包] 實例: import sys, os # module_list = sys.modules.keys() use_module_list =

原创 電腦內網外網同時訪問-解決辦法

當在遇到連內網的時候,不能連外網,電腦進行連接熱點,需要的操作的步驟: 查看內網的默認網關 ip,我這裏的是10.62.110.1 查看熱點的網關 ip,我這裏是192.168.43.1 創建.txt文件,輸入圖片上的內容,保存,修

原创 Linux安裝pip和setuptools

一、說明 linux自帶的python版本是2.7.5,但是不自帶pip命令,下面針對這問題進行配置 二、安裝步驟 1、安裝setup-tools和pip 在https://pypi.python.org/pypi/setuptool

原创 Scala 使用 IntelliJ IDEA編寫Hello World

使用Intellij IDEA開發Scala,需要下載相對應的插件。 開始一個簡單的 Hello World 程序,具體的操作步驟: File->New->Project 選擇Scala->IDEA 點擊 next 進入下一步,配

原创 win10的jupyter notebook使用pyspark2.3.2解決的報錯問題

1、問題出現: py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectA

原创 Microsoft office365激活密鑰

2016 office BHXN7-MQB36-MTHQ4-8MHKV-CYT97 8DJJQ-8NR7B-7QY7D-VCGPF-TVJ92

原创 Python:雷達圖的實現

雷達圖 雷達圖在數據挖掘項目中多用於企業分析或者價值分析的環節可視化。雷達圖分析法是一種系統分析的有效方法,它是從項目中自身建立的多方面分析企業的經營成果。並將這些方面的有關數據用比率表示出來,填寫到一張能表示各自比率關係的等比例圖形