原创 Python:langdetect和langid檢測語言類型
需求問題： 前幾天，因爲工作的需要，要求對爬取的語料進行語種識別，所以在網上查閱了一些資料。在這裏跟大家介紹下兩個語言檢測工具langdetect和langid。 1.langid模塊 在這裏提供一下，官方文檔。大家有興趣的話，可
2020-07-03 04:17:26
73
原创 Python通過m3u8文件下載合併ts視頻
前段時間，接到一個需求，要求下載某一個網站的視頻，然後自己從網上查閱了相關的資料，在這裏做一個總結。 1. m3u8文件 m3u8是蘋果公司推出一種視頻播放標準，是一種文件檢索格式，將視頻切割成一小段一小段的ts格式的視頻文件，然
2020-07-03 04:17:16
原创 Mongodb的權限管理
1.爲什麼要進行權限管理的設置 剛安裝完畢的mongodb默認不使用權限認證方式啓動，與MySQL不同，mongodb在安裝的時候並沒有設置權限，然而公網運行系統需要設置權限以保證數據安全，所以我們要學習mongodb的權限管理
2020-07-03 04:17:16
原创 python中英文翻譯translate模塊使用
1.說明： 從一種語言到另一種語言的文本翻譯在各種網站中越來越普遍。 幫助我們執行此操作的python包稱爲translate。 可以通過以下方式安裝此軟件包。 它提供主要語言的翻譯。 官網鏈接：https://pypi.org/
2020-07-03 04:17:16
351
原创 Python OS和shutil模塊的常見方法
1.列出指定目錄下所有的文件 os.listdir() 2.路徑拼接 os.path.join() 3.刪除文件 os.remove() 刪除文件夾 import shutil shutil.rmtree(path)
2020-07-03 04:17:16
1
原创 Python全角和半角之間相互轉換
1.應用領域： 全角和半角的轉換通常用在自然語言處理過程中，由於全角和半角的不一致會導致信息抽取不一致，在使用語料訓練語言模型會導致模型的效果不準確，所以需要統一。 2.全角半角轉換概述 全角字符unicode編碼範圍從6528
2020-07-03 04:17:16
2
原创 selenium的使用教程3
案例1：鬥魚爬蟲 爬取鬥魚直播平臺的所有房間信息：https://www.douyu.com/directory/all 思路分析: 1.1數據的位置： 每個房間的數據都在id=live-list-contentbox的ul中
2020-07-03 04:17:16
3
原创 python 去除所有的中文 英文標點符號
去除英文標點符號 python的string模塊下的 punctuation 包含所有的英文標點符號，所以用replace()一下就可以去除。 代碼示例： import string stri = 'today is friday
2020-07-03 04:17:16
原创 Redis 五種數據類型
Redis支持五種數據類型 String（字符串 Hash（哈希） List（列表） Set（集合） zset(sorted set：有序集合) 類型 簡介 特性 場景 String(字符串) 二進制安全 可以包
2020-06-07 06:33:17
原创 在linux中解壓.tgz
首先：打開終端 1.進入下載路徑下，比如我的就是進入Downloads下。 輸入命令： cd Downloads 2.解壓到當前文件夾 輸入：tar zxvf 文件名.tgz -C ./ 比如我的是：tar zxvf simple
2020-05-22 13:14:31
原创 linux命令 ps aux | grep xxx詳解
說明： 要對進程進行監測和控制,首先必須要了解當前進程的情況,也就是需要查看當前進程, 而 ps命令 Process Status 就是最基本，同時也是非常強大的進程查看命令. 使用該命令 ，可以確定有哪些進程正在運行和運行的狀態
2020-05-22 13:14:31
原创 python中的Xpath方法總結
說在前面： 由於目前一直在做爬蟲，之前常使用requests模塊，現在改用scrapy框架。在解析頁面元素的時候，本人常常喜歡使用xpath，所以爲了以後忘記語法，做一個總結，便於查看。 1.xpath介紹 XPath，全稱 XM
2020-02-21 11:24:04
原创 Python內層for循環continue和break出外層循環
遇到問題： 昨天在寫代碼的時候，遇到一個問題。就是當內層的for循環滿足條件的時候，如何結束本次內層循環 ，同時，跳過或者結束本次外層循環。後來，在網上就查閱了一些資料，自己整理了下。 1.for…else… 搭配break 結束
2020-02-21 11:24:04
原创 python 爬取今日頭條熱點新聞
嗯，今天就讓我們來一起爬爬今日頭條的熱點新聞吧！ 今日頭條地址：https://www.toutiao.com/ch/news_hot/ 在瀏覽器中打開今日頭條的鏈接，選中左側的熱點，在瀏覽器開發者模式，network下很快能找到
2020-02-21 11:24:04
原创 linux中sz和rz的使用，在服務器和本地之間傳輸數據
sz和rz 命令通常都是服務器和本地之間，互相傳輸文件使用。 1. 安裝 linux默認版本是無法使用 sz和rz 命令的，需要自己安裝 yum install lrzsz 2. sz命令發送文件到本地 sz中的s意爲send（
2020-02-21 11:24:04