前言：在我搭建好Jellyfin軟件後，因爲只能播放本地視頻，就想能不能播放網絡上的電影，可以每天自動下載並更新，這樣就不用我手工下載好，再上傳到NAS中播放。或許有更好的方法，那就是直接用電影播放源，那就有個問題了，沒有那個視頻網願意給播放源，所以還是自己慢慢下載後再播放吧。個人對於python語言也是小白，在網絡上尋找大神的腳本稍加修改得到的。
如果需要搭建jellyfin，請看我之前的博客-家庭影院Jellyfin搭建，linux網頁視頻播放器。
環境：centos7
工具：python3、jellyfin、shell腳本、aria2
1、安裝python3
默認安裝好centos7系統後，自帶有python2.7.5的版本，所以需要安裝python3的版本。2.7.5的版本不能刪除，否則centos系統會崩潰。請從官網下載python3.8版本。
關於python2升級至python3，會有一些問題，但都能解決，請參考以下資料：
2）pbzip2: error while loading shared libraries: libbz2.so.1.0: cannot open shared object file
3）centos7安裝python3及其配置pip（建立軟連接）
2、編輯python腳本
命名腳本爲movie.py，將以下複製到py腳本保存，執行python3 movie.py。查看爬取結果，是否生成文件。
腳本不是我編寫的，是借鑑大神，然後根據電影天堂現在的地址和信息，做了一些改動，獲取下載電影地址
# encoding: gbk
# 我們用到的庫
import requests
import bs4
import re
import pandas as pd
def get_data(url):
'''
功能：訪問 url 的網頁，獲取網頁內容並返回
參數：
url ：目標網頁的 url
返回：目標網頁的 html 內容
'''
headers = {
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
}
try:
r = requests.get(url, headers=headers)
r.raise_for_status()
r.encoding = 'gbk'
return r.text
except requests.HTTPError as e:
print(e)
print("HTTPError")
except requests.RequestException as e:
print(e)
except:
print("Unknown Error !")
def parse_data(html):
'''
功能：提取 html 頁面信息中的關鍵信息，並整合一個數組並返回
參數：html 根據 url 獲取到的網頁內容
返回：存儲有 html 中提取出的關鍵信息的數組
'''
bsobj = bs4.BeautifulSoup(html,'html.parser')
info = []
# 獲取電影列表
tbList = bsobj.find_all('table', attrs = {'class': 'tbspan'})
# 對電影列表中的每一部電影單獨處理
for item in tbList:
movie = []
link = item.b.find_all('a')[0]
# 獲取電影的名稱
name = link.string
# 獲取詳情頁面的 url
url = 'https://www.dytt8.net' + link["href"]
# 將數據存放到電影信息列表裏
movie.append(name)
movie.append(url)
try:
# 訪問電影的詳情頁面，查找電影下載的磁力鏈接
temp = bs4.BeautifulSoup(get_data(url),'html.parser')
tbody = temp.find_all('a')
print(tbody)
#^magnet.*?fannouce
# 下載鏈接有多個（也可能沒有），這裏將所有鏈接都放進來
for i in tbody:
lines = i.get("href")
if "magnet" in lines:
#download = lines.a.text
#print(lines)
movie.append(lines)
print(movie)
# 將此電影的信息加入到電影列表中
info.append(movie)
except Exception as e:
print(e)
return info
def save_data(data):
'''
功能：將 data 中的信息輸出到文件中/或數據庫中。
參數：data 將要保存的數據
'''
filename = 'C:/Users/Administrator/Desktop/movie.txt'
dataframe = pd.DataFrame(data)
dataframe.to_csv(filename, mode='a', index=False, sep=';', header=False)
def main():
# 循環爬取多頁數據
#for page in range(1, 114):
# print('正在爬取：第' + str(page) + '頁......')
# 根據之前分析的 URL 的組成結構，構造新的 url
#if page == 1:
# index = 'index'
#else:
# index = 'index_' + str(page)
# url = 'https://www.dy2018.com/2/'+ index +'.html'
#url='https://www.dy2018.com/2/index.html'
url='https://www.dytt8.net/html/gndy/dyzz/index.html'
# 依次調用網絡請求函數，網頁解析函數，數據存儲函數，爬取並保存該頁數據
html = get_data(url)
movies = parse_data(html)
save_data(movies)
#print('第' + str(page) + '頁完成！')
if __name__ == '__main__':
print('爬蟲啓動成功！')
main()
print('爬蟲執行完畢！')
3、安裝aria2
安裝教程，請訪問我的博客第一條，安裝nextcloud裏面有詳細的安裝aria2教程
4、編寫aria2下載的shell腳本
#!/bin/bash
cd /downloads
count=0
#/root/shell/movie.txt，這個地址是movie.py執行後生成的下載地址，請根據你實際的地址填寫
route=/root/shell/movie.txt
name=(`awk -F ";" '{print $1}' $route | cut -d '《' -f2|cut -d '》' -f1 | cut -d '/' -f1`)
addr=(`awk -F ";" '{print $3}' $route`)
nr=`awk '{print NR}' $route | tail -n1`
prop=`awk -F ";" '{print $3}' $route | cut -d '&' -f2 | awk -F "." '{print $8}'`
for ((i=0; i<=nr; i++))
do
let count++
echo "正在下載第$count個電影，《${name[$i]}》"
sudo -u www nohup aria2c -o "${name[$i]}.${prop[$i]}" "${addr[$i]}" &
echo "第$count個電影完成創建，轉後臺下載中"
sleep 2
done
rm -rf /root/shell/movie.txt
5、測試
執行腳本，請注意先後順序，先執行python3 movie.py。等待爬取下載電影地址完成後，執行sh movie.sh。
6、增加自動任務，添加到crontab
crontab -e中增加以下信息，獲取這個方法不完善，但仍在改進
#每2天運行python腳本，獲取電影天堂下載地址
20 1 */2 * * python3 /root/shell/movie.py
#每2天運行一次aria2下載電影
30 1 */2 * * sh /root/shell/movie.sh
7、使用jellyfin添加媒體庫
在這裏，把媒體庫的自動掃描調整爲每個小時都掃描一次，這樣可以很快的增加到媒體庫。
至此，已經完成了自動從電影網下載電影，並自動掃描到媒體庫，就可以不用管了，每2天自動更新。寫的腳本只下載了詳情頁的第一頁，如果想下載很多頁，請把主方法中的循環打開調整數字就可以了