Python異步解析主流視頻網站視頻信息框架

原創 Panoslin 2020-07-04 23:20

aioVextractor

Python異步解析主流視頻網站視頻信息框架

開發文檔

  1. docker便捷部署

    git clone https://github.com/panoslin/aioVextractor &&\
cd aioVextractor &&\
sudo chmod +x build.sh &&\
sudo sh build.sh

  2. 接口體驗地址

  3. 使用

    from aioVextractor.api import (
    extract,
    breakdown,
    hybrid_worker
)
import aiohttp
import asyncio

async def test():
    async with aiohttp.ClientSession() as session:
        single_url = "https://creative.adquan.com/show/286788"
        playlist_url = "https://weibo.com/p/1005055882998192/photos?type=video#place"
        print(await extract(webpage_url=single_url, session=session))
        print(await hybrid_worker(webpage_url=single_url, session=session))
        print(await breakdown(webpage_url=playlist_url, session=session))
        print(await hybrid_worker(webpage_url=playlist_url, session=session))


asyncio.run(test())

    以上提供最高級的 API 解析視頻網頁鏈接

    • extract: 解析單個視頻網址
    • breakdown: 解析整個播放列表網址
    • hybrid_worker: 自動檢測網頁是否爲 單個視頻網址/播放列表網址 並且返回對應結果

  4. 支持的網站

    • youtube
    • tvcf
    • vimeo
    • vmovier
    • iwebad
    • douyin
    • naver
    • hellorf
    • pinterest
    • digitaling
    • weibo
    • adquan
    • xinpianchang
    • carben
    • bilibili
    • tencent
    • instagram
    • lanfan
    • youku
    • renren
    • socialbeta
    • weixin
    • eyepetizer

  5. 測試Demo

    from aioVextractor.extractor.tencent import Extractor as tencentIE
from pprint import pprint

with tencentIE() as extractor:
    webpage_url = "https://v.qq.com/iframe/player.html?vid=c0912n1rqrw&tiny=0&auto=0"
    res = extractor.sync_entrance(webpage_url=webpage_url)
    pprint(res)

"""
OUTPUT:
[{'ad_link': None,
  'author': 'Apple 官方頻道',
  'author_attention': None,
  'author_avatar': None,
  'author_birthday': None,
  'author_description': None,
  'author_follwer_count': None,
  'author_follwing_count': None,
  'author_gender': None,
  'author_id': None,
  'author_sign': None,
  'author_url': 'http://v.qq.com/vplus/c855f20d041bc7e06f356522325b0902',
  'author_videoNum': None,
  'category': None,
  'cdn_url': None,
  'collect_count': None,
  'comment_count': None,
  'cover': 'http://vpic.video.qq.com/0/c0912n1rqrw.png',
  'description': None,
  'dislike_count': None,
  'download_count': None,
  'downloader': 'aria2c',
  'duration': '30',
  'forward_count': None,
  'from': 'tencent',
  'gender': None,
  'height': None,
  'language': None,
  'like_count': None,
  'play_addr': 'http://video.dispatch.tc.qq.com/uwMROfz2r5zIIaQXGdGlQmdfDmZvd0vRcymWSecrfGm8rzTb/c0912n1rqrw.mp4?vkey=0A9434327F854F742C34AEA63A4F5D91ECD3BD9941D4A21621691B03C74371E884E6AF55D20955207FFCE82AA75A01A55B29C753410E57BDCD9CB487C427D06C88D3DC8EEAF862862C5ACE1D009EA9AB4E9E9FD248C76EA2072BCAF06BA0F96DE76EE242119D5AAC873A6C18214552B745D194B35B1F1525CBE32AC7B90C7EAA',
  'rating': None,
  'recommend': None,
  'region': None,
  'share_count': None,
  'tag': ['敬 Mac 背後的你 - 試出可能 - Apple',
          '騰訊視頻',
          '電影',
          '電視劇',
          '綜藝',
          '新聞',
          '財經',
          '音樂',
          'MV',
          '高清',
          '視頻',
          '在線觀看'],
  'title': '敬 Mac 背後的你 - 試出可能 - Apple',
  'upload_date': None,
  'upload_ts': 1262275200,
  'vid': 'c0912n1rqrw',
  'view_count': '246304',
  'webpage_url': 'https://v.qq.com/x/page/c0912n1rqrw.html',
  'width': None}]
"""

  6. 測試Demo

    from aioVextractor.api import hybrid_worker
import aiohttp
import asyncio
from pprint import pprint

async def test(url):
    async with  aiohttp.ClientSession() as session:
        result = await hybrid_worker(
            webpage_url=url,
            session=session,
        )
        return result

url = "https://www.youtube.com/playlist?list=PLs54iBUqIopDv2wRhkqArl9AEV1PU-gmc"  ## u can try any url from `TEST_CASE`
pprint(asyncio.run(test(url=url)))


"""
OUTPUT:
Processing URL: https://www.youtube.com/playlist?list=PLs54iBUqIopDv2wRhkqArl9AEV1PU-gmc
([{'ad_link': None,
   'author': None,
   'author_attention': None,
   'author_avatar': None,
   'author_birthday': None,
   'author_description': None,
   'author_follwer_count': None,
   'author_follwing_count': None,
   'author_gender': None,
   'author_id': None,
   'author_sign': None,
   'author_url': None,
   'author_videoNum': None,
   'category': None,
   'cdn_url': None,
   'collect_count': None,
   'comment_count': None,
   'cover': 'https://i.ytimg.com/vi/61CQm2zVVk0/hqdefault.jpg?sqp=-oaymwEZCPYBEIoBSFXyq4qpAwsIARUAAIhCGAFwAQ==&rs=AOn4CLAKICJl2FlmleQsKntUd0KIeOEjZA',
   'description': None,
   'dislike_count': None,
   'download_count': None,
   'downloader': 'ytd',
   'duration': None,
   'forward_count': None,
   'from': 'youtube',
   'gender': None,
   'height': None,
   'language': None,
   'like_count': None,
   'play_addr': None,
   'playlist_url': 'https://www.youtube.com/playlist?list=PLs54iBUqIopDv2wRhkqArl9AEV1PU-gmc',
   'rating': None,
   'recommend': None,
   'region': None,
   'share_count': None,
   'tag': None,
   'title': "The Avengers Earth's Mightiest Heroes Se1 - Ep01 Breakout (Part "
            '1) - Part 01',
   'upload_date': None,
   'upload_ts': None,
   'vid': '61CQm2zVVk0',
   'view_count': None,
   'webpage_url': 'https://www.youtube.com/watch?v=61CQm2zVVk0&list=PLs54iBUqIopDv2wRhkqArl9AEV1PU-gmc&index=2&t=0s',
   'width': None},
   ...
  {'ad_link': None,
   'author': None,
   'author_attention': None,
   'author_avatar': None,
   'author_birthday': None,
   'author_description': None,
   'author_follwer_count': None,
   'author_follwing_count': None,
   'author_gender': None,
   'author_id': None,
   'author_sign': None,
   'author_url': None,
   'author_videoNum': None,
   'category': None,
   'cdn_url': None,
   'collect_count': None,
   'comment_count': None,
   'cover': 'https://i.ytimg.com/vi/PRT3FjaP71E/hqdefault.jpg?sqp=-oaymwEZCNACELwBSFXyq4qpAwsIARUAAIhCGAFwAQ==&rs=AOn4CLA2zBcMa68iPw6tQO5nSbKlkwFv8w',
   'description': None,
   'dislike_count': None,
   'download_count': None,
   'downloader': 'ytd',
   'duration': None,
   'forward_count': None,
   'from': 'youtube',
   'gender': None,
   'height': None,
   'language': None,
   'like_count': None,
   'play_addr': None,
   'playlist_url': 'https://www.youtube.com/playlist?list=PLs54iBUqIopDv2wRhkqArl9AEV1PU-gmc',
   'rating': None,
   'recommend': None,
   'region': None,
   'share_count': None,
   'tag': None,
   'title': "The Avengers Earth's Mightiest Heroes Se1 - Ep10 Everything Is "
            'Wonderful - Screen 04',
   'upload_date': None,
   'upload_ts': None,
   'vid': 'PRT3FjaP71E',
   'view_count': None,
   'webpage_url': 'https://www.youtube.com/watch?v=PRT3FjaP71E&list=PLs54iBUqIopDv2wRhkqArl9AEV1PU-gmc&index=101&t=0s',
   'width': None}],
 True,
 {'clickTrackingParams': 'CD0QybcCIhMI16ucw-G35QIV40L1BR0A1weh',
  'continuation': '4qmFsgI2EiRWTFBMczU0aUJVcUlvcER2MndSaGtxQXJsOUFFVjFQVS1nbWMaDmVnWlFWRHBEUjFFJTNE'})
"""

  7. 測試通過鏈接：

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

01、ubuntu虛擬機安裝圖解說明

1、開機啓動 2、按回車鍵進入如下畫面： 選擇Done 按回車鍵 3、選擇Install Ubuntu 按回車鍵           改成最大值      

原創 2021-05-27 09:24:11

TeamViewer14 ubuntu 終端命令行修改局域網鏈接

在沒有顯示器、鼠標鍵盤的情況下，想要遠程查看工控機界面，需要先安裝Teamviewer軟件，然後通過ssh形式進行修改配置文件，重啓Teamviewer即可。 方式如下： 打開Teamviewer 配置文件： sudo vi /etc/

ros小生 2020-07-08 11:09:33

JS獲取本地IP&顯示隱藏IP

JS獲取本地IP&顯示隱藏IP前言JS獲取本地IP方法遇到問題解決方案火狐(FireFox)刪除隱藏IP谷歌(Chrome)刪除隱藏IP 前言 這段時間一直在搞前端,我一個軟件開發工程師開發前端得多閒.項目需求需要獲取當前機器IP

ros小生 2020-07-08 11:09:33

docker中的zuul服務連接docker中的mysql數據庫動態配置路由信息

1.建立zuul_route路由規則表   /* SQLyog Ultimate v11.11 (64 bit) MySQL - 5.5.19 : Database - test *****************************

ROBOT玲玉 2020-07-08 08:56:56

sonarqube scanner安裝及檢測maven項目代碼質量的配置

sonarqube scanner下載地址，選擇相應的版本進行下載。 https://docs.sonarqube.org/latest/analysis/scan/sonarscanner/ sonarqube scanner 安裝配置

ROBOT玲玉 2020-07-08 08:19:16

實現eureak高可用性及建立eureak服務註冊中心及服務提供者

在微服務架構這樣的分佈式環境中，我們需要充分的考慮發生故障的情況，所以在生產環境中我們必須對各個組件進行高可用部署。Eureka Server 的設計一開始就考慮了這個問題，在Eureka的服務治理設計中，所有的結點，既是服務提供方，也是

ROBOT玲玉 2020-07-08 08:19:12

爬取高清站長之家美圖（想爬多少爬多少）

方方面面總是會需要使用一些圖片做封面或背景。圖片有兩種來源：一是通過創可貼自己動手修改下就可以用了，還一種就是在網上下載圖片。 那如何下載高清並且可以供使用的圖片了？我是使用的站長之家網站下載來的圖片（http://sc.chin

iplaypy(蟒蛇师) 2020-07-08 10:43:01

爬蟲-獲取指定城市所有企業信息

之前寫過一個博客：python爬蟲從企查查獲取企業信息-手工繞開企查查的登錄驗證 https://blog.csdn.net/rock4you/article/details/88254612 但只能獲取指定公司的信息，這篇博客的目的是獲

rock4you 2020-07-08 08:24:13

學習爬蟲基礎6-HTTP響應狀態碼參考：

HTTP響應狀態碼參考： 1xx:信息 100 Continue 服務器僅接收到部分請求，但是一旦服務器並沒有拒絕該請求，客戶端應該繼續發送其餘的請求。 101 Switching Protocols 服務器轉換協議：服務器

疯狂打码中 2020-07-08 07:56:24

SpringBoot 瘦包

不摸魚了，直接上代碼！ 也參考了網上很多資料，請理解！ <build> <plugins> <plugin> <artifactId>maven-compiler-plugin</arti

中了代码的毒 2020-07-08 11:45:05

根據其他線程返回值繼續執行當前線程

import java.util.concurrent.FutureTask; public class Test { public static void main(String[] args) throws Exce

t0hka 2020-07-08 10:21:00

反射初識

反射 1. 反射概述 1.1 Java文件和.class文件的關係 Java文件 Java文件中包含代碼的所有內容，類，接口，成員變量，成員方法.... .class字節碼問題 .java文件 通過 javac編譯工具生成對

t0hka 2020-07-08 09:40:15

TCP服務器和客戶端學生管理系統功能分析

TCP服務器和客戶端學生管理系統 1. 服務器功能分析 1.1 數據處理模塊 1. 驗證用戶登陸 2. 完成最基本的增刪改查功能 3. 考慮鎖操作 1.2 數據存儲模塊 1. JSON文件格式存儲和讀取 2. 定時更新操作 1

t0hka 2020-07-08 09:40:15

構建自己的簡單微服務架構

總體介紹 隨着業務需求的快速發展變化，需求不斷增長，迫切需要一種更加快速高效的軟件交付方式。微服務可以彌補單體應用不足，是一種更加快速高效軟件架構風格。單體應用被分解成多個更小的服務，每個服務有自己的獨立模塊，單獨部署，然後共同組

CacoCode 2020-07-08 09:08:45

mybatis-reflection反射包解析

反射包解析 概述 mybatis反射包，提供了反射相關的工具，爲啥要提供這些工具呢，java不是已經提供反射的功能了嗎？ java反射雖然已經很強大，但是api偏底層，要想使用好可能會需要大量重複代碼，可能使用不當也會產生性能問題

请叫我程序猿大人 2020-07-08 08:38:26