ChatGPT爆火，推動芯片行業解除“寒冬”

近一年多來，半導體行業幾乎是處於“寒風”狀態，素有 " 半導體行業風向標 " 之稱的存儲芯片，在需求破滅與庫存高企的多重因素下，更是遭受着有史以來最嚴重的挫敗，遲遲看不到回暖的跡象。 危機之下，除了迫切期待盛衰週期的輪轉，" 破局 " 正在成爲存儲芯片廠商新的信條。在行業寒冬折射出來的跌宕起伏的命運中，探尋新的出路，而這個新的出路因爲近期ChatGPT的爆火打開了出口。 據臺媒科技媒體《電子時報》報道，半導體供應鏈透露，受聊天機器人ChatGPT需求推動，大量訂單湧向臺積電急單來自英偉達、AMD與蘋果的AI、數據中心平臺，當中爆紅的ChatGPT推力最大。這種情況將帶動臺積電業開始慢慢的回 從曾經的爆火到爆冷，也讓不少人重新認識了半導體行業。既然半導體行業有回升的勢頭，那麼我們可以獲取一下關於芯片庫存和芯片信息，數據來源於：www.ti.com.cn經過多次的網頁分析，發現獲取數據需要cookie，使用cookie獲取詳情頁代碼如下：

def getItemInfo(url): logger.info(f'正在請求詳情url-{url}') cookie,proxies = getCookie(url) headers = { 'authority': 'www.xx.com.cn', 'accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3;q=0.9", 'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36", 'referer':'https://www.xx.com.cn/product/cn/THS4541-DIE', 'cookie':cookie } res = getRes(url, headers,proxies, '', 'GET') content = res.content.decode('utf-8') print(content) exit() sel = Selector(text=content) Parameters = sel.xpath('//ti-tab-panel[@tab-title="參數"]/ti-view-more/div').extract_first() Features = sel.xpath('//ti-tab-panel[@tab-title="特性"]/ti-view-more/div').extract_first() Description = sel.xpath('//ti-tab-panel[@tab-title="描述"]/ti-view-more').extract_first() if Parameters and Features and Description:

還有就是網站詳情頁帶cookie請求有100多次，如果用本地代理一直去請求，會有IP封鎖的可能性出現，導致無法正常獲取。所以，需要高效請求的話，優質穩定的代理IP必不可少，我這裏通過高匿的爬蟲代理加強版且併發在100以上請求的T網站，數據很快就訪問出來了。本次使用的代碼如下： #! -- encoding:utf-8 --

import requests
import random

# 要訪問的目標頁面
targetUrl = "www.ti.com.cn"

# 要訪問的目標HTTPS頁面
# targetUrl = "www.ti.com.cn"

proxyHost = "t.16yun.cn"
proxyPort = "31111"

# 代理驗證信息
proxyUser = "16ZDFXYD"
proxyPass = "254875"

proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
    "host" : proxyHost,
    "port" : proxyPort,
    "user" : proxyUser,
    "pass" : proxyPass,
}

# 設置 http和https訪問都是用HTTP代理
proxies = {
    "http"  : proxyMeta,
    "https" : proxyMeta,
}


#  設置IP切換頭
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}



resp = requests.get(targetUrl, proxies=proxies, headers=headers)

print resp.status_code
print resp.text