文章目錄
項目地址(歡迎Star、Fork)
原項目地址
修改後的地址
關於GSIL-PRO
該項目修改自開源項目GSIL，初衷是爲了方便自己的使用，並做了一些測試
關於開源項目GSIL
原作者是個大神，GSIL是個神器。
大神是這樣想的：我用哈希校驗和定時任務去搜索，然後發郵件，保證在第一次過後的搜索中，每次搜索該關鍵字只會向我發送我沒看過的符合要求的新項目，達到定時監控的目的，部署在服務器上，只需要盯着郵箱就好了。
我等菜鳥是這樣想的：信息蒐集一遍過，能快速獲取信息，不用一頁一頁慢慢的翻便是極好的，郵箱發送過於繁瑣，且當天查詢量大的話，自己的pop3服務會被限制和警告發送垃圾郵件，給自己發也不行。
經過測試，使用臨時郵箱申請小號的方式不可取，github查的很嚴，必須要是擁有真實倉庫，經常登錄的正常賬號纔有5000/h的查詢API，小號一律按照未驗證的60/h處理。
因爲代碼中寫了多線程，即針對每一條用戶定義的規則啓用一個線程去執行，但是API的請求速率限制爲30/min，所以個人建議一條規則一條規則的跑，當然，如果你有很多大號、或是有很多朋友願意借你token就另說了。
順便提一下，即便是最小權限的token，也可以訪問該賬戶的公共存儲庫，一旦泄露，別人就可以刪掉你所有的公共倉庫，若配置不當，還能訪問和刪除私有倉庫。試問，怕不怕？
修改內容
經過本次修改後，去除發郵件方式，去除搜索哈希值校驗，將結果保存在本地 /root目錄下。另加入rule.txt精選規則集，單一token的話只能一條一條跑，否則會觸發API請求限制。另engine.py文件中可以修改搜索的頁數。
使用方式
將自己的token放進config.gsil配置文件中，多個token使用逗號隔開，郵箱無需配置。
從rule.txt中找到自己需要的規則，並拼接成關鍵字放到rules.gsil配置文件中。
使用pip3安裝依賴
pip3 install -r requirements.txt
開始搜索
python3 gsil.py test
原項目GSIL代碼分析，方便快速定位功能點
用戶也可以根據需求自己更改
參數配置：
1、郵箱pop3祕鑰，郵箱等
2、github的tokens
限制
每token每小時最大5000次請求，一條內容算一次請求
對於未經身份驗證的請求，速率限制允許每小時最多60個請求
Search API具有自定義速率限制。對於使用基本身份驗證，OAuth或客戶端ID和密碼的請求，
您每分鐘最多可以進行30個請求。對於未經身份驗證的請求，速率限制使您每分鐘最多可以進
行10個請求。
關於源碼，有興趣的可以改成自己想要的樣子
gsil.py
主函數執行gsil包中的主函數，如果參數異常等，調用notification模塊
GSIL包
__init__.py
主函數執行gsil
gsil函數：
如果參數一爲“--report”，發送運行數據報告
如果參數一爲“--verify-tokens”，循環校驗token（使用engine的verify函數）
否則開始搜索，並生成報告
generate_report函數：
生成報告，HTML格式
start函數：（傳入規則組---test）
獲取規則組中所有規則
創建線程池pool
爲每一個規則對象創建線程（執行search函數）
search函數：
爲每一個搜索隨機選擇一個token
調用engine的搜索函數
engine.py
定義每頁報告的最大數量
定義默認的掃描頁數，原爲4，現修改爲100，即搜索前5000條，即限制數
修改完後，最好一條規則一條規則的測，可以多準備幾個token
Engine類：
__init__函數：變量賦值
process_pages函數：
處理每一頁抓取的數據
verify函數：
驗證githubtoken
search函數：
利用API通過規則獲取內容，處理併發送
codes函數：
去除代碼中圖片顯示，提取關鍵詞上下幾行
config.py
關於配置文件
分割tokens，添加項目類型、郵箱類型、代碼規則等
get_rules函數：
讀取規則與匹配模式
notification.py
notification函數：
原本是連接pop3服務器，隨機選擇指定郵箱發送報告
現改爲將報告保存在本地 /root目錄下
process.py
clone函數：
下載倉庫
send_running_data_report函數：
發送運行數據報告