2019/4/19- - -
關於情報偵查與信息收集，演示使用腳本自動收集OSINT數據的實驗
一、理論
滲透測試與攻擊的第一步是情報偵查與信息收集，又稱爲踩點。
偵察可以分爲兩種類型
被動偵察（Passive reconnaissance）
主動偵察（Active reconnaissance）
被動偵察：
一般是指分析公開的信息，這些信息包括目標本身的信息，在線的公共資源信息。
在獲取這些信息時，測試者或攻擊者不會與目標交互，他們的請求不會被日誌記錄，也無法定位測試者。
因此，在被動偵察中要儘可能的減少與目標的交互與目標的交互可能會確認攻擊者的身份。
被動偵察又被稱爲開源情報OSINT（Open Source Intelligence ）
OSINT可以分爲兩種類型：進攻和防守。
進攻型需要分析對防範目標進行攻擊所需的所有數據
防禦型只是收集以前的違規數據和與目標相關的其他安全事件的技術。
從公共的資源，特別是互聯網上，進行信息收集。
下面介紹八種方法收集信息
1、dnswalk
可以直接判斷域名所對應的服務器是否存在DNS Zone Transfers漏洞。如果存在，則可以獲取該域名的各種信息。
通過區域傳送查詢區域信息
dnswalk baidu.com.
2、whois
whois: 誰擁有一個特定域或一系列IP地址
whois baidu.com
3、dnsenum
dnsenum --dnsserver 8.8.8.8 163.com
4、maltego
對個人或組織的偵察，Maltego是OSINT框架中最強大的一個。這是一種GUI工具集，通過各種方法收集個人在互聯網上公開的信息。它還能夠枚舉域名系統（DNS），強力破解普通DNS，並以易於閱讀的格式收集來自社交媒體的數據。
如何在基於目標的滲透測試或紅隊練習中使用Maltego M4，我們可以利用此工具開發數據可視化軟件，用於處理我們收集的數據。社區版將隨着Kali Linux發行。訪問該應用程序的最簡單方法是在終端中輸入maltegoce。在Maltego中，這類任務被稱爲轉換（transforms）。轉換內置在工具中，被定義爲執行特定任務的代碼腳本。
然後在kali liunx中打開
5、google緩存
來自互聯網的東西並不意味着會從Google刪除。被Google訪問過的頁面都被備份爲快照存放在Google緩存中。通常情況下，可以根據搜索查詢來查看Google是否可以爲你提供最佳的可用頁面。同樣可以用來收集關於目標的信息：例如，被採集的數據庫的詳細信息已經發布在sampledatadumpwebsite.com上，該網站或該鏈接已經從互聯網上消失。如果Google已訪問該頁面，則此信息會爲攻擊者提供大量信息，例如用戶名、哈希密碼、正在使用的後端類型以及其他相關的技術和策略信息。
6、theharvester
theHarvester工具是一個Python腳本，該腳本藉助流行的搜索引擎和其他一些站點來進行搜索，如電子郵件地址、主機以及子域站點等。
使用theHarvester工具是相當簡單的，只需通過幾個命令參數來進行設置。可用的選項如下：
-d：用來確定搜索的域；即一般的域或者目標網站。
-b：用來確定提取信息的來源；來源必須是下面的一種：
Bing、BingAPI、Google、Google-Profiles、Jigsaw、LinkedIn、People123、PGP，
或者以上的全部。
-l：該選項使theHarvester只收集來自特定數目的返回搜索結果的數據。
-f：用來保存最後結果，保存爲HTML文件或者XML文件。如果省略該選項，結果將會顯示在屏幕上，但是不會被保存。
7、shodan
shodan網站是最瘋狂的搜索引擎之一，可以搜索任何連接到互聯網的設備，比如和互聯網關聯的服務器、攝像頭、打印機、路由器等等。
官網：
www.shodan.io
8、google黑客數據庫（高級搜索）
搜索有關防火牆的PDF文件
防火牆 filetype：pdf
還可以加入以下選項，進行高級搜索。
二、使用腳本自動收集OSINT數據
編輯一個腳本，實現自動掃描任何域名網站，然後生成詳細文件，可以方便查看
#!/bin/bash
read -p "Enter target domain: " domain
if [ ! -z $domain ]
then
echo "Target domain set to $domain"
theharvester -d $domain -l 500 -b all -f harvester_$domain
echo "done!"
echo "*********************************"
echo "Whois Details"
whois $domain >> whois_$domain
echo "done!"
echo "*********************************"
echo "Searching for txt files on $domain using Goofile..."
goofile -d $domain -f txt >> goofile_txt_$domain
echo "done!"
echo "*********************************"
echo "Searching for txt files on $domain using Goofile..."
goofile -d $domain -f pdf >> goofile_pdf_$domain
echo "done!"
echo "*********************************"
echo "Searching for txt files on $domain using Goofile..."
goofile -d $domain -f doc >> goofile_doc_$domain
echo "done!"
echo "*********************************"
echo "Searching for txt files on $domain using Goofile..."
goofile -d $domain -f xls >> goofile_xls_$domain
echo "done!"
else
echo "Error,please reinput "
fi
在執行這個腳本文件之前，先賦予執行權限
chmod +x 腳本文件
然後這個腳本文件中用到了goofile這個工具，需要在kali linux 上下載
apt-get -y install goofile
然後就可以執行這個腳本文件了
bash sou.sh
提示我們要先輸入一個想要掃描的域名
執行完畢，查看一下whois_baidu.com這個文件，有沒有關於baidu.com的信息。
會發現有關於baidu.com的信息，還是挺詳細的o(*≧▽≦)ツ
OK，有什麼問題，評論交流(*￣︶￣)