爬蟲工具的信息挖掘

來自 GitChat 作者:肖志華
原文:信息收集中的搜索引擎 Hacking
更多IT技術分享,盡在微信公衆號:GitChat 技術雜談

搜索引擎是一個爬蟲機器人,不停的在爬世界所有網站,有可能在爬的過程中,就把你重要的文檔給爬出來了,儘管你沒有對外公佈該文檔。

所以在做滲透測試的時候,就可以通過搜索引擎對測試目標做一個搜索。現在,對測試目標做一個搜索引擎hacking的行爲,已經成爲了一門科學。

谷歌有谷歌hacking 百度有百度hacking 必應有必應hacking 都是專門做搜索用的。有時候一個搜索引擎,就能給出對方的CMS或者其他軟件結構。比如已開源漏洞,就能用搜索引擎直接拿下目標控制權。

作爲滲透測試者要用的,就是利用搜索引擎獲取目標信息,必要時應該學會利用各個搜索引擎的語法。

搜索引擎能搜到什麼

  1. 公司新聞動態

  2. 重要員工信息

  3. 機密文檔

  4. 用戶名密碼、郵箱

  5. 目標系統軟硬件技術架構。

以上都是能用搜索引擎搜索到的,儘管你並沒有公開一些文檔,但是隻要放在互聯網上就可能會被爬到。

接下來,介紹第一個。

shodan

shodan和我們國內的鐘馗之眼是一種搜索引擎,他們區別於百度等引擎,他們只爬設備,只爬聯網設備。

網址爲:

https://www.shodan.io/

Shodan,也有人把他叫撒旦,是和百度谷歌不一樣的,谷歌百度爬的網頁信息,而shodan爬的是互聯網設備,也包括端口。

智能家電越來越多,能連上互聯網就可能被shodan這種引擎爬到。

Shodan的語法

  • Net

  • Cify

  • Country

  • Post

  • Os

  • Hostname

  • Server

如何利用shodan去搜索

直接在shodan搜索框裏輸入指定的目標,可以是IP地址或者域名。

enter image description here

enter image description here

比如gitchat.cn的域名,通過解析得出IP爲:123.59.80.114

Shodan搜索IP的語法就是 net:123.59.80.114

但爲了更好的演示效果,我搜索的是8.8.8.8

搜索結果如下圖:

enter image description here

enter image description here

通過shodan得出,這個IP位於美國。網頁狀態碼是404。

如果看詳細信息,請點擊他的IP。

可以看出他是屬於谷歌,ports,也就是開放了多少端口,這裏顯示53.也就是開放了53端口。

上面可以看實際的物理地址,但我並不認識美國路標,就不做介紹了。

這是shodan的基礎利用,但如果我想查8.8.8.8所在的C位。

語法就應該變爲:net:8.8.8.0/24

gitchat的IP爲;123.59.80.114,但並沒有搜到其他的主機,所以我搜索的是 net:123.59.80.0/24 搜索這一個C段。結果如下:

enter image description here

給出了很多信息,http狀態碼,網站程序語言等等。

但是信息太雜亂了,我希望將信息過濾。

Shodan:country參數

如何將信息過濾,正確的做法應該是在原有的參數上加上:country:CN 美國就是US 標準語句爲:net:8.8.8.0/24 country:CN

Country:CN 就是全中國。

Country:CN city:beijing 就是中國北京的IP地址。

enter image description here

從上圖可以看出,shodan爬到的所有中國北京的IP地址

Shodan:Post參數

上面我們是搜索的中國北京的IP地址,那麼post:22的功能就是篩選所有中國北京開放了22端口的地址。

正確的語法是:Country:CN city:beijing post:22

22是端口號,根據實際的不同可以改爲80等等。

搜索結果如下圖所示:

enter image description here

這就是開放了所有22端口的服務器。

Shodan:os參數

os的操作系統的意思,比如我想搜索北京所有windows2008的系統。

Country:CN city:beijing os:”windows 2008”

這裏就不做截圖了,和上面的是一個概念。

Shodan:hostname參數

Hostname的功能是爬出所有基於目標的網站。

比如:hostname:baidu.com

這裏也不做截圖了,通過上面的閱讀應該能使用shodan引擎了。

Shodan:Server參數

Server:appche/2.2.3

這個語句是意思是搜索所有是appche2.2.3版本的服務器。

Shodan的常用語法就結束了,如果要更多的,請查閱shodan參數手冊。

Google引擎

谷歌基礎搜索不作說明,只解釋Googlehacking.

加減字符的使用

比如我想搜索支付,出來了很多頁面但不想出現充值關鍵詞,就要利用如下

+支付 -充值

這個語句就是過濾掉所有包含支付單不包含充值的頁面

Intitle參數

這個語句的作用是搜索帶有該關鍵詞的標題的所有頁面

Intext參數

這個語句的作用是搜索帶有所有該關鍵詞的內容頁面。

inURL參數

這個語句的作用是搜索包含關鍵詞的URL內容。

結合使用的實例就是 北京 site:alibaba.com inurl:contact

這這個語句的意思是,搜索在阿里巴巴的所有在北京 URL中包括contact的頁面。

enter image description here

文件搜索參數

語句爲:filefype:PDF(doc等)

比如,baidu filefype:PDF

enter image description here -

這是谷歌搜到的一個PDF文檔,但並不是百度頁面的。

具體內容需要自己設置關鍵詞,進行組合。參考方法和shodan搜索一樣。

谷歌語法使用:

http://exploit-db.com/google-dorks

詳細文檔,值得閱讀。

其餘搜索引擎

國內:百度

國外:Google 必應

國內空間搜索設備:鍾馗之眼

http://www.zoomeye.org/

國外空間搜索設備:shodan

https://www.shodan.io/

毛子的搜索引擎,號稱世界第四大:

https://www.yandex.com/

總結,搜索引擎行爲多種,萬變不離其宗。關鍵時刻還是得靠人爲肉眼檢索,還沒人工智能到那個地步。


實錄:《肖志華:信息收集中搜索引擎 Hacking實戰解析》


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章