譯文聲明
本文是翻譯文章，文章原作者Tom，文章來源：http://www.tomanthony.co.uk/
原文地址：http://www.tomanthony.co.uk/blog/google-xml-sitemap-auth-bypass-black-hat-seo-bug-bounty/
譯文僅供參考，具體內容表達以及含義原文爲準
×
譯者總結： 1、Google可以通過專門的Ping URL提交網站地圖，並且該提交不會顯示在Google Search Console中（對受害者隱形）。 2、利用受害開放式重定向（登錄、登出等可以指定轉向地址的地方，這裏要求可以跨域重定向）構造能夠轉向到惡意網站的網站地圖（使用hreflang，聲明惡意網站是受害網站的多語言站點）的URL。 3、將2中構造的URL向1中提交，可以使惡意域名“偷取”受害者域名的鏈接權重、置信度、Rank。 4、本文作者使用如上方法，沒花一分錢，讓自己的低成本購買的域名與沃爾瑪、亞馬遜等域名一樣排到了搜索結果第一頁。 5、吐槽：Google一共給了作者1337美元的獎金，這個性價比也太高了。
簡潔版本：
對於一個成本12美元的域名，我能使它在Google中搜索亞馬遜、沃爾瑪等關鍵字的結果中排名靠前。這些AdWords的競標價格目前爲每次點擊1美元左右，很多公司每月花費數千美元的費用在搜索結果中顯示爲廣告，而且我的域名則免費顯示。
Google現在已經解決了這個問題，並獎勵了1337美元的bug獎金。
Google提供了一個開放的URL，您可以在其中“ping”，他們將獲取並解析的XML站點地圖（該文件可以包含索引編制指令）。我發現，對於許多網站，您可以ping您（***者）託管的站點地圖，使得Google將惡意站點的站點地圖視爲屬於受害者站點。
我相信這是他們第一次對實際的搜索引擎問題授予安全問題獎勵，該問題直接影響到網站的排名。
作爲我的常規研究工作的一部分，我最近發現了一個問題，該問題允許***者向Google提交一個XML站點地圖，以查找未經過身份驗證的站點。由於這些文件可以包含索引指令（如hreflang），因此***者可以利用這些指令幫助自己的網站在Google搜索結果中排名。
我花了12美元設置了我的實驗，排名出現在高收費搜索條件的第一頁上，並且新註冊的域名沒有入站鏈接。
XML Sitemap和Ping機制
Google允許提交XML網站地圖 ; 這些可以幫助他們發現抓取的URL，也可以使用hreflang指令來幫助找到同一頁面的其他國際版本可能存在的內容（例如，“嘿，Google，這是美國的頁面，但我有一個德國版的頁面在這個URL上 ……“）。目前還不清楚Google是如何使用這些指令的（就像任何與Google搜索算法相關的指令一樣），但似乎hreflang允許一個URL從一個URL’借用’鏈接權重和信任度（ link equity and trust ）並用它來爲另外的URL提升Rank（即大多數人鏈接到美國.com版本，因此德國版本可以借用該權重在Google.de中獲得更好的排名）。
您可以通過Google Search Console、在robots.txt中寫入或通過特殊的“ping”網址爲您的域名提交XML站點地圖。Google自己的文檔似乎有點矛盾; 在頁面的頂部，他們指的是通過ping機制提交站點地圖，但在頁面的底部他們有這樣的警告（ping URL是重新提交用的）：
但是，根據我的經驗，您絕對可以通過ping機制提交新的XML站點地圖，Googlebot通常在ping的10-15秒內獲取地圖文件。重要的是，Google在頁面上也提到過幾次，如果您通過ping機制提交站點地圖，它將不會顯示在您的Search Console中：
作爲一個相關測試，我測試了是否可以通過XML站點地圖添加其他已知的搜索指令（noindex，rel-canonical）（以及嘗試一堆XML***），但Google似乎沒有使用它們。
Google Search Console提交
如果您嘗試在GSC中提交XML站點地圖，該站點地圖包含您未被授權的其他域的URL，則GSC會拒絕他們：
我們稍後會回來。
（對不起，Jono！）
開放式重定向
許多網站使用URL參數來控制重定向：
在這個例子中，我將被重定向到（登錄後）page.html。有些安全差的網站允許使用所謂的“開放式重定向”，這些參數允許重定向到不同的域：
通常這些不需要任何交互（如登錄），所以他們只是立即進行重定：
開放重定向非常普遍，通常被認爲並不危險; 因此，Google不會將他們納入他們的漏洞獎勵計劃。但是，公司會盡力避免這些情況發生，但您通常可以繞過其保護：
Tesco是一家英國零售商，收入超過500億英鎊，超過10億英鎊的收入來自其網站。我向特易購（Tesco）報告了這個例子（以及其他一些在我的研究中發現的其他公司）。目前他們已經修復了這個例子。
通過開放重定向Ping Sitemaps
到了這一步，你可能已經猜到了我接下來會如何進行。事實證明，當您ping一個XML站點地圖時，如果您提交的URL是重定向，那麼 Google將跟進該重定向，即使它是跨域的。重要的是，它似乎仍然將該XML站點地圖與進行重定向的域名相關聯，並將重定向後的站點地圖視爲由該域進行授權的。例如：
在這種情況下，evil.xml網站地圖託管在blue.comGoogle 上，但Google會將其關聯爲屬於並且對其具有權威性green.com。使用此功能，您可以爲您未控制的網站提交XML站點地圖，併發送Google搜索指令。
實驗：使用hreflang指令免費“偷取”置信度和排名
到了這一步，我有已經進行了一些嘗試，但我沒有確認Google會真的相信跨域重定向的XML站點地圖，所以我做了一個實驗來測試它。我做了很多更小的測試，以瞭解這個（以及各種死路一條）的各個部分，但並沒有指望這個實驗能夠達到預期。
我爲一家不在美國經營的英國零售公司創建了一個虛假域名，並創建了一個模仿該網站的AWS服務器（主要是通過收集合法內容並重新設計它 – 即更改貨幣/地址等）。我在這裏隱藏公司名和行業來保護他們，所以讓我們叫他們victim.com。
我現在創建了一個託管在evil.com上的虛假網站地圖，但其中僅包含victim.com上的URL。這些URL包含每個指向等效URL的每個URL的hreflang條目evil.com，表明它是美國版本的victim.com。我使用Google的ping機制及victim.com的開放式重定向進行了Sitemap提交。
在48小時內，該網站只有少量的流量，逐漸顯示出一個長尾（SEMRush截圖）：
再過兩天，我的站點出現在高競爭的條件的第一頁，就與亞馬遜和沃爾瑪一樣。
此外，evil.com的Google Seach Console中顯示該victim.com鏈接到evil.com，雖然這顯然並非如此：
現在，我發現我也能夠爲victim.comGSC內部提交XML站點地圖evil.com：
Google似乎已將這些網站鏈接起來了，而evil.com搜索控制檯現在有一些能影響victim.com設置。我現在也可以跟蹤我提交的站點地圖的索引（您可以看到我現在有數千頁索引）。
Searchmetrics顯示了流量的增長價值：
Google Search Console顯示了在Google搜索中已經有超過100萬的搜索展示次數和超過10,000次點擊次數; 知道現在，除了提交XML站點地圖，我什麼都沒做！
你應該注意到，我並沒有讓人們看到這個非法的網站，但是我曾經想過，現在，我可以欺騙人們賺很多錢，也可設置廣告，再或者可以將流量變現。在我看來，這給Google訪問者及依賴Google搜索流量的公司帶來了嚴重的風險。流量仍在增長，但我關閉了我的實驗，並放棄了我的後續實驗，因爲害怕造成損害。
討論
這種方法victim.com完全無法檢測到- XML站點地圖不會顯示在它們哪裏，如果您正在做我實驗的並且利用該方法將置信度鏈接到不同的國家的站點，那麼您完全做到完全隱形。在該國運營的競爭對手將對您的網站的排名感到困惑（見上文，我在搜索結果中，亞馬遜，沃爾瑪和塔吉特，他們都花費大量資源在Google那裏）。
就黑帽SEO而言，這有一個明確的用法，而且是我意識到的第一個的徹底利用的算法例子，而不是操縱排名因素。這個問題的潛在經濟影響似乎並非微不足道 – 想象一下以特易購或類似目標爲目標的潛在利潤（我有進行更多的測試以進行更多的調查，但不會造成潛在的損害）。
Google已經爲此獎勵了1337美元的獎金，很高興再次與他們打交道。感謝他們。
如果您有任何問題，意見或信息，您可以通過[email protected]，Twitter @TomAnthonySEO或通過Distilled與我聯繫。
披露時間表
2017年9月23日 – 我提交了最初的報告。
2017年9月25日 – Google迴應 – 他們確認錯誤並正在研究它。
2017年10月2日 – 我發送了更多細節。
10月9日 – 11月6日 – 一些狀態更新。
2017年11月6日 – Google表示：“本報告難以確定可以採取哪些措施來防止這種行爲及其對搜索結果的影響。我已經與團隊聯繫以獲得關於您報告的最終結論。我知道他們一直在對數據進行篩選，以確定您描述的行爲有多普遍，以及這是否應該立即採取相應措施。“
2017年11月6日 – 我回復說建議他們不跟進跨域的重定向- 沒有什麼好的理由，它可能只是GSC的一個特性。
2018年1月3日 – 我要求更新狀態。
2018年1月15日 – Google搜索回覆道：“對於延遲的道歉，我不過早的結束這份報告，因爲我們無法得出一個確定的結論：如何利用重定向鏈來解決這個問題而不會破壞許多合法的用例。我已經回覆給團隊審查這份報告以獲得最終結論，並會在本週回覆您的回覆。“
2018年2月15日 – Google更新，讓我知道報告中存在一個錯誤，VRP將討論賞金。
2018年3月6日 – Google讓我知道了我獲得了1337美元的獎金。
2018年3月6日 – 我與Google分享了這篇文章的草稿，並要求允許我進行發佈。
2018年3月12日 – Google讓我知道他們還沒有完成修復，並要求我再等等。
2018年3月25日 – Google確認修復已經上線，並允許我發佈這篇文章。
www.33ddos.com
本文翻譯自 http://www.tomanthony.co.uk/。如若轉載請註明出處。大金DDOS友情翻譯，如有錯誤，請留言更正。