有沒有擔心過自己的隱私會在強大的搜索引擎面前無所遁形？想象一下，如果要向世界上所有的人公開你的私人日記，你能接受嗎？的確是很矛盾的問題，站長們大都憂慮“如何讓搜索引擎收錄的我的網站？”，而我們還是要研究一下“如何讓搜索引擎不收錄我們的網站”，也許我們同樣也用的到。
1.搜索引擎如何工作的？
簡單的說，搜索引擎實際上依靠的龐大的網頁數據庫。按搜索方式可以分爲 全文搜索 和 目錄搜索 兩種。
所謂全文搜索，是搜索引擎通過從網頁自動提取信息來建立數據庫的過程。至於提取的原理，就是SEO狂熱者們所研究的算法，在他們的理想情況下，網頁應該是針對搜索引擎設計的，具有最好的收錄效果。當然，不是本文的話題。搜索引擎的自動信息蒐集功能分兩種。一種是定期搜索，即每隔一段時間（比如Google一般是28天），搜索引擎主動派出“蜘蛛”程序，對一定IP地址範圍內的互聯網站進行檢索，一旦發現新的網站，它會自動提取網站的信息和網址加入自己的數據庫。另一種是提交網站搜索，即網站擁有者主動向搜索引擎提交網址，它在一定時間內（2天到數月不等）定向向你的網站派出“蜘蛛”程序，掃描你的網站並將有關信 息存入數據庫，以備用戶查詢。
與全文搜索引擎相比，目錄索引有許多不同之處。目錄索引完全是手工操作的。
首先，搜索引擎屬於自動網站檢索，而目錄索引則完全依賴手工操作。用戶提交網站後，目錄編輯人員會親自瀏覽你的網站，然後根據一套自定的評判標準甚至編輯人員的主觀印象，決定是否接納你的網站。
其次，搜索引擎收錄網站時，只要網站本身沒有違反有關的規則，一般都能登錄成功。而目錄索引對網站的要求則高得多，有時即使登錄多次也不一定成功。尤其象Yahoo!這樣的超級索引，登錄更是困難。
最後，搜索引擎中各網站的有關信息都是從用戶網頁中自動提取的，所以用戶的角度看，我們擁有更多的自主權；而目錄索引則要求必須手工另外填寫網站信息，而 且還有各種各樣的限制。更有甚者，如果工作人員認爲你提交網站的目錄、網站信息不合適，他可以隨時對其進行調整，當然事先是不會和你商量的。
目錄索引，顧名思義就是將網站分門別類地存放在相應的目錄中，因此用戶在查詢信息時，可選擇關鍵詞搜索，也可按分類目錄逐層查找。如以關鍵詞搜索，返回的結果跟搜索引擎一樣，也是根據信息關聯程度排列網站，只不過其中人爲因素要多一些。
2.如何拒絕搜索引擎？
其實很簡單的，只需要在網站的根目錄中放一個名稱爲Robots.txt的文件，該文件的寫法很有講究的哦，務必按要求寫，寫法如下：
1）什麼是Robots.txt？
Robots.txt是一個文本文件，關鍵是這個文件所在的位置：在網站的根目錄下。弄錯了，就不起作用了！
2）Robots.txt如何起作用?
前面提到過搜索引擎的自動提取信息會遵循一定的算法，但是，無論算法如何，第一步都是在尋找這個文件。其含義是，“貴站對我們這些Robots有什麼限制？”所謂的Robots就是搜索引擎派出的蜘蛛或者機器人。如果沒有得到迴應（沒有找到這個文件），代表沒有什麼限制，儘管來抓取吧。如果真的有這個文件，機器人會讀來看看，如果自己被拒絕就會停止抓取過程了。
3）怎麼寫Robots.txt文件？
遵循語法的Robots.txt纔可能被機器人識別，至於語法，介紹起來很繁瑣，現簡單舉例如下：
1）禁止所有搜索引擎訪問網站的任何部分（也就是網站徹底的拒絕所有搜索引擎收錄）
User-agent: *
Disallow: /
2）允許所有的robot訪問（也就是網站允許所有搜索引擎收錄）
User-agent: *
Disallow:
3）禁止某個搜索引擎的訪問（比如禁止百度收錄，按如下的方式寫）
User-agent: baiduspider
Disallow: /
4）允許某個搜索引擎的訪問（比如允許百度收錄，按如下的方式寫）
User-agent: baiduspider
Disallow:
User-agent: *
Disallow: /
5）禁止搜索引擎訪問某些目錄
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /images/
使用方法：很簡單，將代碼存爲一個文本文件，命名爲Robots.txt ，放在網頁根目錄即可。
注意：所有語句都是單規則的，即每行僅聲明一條規則，比如例五中三個目錄必須分三行列出來。
更多關於Robots的資料請訪問：http://www.robotstxt.org/wc/robots.html
各個搜索引擎的機器人蜘蛛名稱：http://kangxiaowei.com/archives/6362.html
查看百度搜錄情況,百度搜索：site:你的域名