Google Search Console 警告“已編入索引，盡管遭到 robots.txt 屏蔽” 的處理方案

在《WordPress 屏蔽惡意搜索，防止被搜索引擎收錄惡意搜索結(jié)果》中，倡萌提到了網(wǎng)站被惡意搜索攻擊，已經(jīng)給出了一些處理方案，但是最近查看 Google Search Console 的覆蓋率，看到了“已編入索引，盡管遭到 robots.txt 屏蔽”的警告，一看具體的網(wǎng)址，幾萬條全部都是惡意搜索結(jié)果。

查看了google官方文檔《已編入索引，但被 robots.txt 屏蔽了》，了解到通過 robots.txt 并不能阻止Google索引惡意搜索結(jié)果：

而是需要通過使用“noindex”阻止搜索引擎編入索引：

重要提示：為讓?noindex?指令生效，網(wǎng)頁不得被 robots.txt 文件屏蔽，并且必須能被抓取工具訪問。如果該網(wǎng)頁被 robots.txt 文件屏蔽或抓取工具無法訪問該網(wǎng)頁，那么抓取工具將永遠(yuǎn)無法看到?noindex?指令，因此該網(wǎng)頁可能仍會顯示在搜索結(jié)果中，例如，如果有其他網(wǎng)頁鏈接到該網(wǎng)頁的話。

我們不能在 robots.txt 屏蔽google蜘蛛訪問搜索結(jié)果網(wǎng)址，但是倡萌并不清楚百度等其他搜索引擎是否會遵循 noindex?指令，所以我們在 robots.txt 中允許谷歌蜘蛛抓取搜索結(jié)果頁面，但是禁止其他搜索引擎抓取。

按照《WordPress 屏蔽惡意搜索，防止被搜索引擎收錄惡意搜索結(jié)果》 處理過的惡意搜索結(jié)果頁面，會返回404狀態(tài)碼，并且源碼中包含了 <meta name="robots" content="noindex">：

這樣一來，google蜘蛛就可以讀取到該指令，不再索引被屏蔽關(guān)鍵詞的惡意搜索結(jié)果頁面。

以上步驟處理完以后，在 Google Search Console 覆蓋率的警告界面，提交驗證，然后耐心等待處理。