稍微接觸過SEO的站長(zhǎng)朋友都應(yīng)該知道 robots協(xié)議(也稱為爬蟲協(xié)議、爬蟲規(guī)則、機(jī)器人協(xié)議等),也就是通常添加到網(wǎng)站根目錄的robots.txt 文件,它的作用在于告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取,從而優(yōu)化網(wǎng)站的收錄結(jié)果和權(quán)重。
如果你的網(wǎng)站根目錄還沒有 robots.txt,你可以創(chuàng)建一個(gè),具體的寫法請(qǐng)參考 百度百科。下面是一個(gè)基本的 WordPress robots協(xié)議:
User-agent: * Disallow: /feed/ Disallow: /trackback/ Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /xmlrpc.php Disallow: /wp- Allow: /wp-content/uploads/ Sitemap: http://example.com/sitemap.xml
下面主要介紹一下 WordPress 自動(dòng)創(chuàng)建虛擬 robots.txt 功能。如果你的網(wǎng)站根目錄不存在真實(shí)的 robots.txt,那么可以讓 WordPress 自動(dòng)創(chuàng)建一個(gè)虛擬的 robots.txt (該文件不會(huì)真實(shí)存在,但是訪問 http://yoursite.com/robots.txt 時(shí)可以正常顯示)
將下面的代碼添加到主題的 functions.php 即可:
/**
* 為你的 WordPress 站點(diǎn)添加 robots.txt
* http://www.ydqwiac.cn/add-robots-txt.html
*/
add_filter( 'robots_txt', 'robots_mod', 10, 2 );
function robots_mod( $output, $public ) {
$output .= "Disallow: /user/"; // 禁止收錄鏈接中包含 /user/ 的頁面
return $output;
}
注:如果你想添加更多的規(guī)則,請(qǐng)復(fù)制上面代碼的第 7 行,然后修改一下即可。
訪問 http://yoursite.com/robots.txt 我們可以看到如下內(nèi)容:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /user/
也就是說,WordPress 默認(rèn)已經(jīng)添加了前 3 行規(guī)則了。
robots.txt 涉及到網(wǎng)站的收錄,所以請(qǐng)確保你明白它的書寫方法,保證每條規(guī)則都是正確無誤的!





新建了robots.txt,要不要把之前虛擬的這一句Allow: /wp-admin/admin-ajax.php添加上,它有什么意義呢?
不需要這句,我們不會(huì)要搜索引擎收錄這個(gè)文件的