有一点 SEO
知识的站长朋友应该知道机器人协议,也称为爬虫协议、爬虫规则、机器人协议等;也就是说,robots
.txt
文件通常添加到网站的根目录中。它的功能是告诉搜索引擎哪些页面可以爬网,哪些页面不能爬网,从而优化网站的收集结果和权重。
如果您的网站中没有 robot
,请添加以下代码或转到网站管理员工具在线编辑 robot
User
-agent
: *Disallow
: /feed
/Disallow
: /trackback
/Disallow
: /wp
-admin
/Disallow
: /wp
-content
/Disallow
: /wp
-includes
/Disallow
: /xmlrpc
.php
Disallow
: /wp
-Allow
: /wp
-content
/uploads
/Sitemap
: https
://www
.huizhanii
.com
/sitemap
.xml
下面主要介绍 WordPress
自动创建 virtual
robots
.txt
的功能。如果您网站的根目录中不存在真正的 robots
.txt
,您可以让 WordPress
自动创建一个虚拟 robots
.txt
(该文件将不存在,但您可以访问它)https
://www
.huizhanii
.com
/robots
.txt
(可正常显示)
下面的代码添加到主题的
即可:functions
.php
/**
* 为你的 WordPress
站点添加 robots
.txt
*/
add_filter
( 'robots_txt
', 'robots_mod
', 10, 2 );function
robots_mod
( $output
, $public
) {
$output
.= "Disallow
: /user
/"; // 禁止收录链接中包含 /user
/ 的页面
return
$output
;}
注:如果你想添加更多的规则,请复制上面代码的第 7 行,然后修改一下即可。
访问 http
://域名/robots
.txt
我们可以看到如下内容:
User
-agent
: *
Disallow
: /wp
-admin
/
Disallow
: /wp
-includes
/
Disallow
: /user
/
也就是说,WordPress
默认已经添加了前 3 行规则了。
robots
.txt
涉及到网站的收录,所以请确保你明白它的书写方法,保证每条规则都是正确无误的!
转载请注明:汇站网 » 如何为 WordPress
网站创建 Robot