User-agent: *
Disallow:
允许所有蜘蛛访问,允许访问所有内容。Wordpress 只要模板中链接设计合理,没有需要限制的特殊内容,推荐使用这种写法。
前几天安装网站看到了 sitemap 网站图。其实在开始之前,我觉得很复杂。我做完之后,发现一点也不复杂。只要多查资料,网上有很多 wordpress 专家愿意分享自己的方法。
今天发现网站的根目录里没有 robots.txt 文件。有些程序会提供 robots.txt 文件,我准备自己修改。但是这次我用的是阿里云服务器,所以我要设置 robots.txt 文件,基本的编写方法和规则,所以我去百度了一下,找了一些好的资料分享给大家。
用 WordPress 和 robots.txt 文件构建的博客是用来限制搜索引擎抓取某些目录和文件的。大致有以下几种方法。
User-agent: *
Disallow: /wp-*
#Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=
允许所有蜘蛛访问,限制以” wp-“开头的目录和文件,限制。php 文件,。inc 文件,。js 文件和。css 文件,并限制搜索结果的抓取。
Disallow: /wp-*将限制对附件目录的搜索。如果您希望搜索引擎抓取附件,请删除第三行中的#注释。并非所有搜索引擎都支持 Allow。
这是抄的别人的 wordpress 博客 robots.txt 的内容。
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: https://www.huizhanii.com/sitemap.xml
允许所有搜索引擎抓取,逐一列出需要限制的目录,限制搜索结果的抓取。
包括 Sitemap.xml 地址(这一项在 viki 中有具体描述,但 Google 管理员工具会提示‘检测到无效的 Sitemap 引用’,其有效性仍有争议)。
robots.txt 的其他写法
为了避免搜索引擎中的重复页面,Wordpress 玩家创造了许多机器人写作风格。下面是一些常用的,供参考(永久链接适用于伪静态风格):
Disallow: /page/
#限制抓取 WordPress 分页
Disallow: /category/*/page/*
#限制抓取分类的分页
Disallow: /tag/
#限制抓取标签页面
Disallow: */trackback/
#限制抓取 Trackback 内容
Disallow: /category/*
#限制抓取所有分类列表
最后,推荐使用 Google 管理员工具,登录后访问“工具 -> 分析 robots.txt”,检查文件有效性。
转载请注明:汇站网 » 如何为 WordPress 博客 robots.txt 写教程
汇站网 WordPress教程 如何为WordPress博客robots.txt写教程 https://www.huizhanii.com/24739.html
站长资源下载中心-找源码上汇站
- 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。
相关文章
- WordPress教程:纯代码实现文章摘要添加ai功能 2024-12-03
- 为WordPress网站页面添加水印的教程——附带JS源代码 2024-11-26
- WordPress搜索结果页面防攻击:实现算术验证码功能 2024-11-18
- WordPress教程 数据库批量替换文章中的关键词内容 2024-11-17
- 利用CSS样式实现自定义的文本从右往左滚动效果 2024-11-17
- WordPress教程 网站缓慢卡顿优化方法 2024-10-26
- WordPress教程 纯代码实现今天、昨天、本周、本月注册用户统计获取 2024-10-26
- WordPress教程 文章链接Url改为.Html静态文件 2024-10-23
- PHP星座运势接口API源码 2024-10-23
- WordPress教程 网站有新文章发布时发送邮件通知所有用户 2024-10-23