如何为WordPress博客robots.txt写教程

汇站

2022-04-30 WordPress教程 0 906

下单流程：

选择资源

赞助获取

网盘下载

额外（二次开发网站建设）

¥ 0牛币

VIP免费升级VIP

已下载 125次点赞 (0) 收藏 (0)

立即下载升级会员下单教程售后支持

🔊 下载须知

下载前请认真阅读本重要提示：（如下载链接失效或支付未回调，请联系站长QQ972908224或在网站发私信给站长，信息一定要有：网站会员名称、购买金额、资源链接，见字后会第一时间处理，晚上23点至早上8点期间是站长休息时间，留言即可，请勿频繁发信息。本站以用户的需求为基础，将最有价值的信息和资源分享给广大编程人员及源码爱好者在本地电脑端进行调试、参考和研究，本站不提供任何技术服务！所有资源禁止在服务器或者虚拟机下进行联网搭建运营，禁止任何商业环境使用！所有资源展示图片和描述不代表本站的立场！本站只是存储平台！如需运营请购买正版！杜绝利用本站资源进行触犯国家法律法规，下载者如触犯以上声明，所产生的一切后果由下载者自行承担！请悉知！其次，源码模板过多不能保证每个细节都符合你的需求，也可能存在未知的BUG与瑕疵、残次和版本过旧、破解版本过期等问题。你下载的资源和程序源码组件因其特殊性均为可复制品，所以不支持任何理由的退款兑现；请认真阅读本站声明和相关条款，谨慎斟酌后再下载

汇站

联系Ta

进入TA的商铺联系官方客服

详情介绍
相关文章
发表评论

详情介绍

最简单的开放写法

不作任何限制，Wordpress 站内链接结构比较合理，作为一般博客，完全开放就可以了，代码：

User-agent: *
Disallow:

允许所有蜘蛛访问，允许访问所有内容。Wordpress 只要模板中链接设计合理，没有需要限制的特殊内容，推荐使用这种写法。

前几天安装网站看到了 sitemap 网站图。其实在开始之前，我觉得很复杂。我做完之后，发现一点也不复杂。只要多查资料，网上有很多 wordpress 专家愿意分享自己的方法。

今天发现网站的根目录里没有 robots.txt 文件。有些程序会提供 robots.txt 文件，我准备自己修改。但是这次我用的是阿里云服务器，所以我要设置 robots.txt 文件，基本的编写方法和规则，所以我去百度了一下，找了一些好的资料分享给大家。

用 WordPress 和 robots.txt 文件构建的博客是用来限制搜索引擎抓取某些目录和文件的。大致有以下几种方法。

最简单的严格写法

User-agent: *
Disallow: /wp-*
#Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=

允许所有蜘蛛访问，限制以” wp-“开头的目录和文件，限制。php 文件，。inc 文件，。js 文件和。css 文件，并限制搜索结果的抓取。

Disallow: /wp-*将限制对附件目录的搜索。如果您希望搜索引擎抓取附件，请删除第三行中的#注释。并非所有搜索引擎都支持 Allow。

最合理的写法
这是抄的别人的 wordpress 博客 robots.txt 的内容。

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: https://www.huizhanii.com/sitemap.xml

允许所有搜索引擎抓取，逐一列出需要限制的目录，限制搜索结果的抓取。

包括 Sitemap.xml 地址(这一项在 viki 中有具体描述，但 Google 管理员工具会提示‘检测到无效的 Sitemap 引用’，其有效性仍有争议)。

robots.txt 的其他写法
为了避免搜索引擎中的重复页面，Wordpress 玩家创造了许多机器人写作风格。下面是一些常用的，供参考(永久链接适用于伪静态风格):

Disallow: /page/

#限制抓取 WordPress 分页

Disallow: /category/*/page/*

#限制抓取分类的分页

Disallow: /tag/

#限制抓取标签页面

Disallow: */trackback/

#限制抓取 Trackback 内容

Disallow: /category/*