无名商城论坛

搜索
查看: 478|回复: 0

[TSD/原创] 【华衿北教程】如何用Robots来让百度验证以及收录网站

[复制链接]

1万

主题

1万

帖子

3万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
32464
发表于 2022-5-8 20:05:04 | 显示全部楼层 |阅读模式
------
华衿北工作室
------
使用说明
1. robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。
2. 您可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。
3. Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。
看图片.是不是感觉对你收录网站有很大的期望.但是有时候百度会卡蛋.检测一直都是错误、错误、错误....
教程:  需要准备一个Robots.txt文件,用来检测 需要准备一个sitemap.html文件,用来提交你要收录的网站Robots.txt文件代码:
# robots.txt generated at
本帖隐藏的内容需要【资源会员】才可浏览,您需要升级才可浏览,点击这里升级【资源会员】

User-agent: Baiduspider
Disallow:
User-agent: Sosospider
Disallow:
User-agent: sogou spider
Disallow:
User-agent: YodaoBot
Disallow:
User-agent: Googlebot
Disallow:
User-agent: Bingbot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: twiceler
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Scrubby
Disallow:
User-agent: Robozilla
Disallow:
User-agent: Gigabot
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: yahoo-blogs/v3.9
Disallow:
User-agent: psbot
Disallow:
User-agent: *
Disallow:
Sitemap: 你的Sitemap文件网址

sitemap.html文件代码
在html里面加上你的所有内链即可[滑稽]

不用在写别的多余代码

准备好这两个文件后开始正题

1:必须把那两个文件放在主文件,就是主机第一个文件那

2:找出你那两个文件链接,比如
本帖隐藏的内容需要【资源会员】才可浏览,您需要升级才可浏览,点击这里升级【资源会员】
(这里Sitemap文件)

找出两个链接完成第一个步骤(注意要可以访问,不能404)

3:完成后在Robots里面最后一行的Sitemap写上你的Sitemap文件网址链接

4:回到百度站长那点击检测即可

(PS:点击后很大概率会出现错误或者301,联系百度客服即可,这个属于百度那边的错误。如果出现404就是你自己配置的网址链接没配置好,回去检查一下)

给个关注支持一下呗[滑稽][滑稽]
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表