扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
robots.txt文件对网站优化有什么意义
2021-04-21 栏目：常见问题 查看()
robots.txt文件对网站优化有什么意义？robots协议是网站国际互联网界通行的道德规范。robots.txt是搜索引擎查看网站的第一个文件。一个好的网站，robots.txt文件书写很规范，增加搜索引擎的信赖度。除此之外，robots文件还有以下的目的。
1、屏蔽死链接
死链接就是原来存在，后来因为改版或更新等缘故删除了的链接和网页。比如，原来在某个目录（假设目录为/tempweb/）下的所有链接，因为改版现在都变为死链接了，可以用robots.txt屏蔽。
代码如：Disallow: /tempweb/
2.屏蔽相似的页面或没内容的页面。
搜索引擎收录网页后，先对网页进行“审核”，当网页的相似度很高时，会删除其中一个。
另外网页中如果没有内容，也应该屏蔽
3.屏蔽多余的链接
比如当动态和静态共存时，一般去掉动态的。网站中经常会存在多个链接指向同一个页面，这种情况普遍存在时，会让搜索引擎对网站的权威性产生怀疑。通过robots.txt也可把非主要的链接去掉。
比如：Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
4.屏蔽可能存在的“被K”外部链接
很多网站允许用户放自己的网站链接，但因为过多的“被K”外部链接可能连累自己。因此，可以尽量把所有外部链接放入一个链接目录下，然后通过robots.txt统一屏蔽。
比如：Disallow: /B/ 这里定义是禁止爬寻B目录下面的目录
据了解，目前绝大多数的搜索引擎机器人都遵守robots.txt的规则。对于从事SEO的朋友必须掌握robots.txt的基本知识。
郑重申明：吾爱快排以外的任何单位或个人，不得使用该案例作为工作成功展示！