2020-11-29 11:55:10
1、百度站长抓取有无异常，无异常不影响；
2、对于一些网页字体文件，可Robots屏蔽抓取这些文件；
3、除了网页文件，想要被抓取爬行收录的不能屏蔽外，其余的如果蜘蛛抓取频次太多，可考虑屏蔽。
4、网站也有自动生成robots屏蔽文件，注意不要屏蔽整站，例如屏蔽skin文件下的fonts文件
Disallow:?/skin/fonts
5、上传robots.txt到根目录即可，里面内容就是写你需要屏蔽内容；
6、如果你的里面根本没这些文件，那么不影响，只要百度站长抓取无异常就可以。真的蜘蛛爬也是抓取有的东西，只有模拟的才会抓取不存在的文件。
###很棒阿这个
###路过！！！
###404都不是好事，要么屏蔽，要么处理一下呗。
###过来学习一下
###过来学习一下
###你的情况和我的情况一模一样 我被抓的也是很多的垃圾路径然后返回的全部都是404 我在FTP中找都找不到文件的
###我网站也存在这样的情况，通过实际链接进行查找，其实这个文件是存在的，正常这种情况要不然就是不管，如果需要处理就直接在根目录的Robots.txt文件里添加一句： Disallow:?/skin/fonts? 就OK。。
如果网站没有robots.txt 直接建一个就可以的哈
这样子行不行？
###对啊，屏蔽掉不就得了
###不需要删除，只需要在Robots里面屏蔽掉就行了
