返回上一页 利用高考准考证生成器引流一万二 吸粉5000的真实案例! 网站建设公司资讯 下架了知心推广 教育业的SEO春天更近了?

当前位置:首页 > 观点资讯 > 网站建设 > 详细内容

robots文件屏蔽搜索引擎抓取规则、为何还是会被收录?

时间:2016-08-10 浏览:2457次 + 打印

摘要:刚接手不久一个B2B电子商务平台、由于产品详情页有两种不同形式的URL:有32位、也有16位,所以需要对URL进行统一规范;

那么是采用32位的:http://www.csc86.com/product/5475beae-8324-4d52-911d-d53b78926e1a.html标准(长地址);

还是采用16位:http://www.csc86.com/product/79377.html(短地址)标准、当时考虑原则是两种不同形式的URL索引数据及两种不同形式的URL收录速度、也就是说哪URL索引数据多且URL收录速度快那就采用哪种URL标准;

所以在站长工具自定义规则,分别查看两种特征页面集合的索引量数据

16位(短地址)的URL索引量数据

32位(长地址)的URL索引量数据

说明:

1、32位(长地址)的URL数据存量是16位(短地址)数据存量大概4倍

2、05-18当天16位(短地址)的URL索引量数据增加83574,而32位(长地址)URL索引量数据则增加2090

3、针对URL索引量增加没有做任何人工干预

也就是说16位(短地址)URL索引数据多于32位URL且短URL收录速度快,所以决定采用16位(短地址)做为产品详情URL规范;

问题:05-19号针对robots文件屏蔽32位URL搜索引擎相关抓取规则

robots文件如下:

但06-07号32位URL索引量还是出现大幅增长情况

当然看到这个数据 反应就是robots规则不对,所以对robots进行检查、但发现robots没有问题、屏蔽规则也检测正常;

在06-09号对此问题进行反馈、得到反馈的结果是这边处理时间较长的, 所以处理此类问题的反应超级慢,所以建议在处理此类问题时更好 使用站长具检测robots 并进行强制更新。

未经裕腾智工作室授权许可任何人不得复制、转载、或以其他任何方式使用裕腾智工作室的内容。裕腾智工作室保留追责权利。文章出处:裕腾智工作室 http://www.ying88.net/biji_share/57.html

网站建设公司项目经理

扫二维码与项目经理沟通

我们在微信上24小时期待你的声音
解答:网站优化、网站建设、APP开发、小程序开发

藤设计是一家互联网开发公司,专注于为客户提供供网站建设网站优化APP开发小程序开发、网络营销推广等一系列解决方案。我们以客户需求为导向,并以客户利益为出发点,充分发挥自身的设计及专业建站优势,从基础建设到营销推广,为客户探索并实现商业价值的最大化,致力于为所有谋求长远发展的企业做出贡献。

Learn more

Teng Design 专业网站设计制作

Learn more

Our Service 上海网站建设
QQ客服 获取网站设计、app开发、VI设计报价 微信客服 返回顶部
网站制作
扫二维码与项目经理沟通
×
sitemap.txt sitemap.xml sitemap.htm 网站设计制作