一、网站服务器空间要稳定
网站服务器空间是否稳定,可通百度资源网站管理后台中的抓取异常列表进行查看,看出服务器的稳定性,同时可进行抓取测试。
二、检查robots.txt协议文件是否允许抓取
网站首页、及各栏目页面是否被屏蔽抓取,具体的robots抓取规则的书写一定要规范合理使用。
三、检查网站各个页面路径是否良好
调用的参数越多越不利于收录;
使用site:网站检查是否有动静态共存路径;
四、重要的页面不能写在JS标签内
首页导航、版块样式、各栏目页块型模、内页版块都不能写JS标签里,不会看代码的用户,可以使用谷歌浏览器,设置成不允许javascript抓取,刷新之后看页面效果,JS部分不能展示及显示出效果。
五、页面内容质量良好
网站页面内容链接合理,内容质量良好,且没有频繁改动页面,内容不存在采集行为,且无用户搜索需求。