一、死链接太多
在网站正式上线之前,必须检查一下是否存在死链接,这个问题会直接导致搜索引擎无法收录你的网站。我的谷百优网站用的dedecms,刚开始对于这个dede不太熟悉,所以不少的死链接生成了。最后经过不断的更新HTML才解决这个问题。
二、站点的robots.txt文件已损坏
如果搜索引擎机器人错误的理解了您的robots.txt文件,它们可能会完全无视你的网页。对于这个问题,解决的办法是仔细检查您的robots.txt文件,并确保您网页上的的参数是正确的。
三、网址中包含过多动态网页
动态生成的网页(括 ASP、PHP)可能导致抓取工具无法收录,解决的办法,当然使用静态页面,或者动态页面静态化。dedecms比较好的一个方面就是能偶生成静态,其实用WP同样是可以的,就好像我的qq个性签名,都是可以再perminlinks那里选择地址格式或者直接编辑地址。这样静态对于搜索引擎死比较友好的。
四、网址中使用了会话ID
几乎所有搜索引擎都不去收录包含会话ID的网页,因为它们可导致内容的重复。如果真的要用的话,建议使用Session存储会话ID。
五、网站导航
大多数搜索引擎的机器人不能解析Java 或DHTML 菜单,当然Flash以及Ajax 菜单效果更差。所以一般来说都是应该使用文本格式就行了,没必要追求过多的美观。
所以,综上所述,搜索引擎现在是无法解析flash等动态网页,未来也许也是不能的,所以我们最应该遵循HTML的规则建设网站,那样对搜索引擎比较友好,然后搜索引擎也对你友好,何乐而不为呢?