1. 什么是baiduspider?
baiduspider是Baidu搜索引擎的一个自动程序。它的作用是访问互联网上的html网页,建立索引数据库,使用户能在Baidu搜索引擎中搜索到贵网站的网页。
2. baiduspider为什么大量访问我的网页?
baiduspider访问您的网页后,会自动分析每个网页上的文字内容并记忆网页网址,然后其它网友才能通过百度搜索引擎找到您的网页。如果baiduspider不访问您的网页,那么所有通过baiduspider提供网页信息的搜索引擎都找不到您的网页,也就是说,其它网友在百度搜狐新浪雅虎Tom等几十个搜索网站都会找不到您的网页。
您可以到这里进一步了解搜索引擎。
3. baiduspider对一个网站服务器造成的访问压力如何?
对于一个网站,baiduspider每访问一个网页会间隔30秒,不会造成过大压力。
4. 我不想我的网站被baiduspider访问,我该怎么做?
baiduspider象其它spider一样遵守互联网robots协议。您可以利用robots.txt文件完全禁止baiduspider访问您的网站,或者禁止baiduspider访问您网站上的部分文件。
注意:禁止baiduspider访问您的网站,将使您的网站上的所有网页,在Baidu搜索引擎以及所有Baidu提供搜索引擎服务的搜索引擎中无法被搜索到,包括搜狐、新浪、雅虎、Tom、Lycos等几十个搜索引擎。
关于robots.txt的写作方法,请参看我们的介绍:robots.txt写作方法
5. 为什么我的网站已经加了robots.txt,还能在百度搜索出来?
因为搜索引擎索引数据库的更新需要时间。虽然baiduspider已经停止访问您网站上的网页,但Baidu搜索引擎数据库中已经建立的网页索引信息,可能需要2到4周才会清除。
6. baiduspider多长时间之后会重新抓取我的网页?
Baidu搜索引擎平均两周更新一次,网页视重要性有不同的更新率,少则几天,多则1月,baiduspider会重新访问和更新一个网页。
7. baidu蜘蛛在robots.txt中的名字是什么?
baiduspider,全部为小写字母。完全禁止baiduspider访问的robots文件内容为:
User-agent: baiduspider
Disallow: /
8. 我还有其它关于baiduspider的问题,可以问谁?
请发email给baiduspider@baidu.com,或者打电话给010-82884488-828 陈林