在网站设计中，搜索蜘蛛大体上讲的是同一种东西，让我们统一用“搜索蜘蛛”来称呼他们。
搜索蜘蛛是一种程序，或者是一段自动化的脚本，它在网上不停辛苦的跑到各个网站上去。搜索蜘蛛通过它们所流览的网页上面的链接从一个URL地址爬到另一个URL地址。
主流搜索引擎接连不断地将它们的搜索蜘蛛派出去浏览广阔的互联网。搜索蜘蛛首先找到各个页面，然后把页面上的文本和代码复制并储存在它们巨大的索引服务器上，这个过程叫做爬行。这个巨大的索引，实际上就是一个包含搜索引擎搜索蜘蛛可以成功访问到的所有网站页面的数据库。该索引被用来作为当你搜索时，可以非常快速地得到一个结果的仓库。当您在搜索引擎上搜索词并提交时，您实际搜索的是搜索引擎所索引的全部内容，而不是当时互联网的实际内容
当然，网站设计中网页会发生变化。有时，网页和网站的变化周期非常短。除此以外，新的网站和网页随时都在快速出现。这也是为什么搜索蜘蛛始终都在那里不停地爬行，一遍又一遍地浏览网页，并且建立和更新搜索引擎的索引信息。
搜索蜘蛛看到的网页内容和一般的访问者看到的是完全不同的。如果您想查看搜索蜘蛛看到的某个网页的内容是什么，您可以使用IE浏览器来访问它，然后按下Ctrl+A组合键，把内容复制下来。
首页也是最重要的是，搜索蜘蛛将它们爬过的每个页面的字和词组合起来。它们索引文本和链接。当您在搜索框中输入一个词时，搜索引擎尽量精确地找出和搜索词组最匹配的网页。
所以，任何网站设计工作第一步的重要部分就是让搜索蜘蛛更容易发现和爬行您的网站。如果您的网站没被搜索蜘蛛爬过，它们也就不会建立关于您网站的搜索引擎索引。链接和网站建设中精心设计的网页、栏目与其他网站内容和栏目之间建立桥梁。这将给爬虫提供清晰的爬行道路。
创建sitemap
建立sitemap是帮助搜索引擎爬虫抓取网站的最简单的方法之一。sitemap是一个给搜索蜘蛛提供网站内容的URL清单。sitemap中还包含了针对每个URL的附加信息，例如指定网页的最近更新时间、更新频率，以及相对网站上其它内容的重要度等。
sitemap所提供的信息可以帮助搜索蜘蛛更智能的抓取网站。需要注意的是，没有任何一家搜索引擎保证sitemap所提交的URL都会被抓取或者被索引。
sitemap对于那些不容易被直接浏览到的网站来说是十分有用的，请记住搜索蜘蛛只是根据链接来爬取信息的，而通常情况下，这样的信息缺乏链接接向。
关键词：烟台网站设计，烟台网页设计，烟台网站