Google的蜘蛛程序Spider对网页数据的抓取是通过读取网页文本内容，并顺着页面中的链接层层深入，从而获得对全站内容的抓取。有一些网页制作技术如框架结构（frame：帧）、Flash等生成的网页内容是蜘蛛程序比较排斥、不愿意抓取的，因此内嵌于其中的文字或链接往往被蜘蛛忽略了，从而影响到对全站重要数据的抓取。要想知道某个网页的内容能否被Google蜘蛛正常抓取到，可以借用蜘蛛Spider模拟程序，它罗列出一页中能够读到的所有文本，以及能够进入的所有链接，以帮助诊断重要网页内容是否可见。网络营销指南将搜索引擎蜘蛛模拟器视作重要的搜索引擎优化检测工具之一。
使用方法：输入被查询页面的URL提交，显示结果分别是被抓取的文本和链接。
同类工具：Spider模拟器
http://www.spannerworks.com/spidersimulator.0.html , 可选择除Google以外的4个搜索引擎抓取网页的情况：Altavista、Fast、Inktomi、WiseNut，也可以直观地显示被抓取链接的绝对URL。
68个免费的SEO在线工具
以下收集的搜索引擎优化工具可以为你有效对网站进行检查，而且他们都是免费的,在大多数情况下你不需要创建一个帐户就可直接使用。（注：这是Charles所见过分类最清晰质量最高的SEO工具列表，总共包括四个部分：关键词工具、链接工具、可用行工具及其他工具，说明备注并非按原文直接翻译，很多工具也只能用于英文站的搜索引擎优化工作中。）
关键词研究工具：适当深入地进行关键字研究,为你的网站进行栏目划分及规范关键词部署做准备。
关键词密度：一个关键字、词在页面出现的个数及所占文本的比率。
竞争对手分析:可以分析目标关键词的竞争对手是谁，并分析竞争对手用过的关键词。
| 13. | Competition Tool - SEO Digger |
| 14. | Competition Analysis Tool - Seoscorecard |
| 15. | Top Competitor Tool - Webuildpages |
搜索引擎关键字位置的工具:利用这些工具来检查你的关键词目前在主要搜索引擎如Google, Yahoo, MSN所处的位置。
| 16. | Search Engine Keyword Position - SEO Chat |
| 17. | Keyword Analysis Tool - Mcdar |
| 18. | SERPS Position Checker - LinkVendor |
| 19. | Website Position Tool - Rnk1 |
链接广度：跟踪反向链接的总数，并返回哪些网站链回了你及锚文本是哪些。
C级IP地址检查:：对链接伙伴进行IP地址分布检查，而不至于被同一类IP地址的链接所惩罚。
| 27. | Class C Checker - Webrank Info |
| 28. | Class C Checker - Webmaster Toolkit |
| 29. | Class C Checker - SEO Chat |
蜘蛛模拟器：可以获知网页外观与搜索引擎蜘蛛索引的区别。
| 30. | Spider Simulator - SEO Chat |
| 31. | Spider View - Iwebtool |
| 32. | Search Engine Spider Simulator - Anownsite |
| 33. | SE Bot Simulator - XML Sitemaps |
| 34. | SE Spider - LinkVendor |
浏览器分辨率测试：在不同屏幕分辨率、不同操作系统、不同浏览器下网页的显示效果。
| 35. | Browser Screen Resolution Checker - Markhorrell |
| 36. | Screen Size Tester - AnyBrowser |
| 37. | Screen Resolution Checker - AndyLangTon |
HTML及CSS验证：毫无疑问,W3C的验证会让你取得更好的搜索引擎排名加分，赶快改正那些错误及不规范的代码吧。
| 38. | W3C Validator |
| 39. | WDG HTML Validator - Web Design Group |
| 40. | CSE HTML Validator Lite |
| 41. | Validation Services for your HTML / XHTML / WML - Validome |
| 42. | CSS Validator - Jigsaw |
FireFox扩展：更多可参考我之前写过的火狐SEO扩展。
| 43. | W3C Validator |
| 44. | WDG HTML Validator - Web Design Group |
| 45. | CSE HTML Validator Lite |
页面速度测试：页面小、下载速度快的网页谁深受用户喜欢。
| 46. | Speed Tester - LinkVendor |
| 47. | Website Speed Test - Web Hosting Top |
| 48. | Website Speed Test - Iwebtool |
| 49. | Speed test - WebSite Goodies |
| 50. | Web Page Speed Report |
PageRank预测：包括未来预测及当前PR值。
| 51. | Future PageRank - SEO Chat |
| 52. | Predict PageRank - Page Rank Prediction |
| 53. | Future PageRank |
| 54. | * Page Rank Prediction - DNLodge |
| 55. | Visual PageRank - Iwebtool |
| 56. | Search PageRank - SEO Chat |
| 57. | Page Rank Tool |
流量排名：网站的流量走势及搜索引擎分析。
| 58. | Alexa Traffic |
| 59. | Awstats |
| 60. | ** Sitetracker |
| 61. | ** Histats |
| 62. | ** Google Analytics |
| 63. | Compete |
搜索引擎饱和度：搜索引擎索引网站网页的数量。
