在某些情况下，网站管理员不希望捕获和包含某些页面，例如付费内容、测试阶段的页面、复制的内容页面等。网站上没有链接，或者JavaScript、闪存链接、nofollow和其他方法不能保证该页面不会被包括在内。虽然网站管理员自己没有链接到他不想被包括的页面，但是其他网站可能出于某种原因有导入链接，导致这些页面被包括在内。

为了确保不包含该页面，您需要使用机器人文件或元机器人标签。