禁止蜘蛛抓取目录
Disallow: /*.php
Disallow: /web/*
Disallow: /view/*
Disallow: /inc/*
Disallow: /top/*
Disallow: /fetch/*
只开放index文件和任意html页面给蛛蜘抓取
Allow: /index.php*
Allow: /*.html*