优淘TAE系统目录介绍

禁止蜘蛛抓取目录

Disallow: /*.php

Disallow: /web/*

Disallow: /view/*

Disallow: /inc/*

Disallow: /top/*

Disallow: /fetch/*

只开放index文件和任意html页面给蛛蜘抓取

Allow: /index.php*

Allow: /*.html*