生成 robots.txt 文件，告诉搜索引擎爬虫哪些页面可以抓取、哪些不可以。选择 User-agent（* 代表所有爬虫），决定允许还是禁止整站，然后添加具体的 Disallow 路径（如 /admin/）和 Allow 例外。路径可添加任意多条，还能指定 Sitemap 地址。
把生成的文件放在域名根目录下，命名为 /robots.txt。全部在浏览器本地运行。
Meta Tag GeneratorSlugifyURL Parser