X  
登录

还没有账号?立即注册

忘记密码?
登陆
X  
注册

已经有账号?马上登陆

立即注册
统计
  • 建站日期:2021-03-10
  • 文章总数:607 篇
  • 评论总数:267 条
  • 分类总数:15 个
  • 最后更新:6月6日
文章 网站代码

网站robots.txt 协议写法教程

云烟雨
首页 网站代码 正文
广告

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。

           robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的,比如后台的程序/admin就不要蜘蛛去抓取了,虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径,所以安全的配置robots.txt文件是必要的。

配置如下

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。

版权说明
文章采用: 《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权。
版权声明:未标注转载均为本站原创,转载时请以链接形式注明文章出处。如有侵权、不妥之处,请联系站长删除。敬请谅解!

-- 展开阅读全文 --
这篇文章最后更新于2020-10-27,已超过 1 年没有更新,如果文章内容或图片资源失效,请留言反馈,我们会及时处理,谢谢!
某米综合插件源码[CC/易支付/群发/群管]四合一源码
« 上一篇
zblogPHP调用文章总数、置顶数、tag总数等相关代码教程
下一篇 »

发表评论

HI ! 请登录
注册会员,享受下载全站资源特权。
登陆 注册
社交账号登录

每天一语

热门文章

1
2
96云呼轰炸机全开源源码
3
爱奇艺签到助手PHP网站源码
4
限制QQ登录解除3个常用方法

最新文章