有没有办法不让搜索引擎收录

2015 年 11 月 11 日
 just1

有个自己用的域名不想被收录，但是居然被收录了。。。 Google 和百度都有。可以防止被收录吗。 robots.txt 只是'由于此网站的 robots.txt ，系统未提供关于该结果的说明 - 了解详情。'

7905 次点击
所在节点    程序员
56 条回复
ChanneW
2015 年 11 月 12 日
全部 js 生成 动态 dom
quericy
2015 年 11 月 12 日
自己访问 host 绑域名
站点设置只有自己本地绑的那个域名才能访问
wubaiqing
2015 年 11 月 12 日
robots.txt
```
User-agent: *
Disallow: /
```
aluo1
2015 年 11 月 12 日
@wizardoz 哦哦，谢谢 :-)
之前看到一篇文章说到 cgi 写的网页不能被搜索引擎搜到，也不太明白
realpg
2015 年 11 月 12 日
做一个 http basic auth ，认证提示是 密码是 123 ，密码是 123 即可
zhanlucky
2015 年 11 月 12 日
所有页面的<head>里加上 noindex 标签：
<meta name="robots" content="noindex">
不过注意，网站的 robots.txt 不能屏蔽搜索引擎，不然爬虫永远抓不到这个标签
ajan
2015 年 11 月 12 日
参考
https://www.taobao.com/robots.txt
int64ago
2015 年 11 月 12 日
AngularJS

or

页面直接生成 SVG ，体验其实也很好
gimp
2015 年 11 月 12 日
后台生成图片，返回。
dphdjy
2015 年 11 月 12 日
想起来台湾那边那个 PPT 论坛。。。绝对不会被抓取~
sneezry
2015 年 11 月 12 日
penjianfeng
2015 年 11 月 12 日
@sneezry 好主意，赞一个！
hei1000
2015 年 11 月 12 日
存在本地吧
learnshare
2015 年 11 月 12 日
Robot 规则
caixiexin
2015 年 11 月 12 日
放点能被 GFW 认证的信息，然后国内各大搜索引擎就屏蔽了。
再放点 18x 的东西，谷歌搜索默认也不显示了
=。=
lenovo
2015 年 11 月 12 日
禁止爬虫 IP 访问
https://github.com/CNMan/htaccess/blob/master/.htaccess
leavic
2015 年 11 月 12 日
内容全部用 javascript 呈现
Tink
2015 年 11 月 12 日
全站 ajax 可以
blahgeek
2015 年 11 月 12 日
为什么没有人说验证码呢？
hqs123
2015 年 11 月 12 日
这个很难做到把...

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.xtra.eu.org/t/235474

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX