moonlightpics

请问大佬们, google 是不能抓取国内的网页了吗?我用的阿里云 DNS, google 一直说无法访问 robots.txt

  •  
  •   moonlightpics · Feb 3 · 1543 views
    This topic created in 124 days ago, the information mentioned may be changed or developed.

    情况就是,所有的搜索引擎都可以访问我的 robots.txt ,唯独 google 不行。提示托管有问题,网址检查都提示:Google 无法识别此网址,测试实际网址又报错:发生网站级问题,因此无法显示这个网页。。我看有人说干脆去掉 robots.txt ,我这么做了,但是还是没啥效果。 还有个诡异的情况,之前另外一个域名在同一个服务器上,没有登陆 search-console 验证之前被收录了好几千。但是我验证之后发先哗哗的掉,开始出现托管错误。。 给管理员发消息一周了也没有回复。。请各位大佬指点指点。 网址: https://yinxiao.cc

    7 replies    2026-06-06 16:19:04 +08:00
    Jesmora
        1
    Jesmora  
       Feb 3
    不是 404 吗
    moonlightpics
        2
    moonlightpics  
    OP
       Feb 3
    @Jesmora 不是,我现在把 robots.txt 删了,所以访问 robots.txt 是 404,但是即使删除了 robots.txt ,google 还是没法抓取我的网页。
    Kwnthink
        3
    Kwnthink  
       Feb 7
    我记得之前可以提交单文件的,专门提交,以及让 google 去 ping 下 robots 文件,现在后台好久没登录不知道功能有没有改
    moonlightpics
        4
    moonlightpics  
    OP
       Feb 7
    @Kwnthink 就是 google 没法 ping 通我的 robots 。。别的搜索都可以,所以我怀疑是不是 google 不能访问大陆 IP ?但是别的网站收录都挺好的啊,,,奇怪。
    moonlightpics
        5
    moonlightpics  
    OP
       Feb 7
    而且挺搞笑的,他显示我带 www 的域名可以访问 robots ,不带 www 的却不行,,关键我带 www 的是 301 定向到不带 www 的,纳闷.
    RinGress
        6
    RinGress  
       4 days ago
    +1,发现从 3 月初开始 google 就抓取不到了。阿里云成都
    moonlightpics
        7
    moonlightpics  
    OP
       1 day ago
    @RinGress 我已经解决了,上 CDN 或者 ESA 之类的就行。不知道是不是阿里云故意的。。最开始是可以访问的,后来逼你买加速。。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5713 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 01:41 · PVG 09:41 · LAX 18:41 · JFK 21:41
    ♥ Do have faith in what you're doing.