Home Sign Up Sign In
sohoer

Feed DIY 开启全网订阅（ RSS）更新

  •   
  •   sohoer · Feb 27, 2017 · 2221 views
    This topic created in 3388 days ago, the information mentioned may be changed or developed.
    优化了 CSS SELECTOR
    修复编码识别 BUG
    增加了几个可选参数配置：
    Charset （页面编码设置，避免乱码）
    Headers （设置登录 COOKIE ，模拟登录抓取）
    Skip how many rows to get the latest information.（排除 BBS 置顶贴）
    At the end of the list to get the latest information.（末尾更新的列表）

    原贴： https://v2ex.xtra.eu.org/t/341672

    btw:
    追加更新不会在首页显示，是降权了吗？
  • the
  • latest
  • 编码
  • get
    11 replies  •  2017-04-17 17:04:02 +08:00
    loadingimg
        1
    loadingimg  
       Feb 27, 2017   ❤️ 1
    顶一下，一直有在用
    sohoer
        2
    sohoer  
    OP
       Feb 27, 2017
    @loadingimg #1

    感谢！有使用问题可以给我留言。

    我经常会去看大家创建的规则，发现有些规则创建的不是很准确导至匹配效果不好。有时候也可能是 CSS SELECTOR 的 BUG ， BUG 问题我会第一时间解决
    notgood
        3
    notgood  
       Apr 7, 2017
    @sohoer 楼主你好, 发现个 bug, 无法抓取这个页面更新,点生成 feed 无法加载,能帮忙看看吗? http://www.smzdm.com/fenlei/gutaiyingpan/h1c4s0f0t0p1/#feed-main
    sohoer
        4
    sohoer  
    OP
       Apr 7, 2017
    @notgood #3 你登录的吗？
    未登录的爬虫 ，磁盘满了现在清理
    sohoer
        5
    sohoer  
    OP
       Apr 7, 2017
    @notgood #3 清理完毕，可以了，你再试一下
    notgood
        6
    notgood  
       Apr 7, 2017 via iPhone
    @sohoer 我登陆的，还是不行，
    sohoer
        7
    sohoer  
    OP
       Apr 7, 2017
    @notgood #6 有什么提示吗？右上角的 Event 不要勾上

    我都有创建一个，你可以直接 clone
    http://www.feeddiy.com/preview/1634
    notgood
        8
    notgood  
       Apr 7, 2017
    @sohoer 感谢, 可以了, 刷新好久 clone 才出现
    sohoer
        9
    sohoer  
    OP
       Apr 7, 2017
    @notgood #8 好的，有问题再留言
    ZakaryTime
        10
    ZakaryTime  
       Apr 17, 2017
    http://www.cqhrss.gov.cn/zwxx/ywfl/rsrc/sydw/sydwzp/ 这个地址服务器访问异常，不能进行爬虫！
    sohoer
        11
    sohoer  
    OP
       Apr 17, 2017
    @ZakaryTime #10 确实，这个是服务器端对 GAE 爬虫做了限制

    需要升级账户，走 VPS 爬虫 ，你可以试用一下
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1158 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 18:26 · PVG 02:26 · LAX 11:26 · JFK 14:26
    ♥ Do have faith in what you're doing.