推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Morriaty
V2EX  ›  Python

pyspider 项目启动后无响应、无报错

  •  
  •   Morriaty · Aug 11, 2017 · 4947 views
    This topic created in 3230 days ago, the information mentioned may be changed or developed.

    脚本调试的时候一路 follow 都能走通,但启动项目后就是没响应。

    Active Tasks 就一条记录

    data:,_on_get_info 
    

    pyspider 的 project 数据库也只有data:,on_startdata:,on_finished两条记录,清空重跑也不行。

    @binux

    9 replies    2018-06-15 12:02:16 +08:00
    Morriaty
        1
    Morriaty  
    OP
       Aug 11, 2017
    找到这个[issue]( https://github.com/binux/pyspider/issues/208)

    但似乎`/task/project:taskid`这个路由已经遗弃了,访问`/task/{name}:data:,on_start`是 404
    golmic
        2
    golmic  
       Aug 11, 2017
    建议用 scrapy。用 pyspider 踩坑无数,最后不得不把整个项目重构
    arischow
        3
    arischow  
       Aug 11, 2017
    换个头像吧,真讨厌
    binux
        4
    binux  
       Aug 11, 2017
    你按 run 了吗?
    binux
        5
    binux  
       Aug 11, 2017
    你以前运行过项目吗?
    Morriaty
        6
    Morriaty  
    OP
       Aug 11, 2017
    @binux 当然点 run 了......之前运行过,但也是卡在`data:,_on_get_info`,所以已爬取的 url list 是空,这和能否重复运行有关系吗?而且我也主动清空过 taskdb
    terrawu
        7
    terrawu  
       Aug 11, 2017
    现在还有人用 pyspider 吗?
    binux
        8
    binux  
       Aug 11, 2017
    @Morriaty #6 日志,队列状态?
    jamesv2v2
        9
    jamesv2v2  
       Jun 15, 2018
    @every(minutes=24 * 60)
    def on_start(self):
    是 @every 限制了每 24 小时执行一次。
    注释掉,立刻执行。哈哈,爽
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5301 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 05:52 · PVG 13:52 · LAX 22:52 · JFK 01:52
    ♥ Do have faith in what you're doing.