xiaoyu9527
V2EX  ›  问与答

scrapy 关于如何提升下载图片的效率

  •  
  •   xiaoyu9527 · May 28, 2017 · 1542 views
    This topic created in 3298 days ago, the information mentioned may be changed or developed.

    with open(file_path,'wb') as file_writer: conn = request.urlopen(image_url)#下载图片 file_writer.write(conn.read()) file_writer.close()

    目前使用的是 request.urlopen(image_url)

    进行的图片下载 是否有什么办法进行多线程的形式

    使用 pilineimagedownload 能否效果比现在这种方式更好 目前就是速度太拙计了。

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1204 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 17:36 · PVG 01:36 · LAX 10:36 · JFK 13:36
    ♥ Do have faith in what you're doing.