如果想要把同一个网站的8万张左右图片下载下来，有什么好的解决方案么?

This topic created in 5044 days ago, the information mentioned may be changed or developed.

学习正则的过程中，采集了下某国内ACG网站的图库。大概一共会有6-8万个地址，图片有不少是5K*4K分辨率。平均500K-4M一张。估算是100G吧。

首先我是没兴趣下载这些图片的，收集这种把20MB的原图压成2MB的JPG就是侮辱自己硬盘。不过抱着学习研究的目的问下如果要下载这种类型的有什么软件方案？

首先要支持抵制导入，一行一个地址。
然后估计这种网站服务器会有保护措施的吧，短时间同一地址大量请求会被BAN掉的吧?

地址

网站

下载

9 replies • 1970-01-01 08:00:00 +08:00

binux

Aug 20, 2012

wget

013231

Aug 20, 2012

wget全站抓取或自己寫爬蟲吧. wget可以設置間隔, 爬蟲自然也可以.
地址導入wget就可以, -i(--input-file)參數.

Air_Mu

Aug 20, 2012

谢二位，我去研究一下wget

depress

Aug 20, 2012

/t/40484 这个帖或许能帮你。我WIN系统在用Teleport Pro :)

hu437

Aug 22, 2012

java程序员表示使用JSOUP这个库，写一个几十行的小程序，让计算机慢慢爬了

paloalto

Aug 22, 2012

前段时间也想批量下一个网站的图片 http://v2ex.com/t/42469#reply18 一开始是先写一个Python脚本去自动抓取，后来发现firefox里的downthemall插件可以批量下载文件名有一定规律的图片，于是就直接用插件下了。一共下了5500多张。

不过看楼主的需求，我的那个情况似乎不太适合你，还是自己写脚本吧。

csx163

Aug 22, 2012

ACG?求列表~

binux

Aug 22, 2012

@csx163 我猜是178的图库

aisk

Aug 22, 2012

求图库啊