[求推荐] 整站Url抓取工具，只要Url，不要页面内容

This topic created in 4613 days ago, the information mentioned may be changed or developed.

有个客户网站，栏目都没有列表页，很多页面都藏得很深。（无法进后台，无法看数据库）

有没有这样的工具，可以抓取全部的URL，就可以自己整理了:

http://localhost/aaa/001
http://localhost/aaa/002
http://localhost/aaa/003
http://localhost/aaa/004

http://localhost/bbb/001
http://localhost/bbb/002
http://localhost/bbb/003

就可以统计出aaa栏目下有哪些URL，bbb栏目下有哪些URL

现在进入http://localhost/aaa/，是直接跳转到aaa下最新的一篇，太苦逼了

5 replies • 1970-01-01 08:00:00 +08:00