如何在前端用 api 同时调用多个 scrapy 编写的爬虫？

最近在学习爬虫，使用了 scrapy。 一个需要是，用户在浏览器输入关键词，然后返回爬取的 url 给用户。 调研发现了 scrapyd 和 scrapyrt 但是发现 scrapyd 没有办法返回自定义的 response. 于是又使用了 scrapyrt，但是发现无法同时处理多个用户的请求。 所以来求助各位 orz 总结一下，我的问题是:

• 如果使用 scrapyd，除了返回 response 给前端的方式，还有什么办法可以将爬到的 url 给前端？以及，scrapyd 是否能够支持同时处理多个 request?
• 如果使用 scrapyrt，如何支持同时处理多个 request ？
• 如果不使用 scrapyd/scrapyrt，是否有一些 python web 的 framework 可以实现我这个需要。
• 目前已经将爬虫部署在了 docker 中，用户不会很多，如果上述方案都比较麻烦难以实现，我启动多个 docker 来处理，这个方案是否现实？