shadowmydx's recent timeline updates shadowmydx's recent timeline updates |
shadowmydxV2EX member #143933, joined on 2015-10-22 23:35:03 +08:00 |
| 一个内置了 GxAxxxx 内部判断逻辑的 google-ip-searcher (Based on Mac OS) Python • shadowmydx • Oct 22, 2015 |
shadowmydx's recent replies
Oct 13, 2016 Replied to a topic by ethsol › 程序员 › 作为一个 python 新手，我很无语， urllib2 的 add_header 搞了一天，求助解决方法 |
@zong400 因为 urlib2 在构建 Request 对象时对你传入的参数进行了统一的处理，其中，处理 header 后，将其赋予一个成员变量 headers 。因此，你只需要重新替换掉这个成员就可以了。
Oct 12, 2016 Replied to a topic by ethsol › 程序员 › 作为一个 python 新手，我很无语， urllib2 的 add_header 搞了一天，求助解决方法 |
这个很简单，这个 header 是 Request 对象中一个叫 headers 的成员，如果一定要大写，你直接这么写就可以：
h = {"Content-Type": "application/json"}
req = urllib2.Request(url, js, headers=h)
req.headers = h
print req.has_header("Content-Type")
print req.get_header("Content-Type")
h = {"Content-Type": "application/json"}
req = urllib2.Request(url, js, headers=h)
req.headers = h
print req.has_header("Content-Type")
print req.get_header("Content-Type")
Oct 27, 2015 Replied to a topic by RickGray › Python › Python 如何解决 多线程 (multiprocessing) 处理网络请求密集型任务时 低效的问题 |
Python 之所以引入 multiprocessing ，是因为 Python 有全局解释器锁，不能很好的发挥多 CPU 的计算能力。所以如果有 CPU 密集型的计算任务时，为了发挥多 CPU 的计算能力，就会把计算任务分发到不同的进程中完成。
问题在于，网络请求密集型的任务不属于 CPU 密集型而属于 I/O 阻塞型，这个时候，多 CPU 对于任务完成的加力并不明显，而进程的开销反而会拖累程序的效率。所以此时可以选用多线程的方案，来减少新建进程的开销和进程间通信的开销。
题外话，在没看到效率显著提升时，不妨线程开多点。
我 15 个线程跑一个任务，感觉龟速。开到 30 后就刷屏了。
问题在于，网络请求密集型的任务不属于 CPU 密集型而属于 I/O 阻塞型，这个时候，多 CPU 对于任务完成的加力并不明显，而进程的开销反而会拖累程序的效率。所以此时可以选用多线程的方案，来减少新建进程的开销和进程间通信的开销。
题外话，在没看到效率显著提升时，不妨线程开多点。
我 15 个线程跑一个任务，感觉龟速。开到 30 后就刷屏了。
Select Language