specter119's recent timeline updates specter119's recent timeline updates |
specter119V2EX member #98404, joined on 2015-02-17 19:48:48 +08:00 |
specter119's recent replies
Oct 31, 2022 Replied to a topic by MasterofNone › Python › Python 的多层嵌套循环如何优化？ |
是在一个很大的时间尺度上做滑窗吗？每个滑窗还要跨文件 IO ，机器还没法一下全读了？
个人经验即使是分布式的 spark 上，优化的空间并不大。而且 spark 上滑窗的计算也很慢，不知道新一点的 dask ，ray 这方便会比 spark 强多少。
个人经验即使是分布式的 spark 上，优化的空间并不大。而且 spark 上滑窗的计算也很慢，不知道新一点的 dask ，ray 这方便会比 spark 强多少。
Select Language