V2EX › MrMike 的所有回复 › 第 11 页 / 共 11 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 ... 2 3 4 5 6 7 8 9 10 11

❮

❯

2017 年 3 月 12 日

回复了 MrMike 创建的主题 › PHP › PHP 如何高效快速解析 csv 数据并插入更新数据库？

@mingyun 现在没有在 foreach 里面插入数据了，目前就是在循环里串联字符串，然后在循环外进行数据插入的工作。但是现在如果数据很大的话，一次性将 1 万条数据循环完，就要内存溢出了，在循环内，还有几次数据查询的业务。
我现在比较困惑如何更有效的分段循环并插入数据了。

2017 年 3 月 11 日

回复了 MrMike 创建的主题 › PHP › PHP 如何高效快速解析 csv 数据并插入更新数据库？

@yangqi 就是，我也发觉，我在尝试分段插入，我再检查下我的代码，也可能是用了多次数据库查询和循环，造成了内存溢出了。谢谢哈。

2017 年 3 月 11 日

回复了 MrMike 创建的主题 › PHP › PHP 如何高效快速解析 csv 数据并插入更新数据库？

@yangqi 我试试不用 doctrine 类来插入数据，看看行不行。

2017 年 3 月 11 日

回复了 MrMike 创建的主题 › PHP › PHP 如何高效快速解析 csv 数据并插入更新数据库？

@qhxin PHP 的内存限制：测试服务器上是 2G,线上服务器是 4G 。

2017 年 3 月 11 日

回复了 MrMike 创建的主题 › PHP › PHP 如何高效快速解析 csv 数据并插入更新数据库？

@yangqi 代码单独解析 csv 文件的话， 1 万条数据没问题，但是如果再解析每一个产品所对应的产品图片，获取对应的图片路径，再插入数据库的话，就内存溢出了。我是把一万条数据组成一条 MYSQL INSERT INTO 语句一次性插入的，我直接将生成的 MYSQL 语句单独使用 PHPMYADMIN 进行插入，是完全可以执行的。但是一旦放在代码里，就不行。

2017 年 3 月 11 日

回复了 MrMike 创建的主题 › PHP › PHP 如何高效快速解析 csv 数据并插入更新数据库？

@Felldeadbird
@yangqi
图片肯定不是存储在数据库的，是存在硬盘上的。
csv 在压缩包里，是先通过 ftp 上传到服务器后，再通过 web 的方式进入网站后台去进行在线解压缩并解析 csv 插入更新数据库的。
内存，测试服务器上是 2G,线上服务器是 4G 。

我想过异步处理，但是对 shell 脚本不熟，所以没有完全实现。

谢谢。

1 ... 2 3 4 5 6 7 8 9 10 11

❮

❯