我在 aws lambda 上调用 openai 的 createChatCompletion 接口，耗时 30s ，正常吗，问题可能是出在哪里呢？要怎么优化呢？我的 aws 区是新加坡。
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
我在 aws lambda 上调用 openai 的 createChatCompletion 接口，耗时 30s
hackingwu · hackingwu · Jul 12, 2023 · 1423 viewsThis topic created in 1063 days ago, the information mentioned may be changed or developed.
 |
1
corningsun Jul 12, 2023
aws lambda 是不是每次都在初始化？
可以配置过期时间，然后加一个定时调度来保活，这样不会每次都初始化 lambda 。 |
 |
2
hzzhzzdogee Jul 12, 2023
@corningsun 赞同一楼
|
 |
3
vmlinz Jul 12, 2023 via iPhone
接入 cloudwatch xray ，看看问题。
楼上说的冷启动问题也可能，https://aws.amazon.com/blogs/compute/operating-lambda-performance-optimization-part-1/ 可以用 event bridge 定期唤醒，或者预留实例，文档都有介绍。 30 多秒看起来即使是冷启动也不会这么久，你还要看看你的 lambda 函数初始化时间。所以最好集成 xray ，看看数据。 实在不行就换成 ecs fargate 去执行。 |
 |
4
rukeypei Nov 13, 2023
之前我用 lambda 配置函数内存 128M, 从实例初始化到返回数据需要大概 8s 左右, 把内存提高到 512M, 时间降低到 1.4s 完全能接受, 后来经过测试, 随着内存配置的升高, 从实例初始化到返回数据会降低, 最后测试内存 2.5g 大概只需要 0.7s 左右(冷启动到处理完成返回数据), 最后我设置到了内存 512M.
这里有个文章可以参考: https://docs.aws.amazon.com/zh_cn/lambda/latest/operatorguide/computing-power.html |
Select Language