流出的类 GPT 模型 LLaMA 的运行效果

2023 年 3 月 5 日
 ByteCat

相信大家都已经下载了 LLaMA 的模型来玩了,我今天也玩了一下,效果其实和想象的差很多。

运行环境: GPU: RTX 4090 Weight: LLaMA-7B 在默认 FP16 下运行,会占用 22GB 左右的显存

总结:英文补全勉强能看,但好像还是挺差的,中文补全直接胡言乱语,和 GPT-3 相距甚远,可能还要作为模型基础继续针对训练,对普通用户来说基本没什么可用性,毕竟有一张至少 24G VRAM 的 GPU 就挺难了

4043 次点击
所在节点    程序员
5 条回复
Wenbobobo
2023 年 3 月 5 日
托管在抱脸上的 7B demo
https://huggingface.co/spaces/chansung/LLaMA-7B
可以都去试试,确实现在还不太行
yzlnew
2023 年 3 月 9 日
你跑一个 7B 的怎么可能会行啊?
ByteCat
2023 年 3 月 9 日
@yzlnew 7B 就占用 22G VRAM 了,我感觉很多人连 7B 都跑不起来吧,只能说不太适合个人用了
yzlnew
2023 年 3 月 9 日
@ByteCat GPT-3 级别的大模型推理目前标配需要 8*A100 才有比较合理的延迟。不然只能借助各种 offloading 的优化方案。
18601294989
2023 年 4 月 12 日
13b 啊

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.xtra.eu.org/t/921340

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX