苹果平板电脑可以运行70b 模型。

来源: 未知于 2025-02-02 21:18:19 [档案] [博客] [旧帖] [给我悄悄话] 阅读数 : (617 bytes)

需要是比较新的M3、M4系列的，因为它们用了Unified Memory构建，GPU可以直接存取RAM的数据。我在苹果M3 Pro机上跑了DS-r1-70b 和Llama3-70b模型。

用Nvidia RTX 显板的Windows，要看你的显板VRAM有多大。只能跑小于显板内存大小的模型。例如RTX3080有12GB内存，如果有两块显板，就是24GB，可以跑 DS-r1-32b模型（32b模型压缩后实际用20GB内存）。

您的位置：文学城 » 论坛 » AI 潮流社 » 苹果平板电脑可以运行70b 模型。