项目简介
Llama Coder 是 VS Studio Code 的更好的自托管 Github Copilot 替代品。Llama Coder 使用 Ollama 和 codellama 提供在您的硬件上运行的自动完成功能。最适合与 Mac M1/M2/M3 或 RTX 4090 配合使用。
特征
推荐硬件
最低所需 RAM:最低 16GB,越多越好,因为即使是最小的型号也需要 5GB RAM。最好的方法:配备 RTX 4090 的专用计算机。在此计算机上安装 Ollama 并在扩展设置中配置端点以卸载到该计算机。第二个最佳方法:在具有足够 RAM 的 MacBooc M1/M2/M3 上运行(更多 == 更好,但额外 10GB 就足够了)。对于 Windows 笔记本电脑:它在 GPU 不错的情况下运行良好,但建议使用具有良好 GPU 的专用机器。如果您有专用的游戏电脑,那就太完美了。
本地安装
在本地计算机上安装 Ollama,然后在 VSCode 中启动扩展,一切都应该按原样运行。
远程安装
在专用计算机上安装 Ollama 并在扩展设置中配置端点。Ollama 通常使用端口 11434 并绑定到 127.0.0.1 ,要更改它,您应该将 OLLAMA_HOST 设置为 0.0.0.0 。
模型
目前 Llama Coder 仅支持 Codellama。模型以不同的方式量化,但我们的测试表明 q4 是运行网络的最佳方式。选择模型时,模型越大,性能越好。始终为您的机器选择最大尺寸和最大可能量化的型号。默认值是 codellama:7b-code-q4_K_M 并且应该在任何地方都有效, codellama:34b-code-q4_K_M 是最好的。
Name 姓名 | RAM/VRAM 内存/显存 | Notes 笔记 |
---|
codellama:7b-code-q4_K_M | 5GB |
|
codellama:7b-code-q6_K Codellama:7b-代码-q6_K | 6GB | m 米 |
codellama:7b-code-fp16 Codellama:7b-代码-fp16 |
14GB | g |
codellama:13b-code-q4_K_M | 10GB |
|
codellama:13b-code-q6_K Codellama:13b-代码-q6_K | 14GB | m 米 |
codellama:34b-code-q4_K_M | 24GB |
|
codellama:34b-code-q6_K | 32GB | m 米 |
https://github.com/ex3ndr/llama-coder
关注「GitHubStore」公众号
扫一扫以下微信
1 加入技术交流群,备注「开发语言-城市-昵称」