Py学习  »  Git

Llama Coder:旨在取代Github Copilot,提供更强大且本地化的AI支持

GitHubStore • 2 月前 • 305 次点击  

项目简介

Llama Coder 是 VS Studio Code 的更好的自托管 Github Copilot 替代品。Llama Coder 使用 Ollama 和 codellama 提供在您的硬件上运行的自动完成功能。最适合与 Mac M1/M2/M3 或 RTX 4090 配合使用。



特征

  • 🚀 和副驾驶一样好

  • ⚡️快。在消费级 GPU 上运行良好。建议使用 RTX 4090 以获得最佳性能。

  • 🔐 没有遥测或跟踪

  • 🔬 适用于任何语言编码或人类编码。


推荐硬件

最低所需 RAM:最低 16GB,越多越好,因为即使是最小的型号也需要 5GB RAM。最好的方法:配备 RTX 4090 的专用计算机。在此计算机上安装 Ollama 并在扩展设置中配置端点以卸载到该计算机。第二个最佳方法:在具有足够 RAM 的 MacBooc M1/M2/M3 上运行(更多 == 更好,但额外 10GB 就足够了)。对于 Windows 笔记本电脑:它在 GPU 不错的情况下运行良好,但建议使用具有良好 GPU 的专用机器。如果您有专用的游戏电脑,那就太完美了。


本地安装

在本地计算机上安装 Ollama,然后在 VSCode 中启动扩展,一切都应该按原样运行。


远程安装

在专用计算机上安装 Ollama 并在扩展设置中配置端点。Ollama 通常使用端口 11434 并绑定到 127.0.0.1 ,要更改它,您应该将 OLLAMA_HOST 设置为 0.0.0.0 。


模型

目前 Llama Coder 仅支持 Codellama。模型以不同的方式量化,但我们的测试表明 q4 是运行网络的最佳方式。选择模型时,模型越大,性能越好。始终为您的机器选择最大尺寸和最大可能量化的型号。默认值是 codellama:7b-code-q4_K_M 并且应该在任何地方都有效, codellama:34b-code-q4_K_M 是最好的。

Name 姓名RAM/VRAM 内存/显存Notes 笔记
codellama:7b-code-q4_K_M5GB
codellama:7b-code-q6_K Codellama:7b-代码-q6_K6GBm 米
codellama:7b-code-fp16 Codellama:7b-代码-fp16 14GBg
codellama:13b-code-q4_K_M10GB
codellama:13b-code-q6_K Codellama:13b-代码-q6_K14GBm 米
codellama:34b-code-q4_K_M24GB
codellama:34b-code-q6_K32GBm 米


项目链接

https://github.com/ex3ndr/llama-coder

 关注「GitHubStore」公众号

扫一扫以下微信

1 加入技术交流群,备注开发语言-城市-昵称


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/165291
 
305 次点击