Meta的Llama 2一发布，就引爆了整个开源社区。
正如OpenAI科学家Karpathy所说，对于整个大语言模型领域来说，这是极其重要的一天。在开放权重的所有模型中，Llama 2是最强大的一个。
从此，开源大模型与闭源大模型的差距将进一步缩小，构建大模型的机会，从此对所有开发者都是平等的。
就在刚刚，Stability AI和CarperAI实验室联合发布了基于LLaMA 2 70B模型的微调模型——FreeWilly2。以及，基于LLaMA 65B原始模型微调的——FreeWilly1。值得注意的是，模型采用了基于标准Alpaca格式，并经过监督微调（SFT）的全新合成数据集来进行训练。在各项基准测试中，FreeWilly2都展现出了卓越的推理能力，甚至有部分任务还超过了GPT-3.5。
模型地址：https://huggingface.co/stabilityai/FreeWilly2
模型地址：https://huggingface.co/stabilityai/FreeWilly1-Delta-SafeTensorStability AI表示，FreeWilly模型的训练是受到了微软论文《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》的直接启发。
论文链接：https://arxiv.org/pdf/2306.02707.pdfFreeWilly的数据集变体包含有60万个数据点（大约是原始Orca论文使用的数据集大小的10%），并通过使用Enrico Shippole创建的高质量指令数据集，对模型进行了引导：- COT Submix Original
- NIV2 Submix Original
- FLAN 2021 Submix Original
通过这种方法，Stability AI使用了一个较简单的LLM模型生成了50万个示例，再使用一个更复杂的LLM模型生成了额外的10万个示例。为了进行公平比较，Stability AI精心筛选了这些数据集，并删除了来源于评估基准的示例。尽管训练样本量仅为原始Orca论文的十分之一，但由此生成的FreeWilly模型，不仅在各种基准测试中都表现出色，而且也验证了合成生成数据集方法的可行性。在性能评估方面，Stability AI的研究人员采用了EleutherAI的lm-eval-harness，并加入了AGIEval。从结果来看，FreeWilly在很多方面都表现出色，包括复杂的推理、理解语言的微妙之处，以及回答与专业领域相关的复杂问题（如法律和数学问题解决）。基本上，FreeWilly 2已经实现了与ChatGPT相当的水平，甚至在有些评测上更胜一筹。除此之外，来自Hugging Face的团队也在7月21日对实验进行了独立复现。可以看到，在Open LLM排行榜上，FreeWilly 2以绝对领先的优势排在第一，平均得分比原始版的Llama 2高了4个百分点。
可以说，FreeWilly1和FreeWilly2为开源大语言模型树立了新的标准。这两个模型的推出，不仅极大地推进了相关领域的研究，增强了自然语言理解能力，而且还支持复杂任务的完成。Stability AI表示，团队为这些模型能AI社区带来的无限可能感到非常兴奋，并期待着那些因它们而激发出全新应用。此外，也衷心感谢充满激情的研究人员、工程师和合作伙伴团队，是他们的卓越努力和奉献，使Stability AI能够达到这一重要里程碑。模型一经发布，网友「Phil Howes」就利用Tuhin Srivastava的Llama v2框架，在不到一分钟时间就完成了FreeWilly 2的实现。
经过275GB的权重加载后，模型的运行速度在开箱即用的情况下达到了23 token/s。另外，还有网友惊呼：Stability AI和CarperAI联合推出的模型，堪称是对游戏规则的改变！FreeWilly1和FreeWilly2在开源和性能方面具有极大的创新意义，AI圈正在迎来令人激动的时刻。https://stability.ai/blog/freewilly-large-instruction-fine-tuned-models
想要了解更多资讯，请扫描下方二维码，关注机器学习研究会
转自：新智元
