GitHub(微博搜索)-20231012-1

本条微博地址OneFlow
#大模型日报##AI前沿动态# [技术]
【基于Attention Sinks的高效流式语言模型】

论文链接：网页链接
项目地址：github.com/mit-han-lab/streaming-llm
概述：麻省理工学院、Meta AI和卡内基梅隆大学的研究人员开发了#StreamingLLM#，这是一个高效的框架，使得在有限长度注意力窗口上训练的LLM能够扩展到无限序列长度，而无需任何微调。这种高效的方法使得像#GPT-3#和#PaLM#这样的模型能够处理超过400万个词元的上下文，实现稳定而高效的性能。此外，发现在预训练期间添加一个占位符作为专用的注意力汇（attention sink）可以进一步改善流式部署。在流式设置中，StreamingLLM 的速度比滑动窗口重计算基准提升了最高22.2倍。 本条微博地址韩新一
mark//@黄建同学:地址：github.com/microsoft/prompts-for-edu 搜索微博更多关键词-GitHub