社区
教程
Wiki
注册
登录
创作新主题
社区所有版块导航
Python
python开源
Django
Python
DjangoApp
pycharm
DATA
docker
Elasticsearch
分享
问与答
闲聊
招聘
翻译
创业
分享发现
分享创造
求职
区块链
支付之战
aigc
aigc
chatgpt
WEB开发
linux
MongoDB
Redis
DATABASE
NGINX
其他Web框架
web工具
zookeeper
tornado
NoSql
Bootstrap
js
peewee
Git
bottle
IE
MQ
Jquery
机器学习
机器学习算法
Python88.com
反馈
公告
社区推广
产品
短视频
印度
印度
一周十大热门主题
1天轻松搞定python必背单词，就这8个块！
ChatGPT 桌面应用上线 ChatGPT Voice 功能，支持语音控制电脑并协调多个Agent...
国内首部获证AIGC网络故事片《奇谭：纸刃渡荒墟》独家登陆爱奇艺
GitHub 发生重大跨服务故障：Actions、Issues 等核心功能受影响
人文社科作者也能玩转Python，让文本数据自己“讲故事”
Python学不好你就死磕这个app
跟着APEC看蓉企⑦ | 这家成都企业，把AIGC“声”意做成出海产业
+你，更快乐！爱奇艺发布创作者平台品牌和六大服务体系，全面赋能AIGC创作者
机器学习-arXiv人工精选-2026年7月最新论文20篇
ChatGPT 桌面端推出 ChatGPT Voice；谷歌旗舰模型难产；菲尔兹奖得主 Jacob ...
关注
Py学习
»
Git
GitHub(微博搜索)-20231012-1
GitHub(微博搜索)
• 2 年前 • 413 次点击
本条微博地址
OneFlow
#大模型日报#
#AI前沿动态#
[技术]
【基于Attention Sinks的高效流式语言模型】
论文链接：
网页链接
项目地址：github.com/mit-han-lab/streaming-llm
概述：麻省理工学院、Meta AI和卡内基梅隆大学的研究人员开发了
#StreamingLLM#
，这是一个高效的框架，使得在有限长度注意力窗口上训练的LLM能够扩展到无限序列长度，而无需任何微调。这种高效的方法使得像
#GPT-3#
和
#PaLM#
这样的模型能够处理超过400万个词元的上下文，实现稳定而高效的性能。此外，发现在预训练期间添加一个占位符作为专用的注意力汇（attention sink）可以进一步改善流式部署。在流式设置中，StreamingLLM 的速度比滑动窗口重计算基准提升了最高22.2倍。
本条微博地址
韩新一
mark//
@黄建同学
:地址：github.com/microsoft/prompts-for-edu
搜索微博更多关键词-GitHub
Python社区是高质量的Python/Django开发社区
本文地址：
http://www.python88.com/topic/163043
登录后回复
