社区
教程
Wiki
注册
登录
创作新主题
社区所有版块导航
Python
python开源
Django
Python
DjangoApp
pycharm
DATA
docker
Elasticsearch
分享
问与答
闲聊
招聘
翻译
创业
分享发现
分享创造
求职
区块链
支付之战
aigc
aigc
chatgpt
WEB开发
linux
MongoDB
Redis
DATABASE
NGINX
其他Web框架
web工具
zookeeper
tornado
NoSql
Bootstrap
js
peewee
Git
bottle
IE
MQ
Jquery
机器学习
机器学习算法
Python88.com
反馈
公告
社区推广
产品
短视频
印度
印度
一周十大热门主题
ChatGPT4 最新开通+ API 白嫖大法:免费使用,无需手机验证,无需等待,国内直联
牛逼啊,ChatGPT 4.0 国内可以直接用了!
一年前,ChatGPT低调发布的时候,命运的齿轮转动了
版权案例 | 全国首例!“AI文生图”著作权案:AIGC构成受著作权法保护的作品
AI作曲、AI虚拟人、粉丝服务……AIGC正在如何影响偶像产业?
万字长文专访“AI之父”Geoffrey Hinton: 我使用ChatGPT之后,为什么也开始害怕...
从TPCTF 2023 学习Python逆向
一川知识点丨从作品类型角度驳AIGC第一案
南京趋势科技将研发撤离中国,裁员赔偿N+4到N+8;大学生用AI帮11名失踪儿童回家;腾讯NOW停止...
智能演进:个性化广告精准投放,机器学习与广告推荐的深度融合
关注
Py学习
»
机器学习算法
深度学习需要掌握的 13 个概率分布(附代码)
机器学习算法那些事
• 3 周前 • 52 次点击
知乎作者:Sophia
转载自:深度学习自然语言处理
本文仅用于学术分享,著作权归作者所有。如有侵权,请联系后台作删文处理。
在逛Github时发现了一个不错的总结,对深度学习的概率分布进行了总结。
作者的Github开源地址:
https://github.com/graykode/distribution-is-all-you-needgithub.com
1. 均匀分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/uniform.py
均匀分布在 [a,b] 上具有相同的概率值,是简单概率分布。
2. 伯努利分布(离散)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/bernoulli.py
先验概率 p(x)不考虑伯努利分布。因此,如果我们对最大似然进行优化,那么我们很容易被过度拟合。
利用二元交叉熵对二项分类进行分类。它的形式与伯努利分布的负对数相同。
3. 二项分布(离散)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/binomial.py
参数为 n 和 p 的二项分布是一系列 n 个独立实验中成功次数的离散概率分布。
二项式分布是指通过指定要提前挑选的数量而考虑先验概率的分布。
4. 多伯努利分布/分类分布(离散)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/categorical.py
多伯努利称为分类分布。
交叉熵和采取负对数的多伯努利分布具有相同的形式。
5. 多项式分布(离散)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/multinomial.py
多项式分布与分类分布的关系与伯努尔分布与二项分布的关系相同。
6. β分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/beta.py
β分布与二项分布和伯努利分布共轭。
利用共轭,利用已知的先验分布可以更容易地得到后验分布。
当β分布满足特殊情况(α=1,β=1)时,均匀分布是相同的。
7. Dirichlet 分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/dirichlet.py
dirichlet 分布与多项式分布是共轭的。
如果 k=2,则为β分布。
8.伽马分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/gamma.py
如果 gamma(a,1)/gamma(a,1)+gamma(b,1)与 beta(a,b)相同,则 gamma 分布为β分布。
指数分布和卡方分布是伽马分布的特例。
9. 指数分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/exponential.py
指数分布是 α 为 1 时 γ 分布的特例。
10. 高斯分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/gaussian.py
高斯分布是一种非常常见的连续概率分布。
11. 正态分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/normal.py
正态分布为标准高斯分布,平均值为0,标准差为1。
12. 卡方分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/chi-squared.py
k 自由度的卡方分布是 k 个独立标准正态随机变量的平方和的分布。
卡方分布是 β 分布的特例。
13. t 分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/student-t.py
t分布是对称的钟形分布,与正态分布类似,但尾部较重,这意味着它更容易产生远低于平均值的值。
Python社区是高质量的Python/Django开发社区
本文地址:
http://www.python88.com/topic/164386
52 次点击
登录后回复