社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
私信  •  关注

kleerofski

kleerofski 最近创建的主题
kleerofski 最近回复了
6 年前
回复了 kleerofski 创建的主题 » 使用Python从.txt文件中随机生成一个加权词列表

Numpy已经在random.choice中提供了内置参数“p”(代表概率),用于生成加权样本。最小示例:

import pandas as pd, numpy as np
from collections import Counter

df = pd.DataFrame(dict(words=["a","e","i","o","u"],weights=np.random.randint(5,15,5)))
df["normalized"]=df["weights"]/sum(df["weights"].values)
print(df)

words   weights normalized
0   a   9   0.204545
1   e   13  0.295455
2   i   8   0.181818
3   o   6   0.136364
4   u   8   0.181818

n = 3
l=np.random.choice(df.words,size=(n,),p=df.normalized)
print(l)
array(['u', 'i', 'i'], dtype=object)

你怎么知道概率是否得到尊重?答案很简单,如果n足够大,那么单个事件除以n的总和应该大约等于单词的规范化权重:

n = 10000
l=np.random.choice(df.words,size=(n,),p=df.normalized)
c=Counter(l)
for key in c: c[key]=c[key]/n
print(c, sum(c.values()))
Counter({'e': 0.2907, 'a': 0.2055, 'u': 0.1882, 'i': 0.1791, 'o': 0.1365}) 1.0