Py学习  »  Python

高效灵活的概率建模方法基于Python

量化投资与机器学习 • 6 年前 • 591 次点击  


编辑部

微信公众号

关键字全网搜索最新排名

『量化投资』:排名第一

『量       化』:排名第一

『机器学习』:排名第四


我们会再接再厉

成为全网优质的金融、技术类公众号


前言

在今天给大家介绍一个研究工具:pomegranate。它比其他软件包更加灵活,更快,直观易用,并且可以在多线程中并行完成。



The API

主要模型介绍

  • 一般混合模型

  • 隐马尔可夫模型

  • 贝叶斯网络

  • 贝叶斯分类器


所有模型使用做多的方法

model.log_probability(X) / model.probability(X)
model.sample()
model.fit(X, weights, inertia)
model.summarize(X, weights)
model.from_summaries(inertia)

model.predict(X)
model.predict_proba(X)
model.predict_log_proba(X)

model.from_samples(X, weights)


支持很多分布函数

单变量分布
    1. UniformDistribution
    2. BernoulliDistribution
    3. NormalDistribution

    4. LogNormalDistribution
    5. ExponentialDistribution
    6. BetaDistribution
    7. GammaDistribution
    8. DiscreteDistribution
    9. PoissonDistribution



内核密度

    1. GaussianKernelDensity
    2. UniformKernelDensity
    3. TriangleKernelDensity


多变量分布

    1. IndependentComponentsDistribution
    2. MultivariateGaussianDistribution

    3. DirichletDistribution
    4. ConditionalProbabilityTable
    5. JointProbabilityTable


模型可以从已知值中创建


模型也可以从数据直接学习


pomegranate 比 numpy 快

只需要一次数据集(适用于所有模型)。以下是正态分布统计示例:


支持核心学习

由于使用了足够多的统计数据,因此可以支持外核/在线学习。


pomegranate 比 scipy 快


The API

主要模型介绍

  • 一般混合模型

  • 隐马尔可夫模型

  • 贝叶斯网络

  • 贝叶斯分类器


通用混合模型(GMM)可以对多组分布进行建模

GMM使用期望最大化(EM)来拟合

    1、使用kmeans ++或kmeans ||初始化集群

    2、对于等于后P(M | D)(E步)的所有点分配权重

    3、使用加权点更新分布(M步)

    4、重复2和3,直到收敛


model = GeneralMixtureModel.from_samples(NormalDistribution, 2, X)

GMM不限于高斯分布


单个指数分布不能很好的数据进行建模

model = ExponentialDistribution.from_samples(X)


两个指数混合使数据更好的模拟

model = GeneralMixtureModel.from_samples(ExponentialDistribution, 2, X)


Heterogeneous mixtures are natively supported

model = GeneralMixtureModel.from_samples([ExponentialDistribution, UniformDistribution], 2, X)


一般混合模型比sklearn快


The API

主要模型介绍

  • 一般混合模型

  • 隐马尔可夫模型

  • 贝叶斯网络

  • 贝叶斯分类器


CG enrichment detection HMM

GACTACGACTCGCGCTCGCGCGACGCGCTCGACATCATCGACACGACACTC



GMM-HMM


HMM比hmmlearn快


The API

主要模型介绍

  • 一般混合模型

  • 隐马尔可夫模型

  • 贝叶斯网络

  • 贝叶斯分类器


P(M|D)= P(D|M)P(M) / P(D)
Posterior = Likelihood * Prior / Normalization


基于数据建立一个简单的分类器


似然函数本身忽略了类不平衡


先验概率可以模拟分类不平衡


后验模型更真实地对原始数据进行建模


后者的比例是一个很好的分类器

model = NaiveBayes.from_samples(NormalDistribution, X, y)
posteriors = model.predict_proba(idxs)


P(M|D)= ∏P(D|M) P(M) / P(D)
Posterior = Likelihood * Prior / Normalization


Naive Bayes does not need to be homogenous


不同的功能属于不同的分布

Gaussian Naive Bayes: 0.798
sklearn Gaussian Naive Bayes: 0.798
Heterogeneous Naive Bayes: 0.844


与sklearn一样快


P(M|D)= P(D|M) P(M) / P(D)
Posterior = Likelihood * Prior / Normalization


mc_a = MarkovChain.from_samples(X[y == 0])
mc_b = MarkovChain.from_samples(X[y == 1])
model_b = BayesClassifier([mc_a, mc_b], weights=numpy.array([1-y.mean(), y.mean()]))


hmm_a = HiddenMarkovModel…
hmm_b = HiddenMarkovModel...
model_b = BayesClassifier([hmm_a, hmm_b], weights=numpy.array([1-y.mean(), y.mean()]))


bn_a = BayesianNetwork.from_samples(X[y == 0])
bn_b = BayesianNetwork.from_samples(X[y == 1])
model_b = BayesClassifier([bn_a, bn_b], weights=numpy.array([1-y.mean(), y.mean()]))


并行


关注者


110000+


我们每天都在进步



今天看啥 - 高品质阅读平台
本文地址:http://www.jintiankansha.me/t/beFjZEQ2h4
Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/2361
 
591 次点击