腾讯2018广告算法大赛思路解析(python)

向AI转型的程序员都关注了这个号👇👇👇

大数据挖掘DT数据分析公众号： datadw

赛题官网：algo.qq.com/person/mobile/landingPage?from=dsbryan

由于本次比赛我属于内部员工不得参赛，所以我尽量写一些思路解析，为大家提供一个baseline

代码详见github:

https://github.com/YouChouNoBB/2018-tencent-ad-competition-baseline

1.首先处理4个G的用户特征

因为数据太大，而且不是能直接pandas读取的格式，所以需要做格式转换，用dict的方式来初始化DataFrame

2.拼接用户特征，广告特征

训练数据中负样本的标签给的是-1，需要先转成0，预测数据的标签置为-1，方便合并后区分数据集。将缺失值填充为 '-1' ，为什么不是数值的-1呢？因为在LabelEncoder的时候需要对数据排序，同时存在string和int类型是无法比较的。所以需要填充为string类型的 ‘-1’。

3.将单取值的离散特征使用稀疏方式one-hot

为什么要先将数据划分为训练集和测试集呢，因为稀疏的数据是无法分片的，所以只能先划分数据，分别拼接稀疏特征。如果使用pd.get_dummy()来获取onehot特征，生成的数据是可以用来分片的，但是稠密存储是个致命弱点。

github上很多人问我train_x=train[['creativeSize']] 这句是什么意思，其实creativeSize这个特征是数值特征，不需要进行特别的处理，如果想处理的话可以考虑pd.cut来分段离散化。另一个原因是把这个特征拿出来构造一个新的DataFrame，方便和后面生成的稀疏特征进行拼接。所以使用的是[[]]来取值获得一个DataFrame，而不是[]取值来或者一个Seris

4.将多取值的离散特征使用稀疏方式向量化

这个操作估计很多同学之前没有见过，一般出现在自然语言处理中，计算TF-IDF，LDA等时候使用，但是同样可以用来生成一个稀疏向量，作为新的特征，同时可以一个特征生成多个特征，比单独的处理更加方便。

如果65行报错：empty vocabulary; perhaps the documents only contain stop words ，初始化可以使用CountVectorizer(token_pattern='(?u)\\b\\w+\\b')

5.线下测试

使用train_test_split划分数据，这行注释掉了。

6.线上提交

线上预测的时候，模型训练中early_stopping_rounds 这个参数没什么用，参数n_estimatorsxu需要根据线下测试来重新指定。我看到有些同学设置为10000取得了0.74的成绩。。。。