Py学习  »  机器学习算法

VS Code + ML.NET 玩转交互式机器学习

dotNET跨平台 • 2 年前 • 215 次点击  

上一篇文章中,我们介绍了 .NET Interactive Notbook,可以进行代码实时运行和交互式展示。

这对于ML.NET来说非常棒,可以运用到许多场景,比如数据探索、绘制数据图表、编制教学课件等。

下面,我们就用出租车费预测(https://github.com/feiyun0112/machinelearning-samples.zh-cn/tree/master/samples/csharp/getting-started/Regression_TaxiFarePrediction)来进行演示。

1.创建Notebook

首先,VS Code需要安装“.NET Interactive Notebooks”扩展。

新建文件,编程语言选择“.NET Interactive”,保存文件名后缀为“.ipynb”。

添加Markdown标记,说明一下这个机器学习任务要解决的问题场景。

完成编辑后,可以自动显示Markdown标记结果:

2.安装Nuget包

引用后面需要使用的NuGet包,这里,我们将使用ML.NET进行机器学习和XPlot绘制图表。

运行代码,下载和安装NuGet包。

可以看到,安装时间还是比较长的,所以可以放在单独的代码块提前运行。

3.定义DataStructures

定义加载数据以及训练或预测时,需要使用输入类和预测类,代码如下:

 public class TaxiTrip
{
    [LoadColumn(0)]
    public string VendorId;

    [LoadColumn(1)]
    public string RateCode;

    [LoadColumn(2)]
    public float PassengerCount;

    [LoadColumn(3)]
    public float TripTime;

    [LoadColumn(4)]
    public float TripDistance;

    [LoadColumn(5)]
    public string PaymentType;

    [LoadColumn(6)]
    public float FareAmount;
}

4.加载数据

加载训练和测试数据集,文件放在Notebook同一目录下

MLContext mlContext = new MLContext(seed: 0);

string TrainDataPath = "./taxi-fare-train.csv";
string TestDataPath = "./taxi-fare-test.csv";
IDataView baseTrainingDataView = mlContext.Data.LoadFromTextFile(TrainDataPath, hasHeader: true, separatorChar: ',');
IDataView testDataView = mlContext.Data.LoadFromTextFile(TestDataPath, hasHeader: true, separatorChar: ',');

IDataView trainingDataView = mlContext.Data.FilterRowsByColumn(baseTrainingDataView, nameof(TaxiTrip.FareAmount), lowerBound: 1, upperBound: 150);
display(h4("展示训练数据:"));
var someRows = mlContext.Data
    .CreateEnumerable(trainingDataView, reuseRowObject: false)
    .Take(4).ToArray();
display(someRows);

我们筛选了出租车票金额在1-150之间的数据作为训练数据,并用内置函数display展示4行训练数据内容: 

5.图形化展示数据

图形方式能让我们更好地理解数据,选取100条训练数据,看看费用的分布情况:

var faresHistogram = Chart.Plot(new Histogram() { x = trainingDataView.GetColumn<float>("FareAmount").Take(100).ToArray(), autobinx = false, nbinsx = 20 });
var layout = new Layout.Layout() { title = "出租车费分布" };
faresHistogram.WithLayout(layout);
faresHistogram.WithXTitle("费用范围");
faresHistogram.WithYTitle("出行数");

display(faresHistogram)

可以看到费用大多数在5-10之间, 

6.训练模型

现在,让我们真正开始执行机器学习。我们将首先处理数据转换,然后添加训练器/算法,最后训练模型。

在执行窗口底部可以看到,训练速度还是比较快的,在我的机器上只需要1.7秒。

7.评估模型

我们需要这一步来总结我们的模型对新数据的准确性。为此,上一步中的模型针对另一个未在训练中使用的数据集运行(taxi-fare-test.csv)。此数据集也包含已知的费用。Regression.Evaluate()计算已知费用和模型预测的费用之间差异的各种指标。

IDataView predictions = trainedModel.Transform(testDataView);
var metrics = mlContext.Regression.Evaluate(predictions, labelColumnName: "Label", scoreColumnName: "Score");display(metrics)

6.绘制对比图

最后,我们绘制预测与实际值的对比图。如果回归模型工作得很好,那么这些点大部分应该是围绕着一条直线的,这条直线就是回归线。

回归线越接近“完美”(预测值等于测试数据集中的实际值),模型的质量就越好。

结论

后面的保存和使用模型,我们就不再演示了,请大家自行探索。

通过上面的示例,可以看到非常棒的交互体验。欢迎大家继续挖掘.NET Interactive的潜力,玩转交互式机器学习!!!

欢迎关注我的个人公众号”My IO“


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/116201
 
215 次点击