机器学习

发表于 | 更新于 | 阅读次数：

逻辑回归

1
2
3
4
5
6
7
8
9
10
常用于二分类算法,分成回归函数和sigmod逻辑函数两部分组成,想要实现多分类可以通过softmax实现,本身为一个判别模型

判别模型相比较生成模型一般较好,生成模型是一种先验概率,判别是后验概率,生成模型带有推测扩展的效果,假设样本之间互相独立,一般适用于数据量过少或者样本中含有噪音影响判断的

softmax的多分类变成二分类就变成了对应的逻辑回归函数了

逻辑回归使用的是cross_entropy函数,不使用线性函数的平方损失是因为,离最优值远的位置的积分较大,可以达到快速实现求解的过程,而平方损失整体较平缓,更新参数较慢(可以联想一下两个图,一个高抖,一个平缓)

求解方法是最大似然法和梯度下降法.
讲到似然函数和概率函数,已知参数,求是a类别的概率为概率函数,已知类别反推参数的函数为似然函数

时间序列及LSTM

code见: https://github.com/sksujan58/Multivariate-time-series-forecasting-using-LSTM/blob/main/timeseries%20Forecasting.ipynb

聚类

1
2
3
4
5
6
7
8
9
10
11
12
13
14
Kmeans


Dbscan
	基本介绍:1,2,3,4
	1:1个基本的核心思想,基于密度
	2:2个重要概念,邻域半径R和最小点数目minpoints
	3:3个点,核心点,边界点,噪音点
	4:4个点与点之间的关系,密度直达,密度可达,密度相连,非密度相连
    算法实现过程:
    1). 从数据集中任意选取一个数据对象点 p；
    2）如果对于参数 Eps 和 MinPts，所选取的数据对象点 p 为核心点，则找出所有从 p 密度可达的数据对象点，形成一个簇；
	3）如果选取的数据对象点 p 是边缘点，选取另一个数据对象点；
	4）重复（2）、（3）步，直到所有点被处理。