1.高效相似度计算：局部敏感哈希算法Locality Sensitive Hashing (LSH)
2.4加根号10的局部整数部分？
3.图像特征提取三大算法
4.人脸识别算法的工作原理
5.（四十三）特征点检测-LBP
高效相似度计算：局部敏感哈希算法Locality Sensitive Hashing (LSH)
前言：最近工作接触文本相似度匹配的一些任务，对于使用的线性一些算法补下基础知识。
一、值模摘要
局部敏感哈希(LSH)是式源一种广泛应用于近似最近邻搜索(ANN)的技术。高效相似度搜索的码局模式解决方案是有利可图的，像谷歌、部值直播源码成品Netflix、局部亚马逊、线性Spotify、值模优步等大公司的式源许多核心功能都依赖于相似度搜索。例如亚马逊使用相似度搜索来比较用户，码局模式以相似度最高的部值用户，根据其历史购买记录来寻找新产品推荐。局部
二、线性背景
想象一个包含数百万甚至数十亿个样本的值模数据集，我们如何有效地比较所有这些样本?
即使在最好的硬件上，采用穷举法比较所有数据对是不可能的，这最多产生O(n²)的搜索复杂度。即使将单个查询与数十亿个样本进行比较，我们仍然产生最多为O(n)的搜索复杂度。此外还需要考虑单个相似性计算背后的复杂度。
怎样才能避免这种情况呢？
解决方案是近似搜索 ，不采用穷举搜索，而是 限制搜索范围，只搜索最相关的部分。
LSH是一种为我们提供亚线性搜索时间的算法。
三、算法简介
当我们考虑寻找相似向量对的复杂性时，我们发现即使在相当小的数据集上，比较所有东西所需的计算数量也是难以想象得大。这里引入 向量索引，如果我们想要将所有这些向量相互进行比较，最佳排序方法是对数线性时间复杂度。所以我们需要一种 减少比较次数 的方法。理想情况下，我们只想比较我们认为是潜在匹配的向量（候选对），局部敏感散(LSH)允许我们这样做。
LSH由多种不同的方法组成。在本文中，我们将介绍由多个步骤组成的传统方法——shingling、MinHashing和band的LSH函数。核心是允许对同一个样本进行分段和多次哈希，当一对向量至少被哈希到一次相同的值时，我们把它们标记为候选对（即潜在匹配的向量）。
典型的哈希函数旨在将不同的值放入不同的桶中，尽量减少多个键值被映射到同一个桶的可能性（即尽量减少哈希碰撞），LSH的哈希函数与其正好相反，希望将相似的值放入相同的桶中，实现最大化哈希碰撞（理想情况下只针对相似的输入，但不可避免地存在不相似的向量被标记为候选对进行minhash）。
在LSH中没有单一的哈希方法。事实上，它们都共享相同的“通过哈希函数的桶相似样本”逻辑，但它们可以有很大的不同。
四、三个步骤：Shingling, MinHashing, Band and LSH
本文探索LSH的方法包括三个步骤。首先，我们使用k-shingling(和one-hot编码)将文本转换为稀疏向量，然后使用minhashing创建“签名”，最后将签名向量传递给LSH环节以淘汰候选对。
4.1 k-Shingling
定义：k-Shingling（简称shingling）将一串文本转换为一组“shingles”的过程。这个过程类似于在我们的文本字符串中移动一个长度为k的窗口，并将每一步移动获取的k个字符 整理成去重的“shingle set”。
4.2 Minhashing
定义：在保持相相似度的情况下，Minhashing通过哈希函数将稀疏的one-hot编码向量映射到密集向量（minhash签名向量）。有了稀疏向量，我们所做的是为我们密集向量中的每个签名位置分配不同的minhash函数将稀疏向量映射到signature。
Min Hashing算法解决了前面所说的计算复杂度：它通过将向量A、B映射到低维空间中的两个签名向量，并且近似保持A、怎样整理直播源码B之间的相似度，降低了用户相似度在高维下的计算复杂度。
4.3 Band 和 Hash
我们将对LSH采用banding方法——它将获取我们的签名，对每个签名的片段进行哈希，并查找哈希冲突，将具有一些相似性的签名哈希到同一桶中，从而将其标识为候选对。
定义：banding方法通过将密集向量分成b个子向量，通过相同的哈希函数处理每个子向量并映射到一个哈希桶中，两个向量的子向量匹配，我们将各自的完整向量视为候选对。
例如，想象一下，我们把一个维的向量分成个片段，这给了我们次机会来识别两个向量之间匹配的子向量。但这也增加了误报的数量(我们标记为候选对的样本，它们实际并不相似)，但是我们会尽量减少这些问题。
五、优化Bands
假设我们将signature向量分为[公式] 个band，每个band的大小为 [公式] ，两个用户向量之间的Jaccard相似度为 [公式] ：
这个概率在[公式] 和 [公式] 取不同值时总是一个S形的曲线（这个S形曲线的特点在于，当 [公式] 超过一个阈值之后，两个用户成为candidate的概率会迅速增加并接近于1。这个阈值就是概率变化最陡的地方，近似为[公式] ）；
上面的例子中[公式] ， [公式] ，可视化当前的概率值 [公式] -是否候选集 [公式] 之间的关系，我们注意到一个模式：虽然这种对齐并不完美，但我们可以看到理论计算的概率 [公式] 与真正的候选配对结果之间的相关性。
现在，我们可以通过修改[公式] 来推测具有不同相似性分数的候选对的返回概率，通过优化 [公式] 值来移动LSH函数的相似性阈值。
增加[公式] 值提供更多的子向量部分哈希碰撞的可能性更大，返回更多的候选对，将导致更多的误报（FP），也会减少一些漏网之鱼（FN）.
六、源码
Github源码： github.com/topics/local...
Scala中基于Jaccard 距离的LSH相似度计算代码： spark.apache.org/docs/3...
七、参考
参考： Locality Sensitive Hashing (LSH): The Illustrated Guide | Pinecone
参考： hunter7z：大规模数据的相似度计算：LSH算法
参考： allen：一文纵览KNN（ANN）向量检索
4加根号的整数部分？
梯度下降是非常常用的优化算法。作为机器学习的基础知识，这是一个必须要掌握的算法。借助本文，让我们来一起详细了解一下这个算法。前言
本文的代码可以到我的Github上获取：
/paulQuei/gradient_descent
本文的算法示例通过Python语言实现，在实现中使用到了numpy和matplotlib。如果你不熟悉这两个工具，请自行在网上搜索教程。
关于优化
大多数学习算法都涉及某种形式的优化。优化指的是改变x以最小化或者最大化某个函数的任务。
我们通常以最小化指代大多数最优化问题。最大化可经由最小化来实现。
我们把要最小化或最大化的函数成为目标函数（objective function）或准则（criterion）。
我们通常使用一个上标*表示最小化或最大化函数的x值，记做这样：
[x^* = arg; min; f(x)]
优化本身是一个非常大的话题。如果有兴趣，可以通过《数值优化》和《运筹学》的书籍进行学习。
模型与假设函数
所有的模型都是错误的，但其中有些是有用的。– George Edward Pelham Box
模型是我们对要分析的数据的一种假设，它是为解决某个具体问题从数据中学习到的，因此它是机器学习最核心的概念。
针对一个问题，通常有大量的模型可以选择。
本文不会深入讨论这方面的内容，关于各种模型请参阅机器学习的相关书籍。本文仅以最简单的线性模型为基础来讨论梯度下降算法。
这里我们先介绍一下在监督学习（supervised learning）中常见的三个符号：
m，描述训练样本的数量
x，描述输入变量或特征
y，个人记账网页源码描述输出变量或者叫目标值
请注意，一个样本可能有很多的特征，因此x和y通常是一个向量。不过在刚开始学习的时候，为了便于理解，你可以暂时理解为这就是一个具体的数值。训练集会包含很多的样本，我们用 表示其中第i个样本。
x是数据样本的特征，y是其目标值。例如，在预测房价的模型中，x是房子的各种信息，例如：面积，楼层，位置等等，y是房子的价格。在图像识别的任务中，x是图形的所有像素点数据，y是图像中包含的目标对象。
我们是希望寻找一个函数，将x映射到y，这个函数要足够的好，以至于能够预测对应的y。由于历史原因，这个函数叫做假设函数（hypothesis function）。
学习的过程如下图所示。即：首先根据已有的数据（称之为训练集）训练我们的算法模型，然后根据模型的假设函数来进行新数据的预测。
线性模型（linear model）正如其名称那样：是希望通过一个直线的形式来描述模式。线性模型的假设函数如下所示：
[h_{ \theta}(x) = \theta_{ 0} + \theta_{ 1} * x]
这个公式对于大家来说应该都是非常简单的。如果把它绘制出来，其实就是一条直线。
下图是一个具体的例子，即： 的图形：
在实际的机器学习工程中，你会拥有大量的数据。这些数据会来自于某个数据源。它们存储在csv文件中，或者以其他的形式打包。
但是本文作为演示使用，我们通过一些简单的代码自动生成了需要的数据。为了便于计算，演示的数据量也很小。
import numpy as np
max_x =
data_size =
theta_0 = 5
theta_1 = 2
def get_data:
x = np.linspace(1, max_x, data_size)
noise = np.random.normal(0, 0.2, len(x))
y = theta_0 + theta_1 * x + noise
return x, y
这段代码很简单，我们生成了x范围是 [1, ] 整数的条数据。对应的y是以线性模型的形式计算得到，其函数是：。现实中的数据常常受到各种因素的干扰，所以对于y我们故意加上了一些高斯噪声。因此最终的y值为比原先会有轻微的偏离。
最后我们的数据如下所示：
x = [1, 2, 3, 4, 5, 6, 7, 8, 9, ]
y = [6., 9., ., ., ., ., ., ., ., .]
我们可以把这条数据绘制出来这样就有一个直观的了解了，如下图所示：
虽然演示用的数据是我们通过公式计算得到的。但在实际的工程中，模型的参数是需要我们通过数据学习到的。所以下文我们假设我们不知道这里线性模式的两个参数是什么，而是通过算法的形式求得。
最后再跟已知的参数进行对比以验证我们的算法是否正确。
有了上面的数据，我们可以尝试画一条直线来描述我们的模型。
例如，像下面这样画一条水平的直线：
很显然，这条水平线离数据太远了，非常的不匹配。
那我们可以再画一条斜线。
我们初次画的斜线可能也不贴切，它可能像下面这样：
最后我们通过不断尝试，找到了最终最合适的那条，如下所示：
梯度下降算法的计算过程，就和这种本能式的源码时代教务老师试探是类似的，它就是不停的迭代，一步步的接近最终的结果。
代价函数
上面我们尝试了几次通过一条直线来拟合（fitting）已有的数据。
二维平面上的一条直线可以通过两个参数唯一的确定，两个参数的确定也即模型的确定。那如何描述模型与数据的拟合程度呢？答案就是代价函数。
代价函数（cost function）描述了学习到的模型与实际结果的偏差程度。以上面的三幅图为例，最后一幅图中的红线相比第一条水平的绿线，其偏离程度（代价）应该是更小的。
很显然，我们希望我们的假设函数与数据尽可能的贴近，也就是说：希望代价函数的结果尽可能的小。这就涉及到结果的优化，而梯度下降就是寻找最小值的方法之一。
代价函数也叫损失函数。对于每一个样本，假设函数会依据计算出一个估算值，我们常常用来表示。即 。
很自然的，我们会想到，通过下面这个公式来描述我们的模型与实际值的偏差程度：
[(h_\theta(x^i) - y^i)^2 = (\widehat{ y}^{ i} - y^i)^2 = (\theta_{ 0} + \theta_{ 1} * x^{ i} - y^{ i})^2]
请注意， 是实际数据的值， 是我们的模型的估算值。前者对应了上图中的离散点的y坐标，后者对应了离散点在直线上投影点的y坐标。
每一条数据都会存在一个偏差值，而代价函数就是对所有样本的偏差求平均值，其计算公式如下所示：
[L(\theta) = \frac { 1}{ m} \sum_{ i=1}^{ m}(h_\theta(x^i) - y^i)^2 = \frac { 1}{ m} \sum_{ i=1}^{ m}(\theta_{ 0} + \theta_{ 1} * x^{ i} - y^{ i})^2]
当损失函数的结果越小，则意味着通过我们的假设函数估算出的结果与真实值越接近。这也就是为什么我们要最小化损失函数的原因。
不同的模型可能会用不同的损失函数。例如，logistic回归的假设函数是这样的：。其代价函数是这样的：借助上面这个公式，我们可以写一个函数来实现代价函数：
def cost_function(x, y, t0, t1):
cost_sum = 0
for i in range(len(x)):
cost_item = np.power(t0 + t1 * x[i] - y[i], 2)
cost_sum += cost_item
return cost_sum / len(x)
这个函数的代码应该不用多做解释，它就是根据上面的完成计算。
我们可以尝试选取不同的 和 组合来计算代价函数的值，然后将结果绘制出来：
import numpy as np
import matplotlib.pyplot as plt
from matplotlib import cm
from mpl_toolkits.mplot3d import Axes3D
theta_0 = 5
theta_1 = 2
def draw_cost(x, y):
fig = plt.figure(figsize=(, 8))
ax = fig.gca(projection='3d')
scatter_count =
radius = 1
t0_range = np.linspace(theta_0 - radius, theta_0 + radius, scatter_count)
t1_range = np.linspace(theta_1 - radius, theta_1 + radius, scatter_count)
cost = np.zeros((len(t0_range), len(t1_range)))
for a in range(len(t0_range)):
for b in range(len(t1_range)):
cost[a][b] = cost_function(x, y, t0_range[a], t1_range[b])
t0, t1 = np.meshgrid(t0_range, t1_range)
ax.set_xlabel('theta_0')
ax.set_ylabel('theta_1')
ax.plot_surface(t0, t1, cost, cmap=cm.hsv)
在这段代码中，我们对 和 各自指定了一个范围进行次的采样，然后以不同的 组合对来计算代价函数的值。
如果我们将所有点的代价函数值绘制出来，其结果如下图所示：
从这个图形中我们可以看出，当 越接近 [5, 2]时其结果（偏差）越小。相反，离得越远，结果越大。
直观解释
从上面这幅图中我们可以看出，代价函数在不同的位置结果大小不同。
从三维的角度来看，这就和地面的高低起伏一样。最高的地方就好像是山顶。
而我们的目标就是：从任意一点作为起点，能够快速寻找到一条路径并以此到达图形最低点（代价值最小）的位置。
而梯度下降的算法过程就和我们从山顶想要快速下山的做法是一样的。
在生活中，我们很自然会想到沿着最陡峭的路往下行是下山速度最快的。如下面这幅图所示：
针对这幅图，细心的读者可能很快就会有很多的疑问，例如：
对于一个函数，怎么确定下行的方向？
每一步该往前走多远？
有没有可能停留在半山腰的平台上？
这些问题也就是本文接下来要讨论的内容。
算法描述
梯度下降算法最开始的一点就是需要确定下降的方向，即：梯度。
我们常常用 来表示梯度。
对于一个二维空间的曲线来说，梯度就是其切线的方向。如下图所示：
而对于更高维空间的函数来说，梯度由所有变量的提取文案源码偏导数决定。
其表达式如下所示：
[\nabla f({ \theta}) = ( \frac{ \partial f({ \theta})}{ \partial \theta_1} , \frac{ \partial f({ \theta})}{ \partial \theta_2} , ... , \frac{ \partial f({ \theta})}{ \partial \theta_n} )]
在机器学习中，我们主要是用梯度下降算法来最小化代价函数，记做：
[\theta ^* = arg min L(\theta)]
其中，L是代价函数，是参数。
梯度下降算法的主体逻辑很简单，就是沿着梯度的方向一直下降，直到参数收敛为止。
记做：
[\theta ^{ k + 1}_i = \theta^{ k}_i - \lambda \nabla f(\theta^{ k})]
这里的下标i表示第i个参数。 上标k指的是第k步的计算结果，而非k次方。在能够理解的基础上，下文的公式中将省略上标k。这里有几点需要说明：
收敛是指函数的变化率很小。具体选择多少合适需要根据具体的项目来确定。在演示项目中我们可以选择0.或者0.这样的值。不同的值将影响算法的迭代次数，因为在梯度下降的最后，我们会越来越接近平坦的地方，这个时候函数的变化率也越来越小。如果选择一个很小的值，将可能导致算法迭代次数暴增。
公式中的 称作步长，也称作学习率（learning rate）。它决定了每一步往前走多远，关于这个值我们会在下文中详细讲解。你可以暂时人为它是一个类似0.或0.的固定值。
在具体的项目，我们不会让算法无休止的运行下去，所以通常会设置一个迭代次数的最大上限。
线性回归的梯度下降
有了上面的知识，我们可以回到线性模型代价函数的梯度下降算法实现了。
首先，根据代价函数我们可以得到梯度向量如下：
[\nabla f({ \theta}) = (\frac{ \partial L(\theta)}{ \partial\theta_{ 0}}, \frac{ \partial L(\theta)}{ \partial\theta_{ 1}}) = (\frac { 2}{ m} \sum_{ i=1}^{ m}(\theta_{ 0} + \theta_{ 1} * x^{ i} - y^{ i}) , \frac { 2}{ m} \sum_{ i=1}^{ m}(\theta_{ 0} + \theta_{ 1} * x^{ i} - y^{ i}) x^{ i})]
接着，将每个偏导数带入迭代的公式中，得到：
[\theta_{ 0} := \theta_{ 0} - \lambda \frac{ \partial L(\theta_{ 0})}{ \partial\theta_{ 0}} = \theta_{ 0} - \frac { 2 \lambda }{ m} \sum_{ i=1}^{ m}(\theta_{ 0} + \theta_{ 1} * x^{ i} - y^{ i}) \ \theta_{ 1} := \theta_{ 1} - \lambda \frac{ \partial L(\theta_{ 1})}{ \partial\theta_{ 1}} = \theta_{ 1} - \frac { 2 \lambda }{ m} \sum_{ i=1}^{ m}(\theta_{ 0} + \theta_{ 1} * x^{ i} - y^{ i}) x^{ i}]
由此就可以通过代码实现我们的梯度下降算法了，算法逻辑并不复杂：
learning_rate = 0.
def gradient_descent(x, y):
t0 =
t1 =
delta = 0.
for times in range():
sum1 = 0
sum2 = 0
for i in range(len(x)):
sum1 += (t0 + t1 * x[i] - y[i])
sum2 += (t0 + t1 * x[i] - y[i]) * x[i]
t0_ = t0 - 2 * learning_rate * sum1 / len(x)
t1_ = t1 - 2 * learning_rate * sum2 / len(x)
print('Times: { }, gradient: [{ }, { }]'.format(times, t0_, t1_))
if (abs(t0 - t0_) < delta and abs(t1 - t1_) < delta):
print('Gradient descent finish')
return t0_, t1_
t0 = t0_
t1 = t1_
print('Gradient descent too many times')
return t0, t1
这段代码说明如下：
我们随机选择了 都为作为起点
设置最多迭代次
收敛的范围设为0.
学习步长设为0.
如果我们将算法迭代过程中求得的线性模式绘制出来，可以得到下面这幅动态图：
最后算法得到的结果如下：
Times: , gradient: [5., 1.]
Times: , gradient: [5., 1.]
Times: , gradient: [5., 1.]
Times: , gradient: [5., 1.]
Gradient descent finish
从输出中可以看出，算法迭代了次就收敛了。这时的结果[5., 1.]，这已经比较接近目标值 [5, 2]了。如果需要更高的精度，可以将delta的值调的更小，当然，此时会需要更多的迭代次数。
高维扩展
虽然我们举的例子是二维的，但是对于更高维的情况也是类似的。同样是根据迭代的公式进行运算即可：
[\theta_{ i} = \theta_{ i} - \lambda \frac { \partial L(\theta)}{ \partial \theta_i} = \theta_{ i} - \frac{ 2\lambda}{ m} \sum_{ i=1}^{ m}(h_\theta(x^{ k})-y^k)x_i^k]
这里的下标i表示第i个参数，上标k表示第k个数据。
梯度下降家族BGD
在上面的内容中我们看到，算法的每一次迭代都需要把所有样本进行遍历处理。这种做法称为之Batch Gradient Descent，简称BGD。作为演示示例只有条数据，这是没有问题的。
但在实际的项目中，数据集的数量可能是几百万几千万条，这时候每一步迭代的计算量就会非常的大了。
于是就有了下面两个变种。
SGD
Stochastic Gradient Descent，简称SGD，这种算法是每次从样本集中仅仅选择一个样本来进行计算。很显然，这样做算法在每一步的计算量一下就少了很多。
其算法公式如下：
[\theta_{ i} = \theta_{ i} - \lambda \frac { \partial L(\theta)}{ \partial \theta_i} = \theta_{ i} - \lambda(h_\theta(x^k)-y^k)x_i^k]
当然，减少算法计算量也是有代价的，那就是：算法结果会强依赖于随机取到的数据情况，这可能会导致算法的最终结果不太令人满意。
MBGD
以上两种做法其实是两个极端，一个是每次用到了所有数据，另一个是每次只用一个数据。
我们自然就会想到两者取其中的方法：每次选择一小部分数据进行迭代。这样既避免了数据集过大导致每次迭代计算量过大的问题，也避免了单个数据对算法的影响。
这种算法称之为Mini-batch Gradient Descent，简称MBGD。
其算法公式如下：
[\theta_{ i} = \theta_{ i} - \lambda \frac { \partial L(\theta)}{ \partial \theta_i} = \theta_{ i} - \frac{ 2\lambda}{ m} \sum_{ i=a}^{ a + b}(h_\theta(x^k)-y^k)x_i^k]
当然，我们可以认为SGD是Mini-batch为1的特例。
针对上面提到的算法变种，该如何选择呢？
下面是Andrew Ng给出的建议：
如果样本数量较小（例如小于等于），选择BGD即可。
如果样本数量很大，选择 来进行MBGD，例如：，，，。
下表是 Optimization for Deep Learning 中对三种算法的对比
方法准确性更新速度内存占用在线学习BGD好慢高否SGD好（with annealing）快低是MBGD好中等中等是
算法优化
式7是算法的基本形式，在这个基础上有很多人进行了更多的研究。接下来我们介绍几种梯度下降算法的优化方法。
Momentum
Momentum是动量的意思。这个算法的思想就是借助了动力学的模型：每次算法的迭代会使用到上一次的速度作为依据。
算法的公式如下：
[v^t = \gamma v^{ t - 1} + \lambda \nabla f(\theta) \ \theta = \theta - v_t]
对比式7可以看出，这个算法的主要区别就是引入了，并且，每个时刻的受前一个时刻的影响。
从形式上看，动量算法引入了变量 v 充当速度角色——它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数衰减平均。名称动量来自物理类比，根据牛顿运动定律，负梯度是移动参数空间中粒子的力。动量在物理学上定义为质量乘以速度。在动量学习算法中，我们假设是单位质量，因此速度向量 v 也可以看作是粒子的动量。
对于可以取值0，而是一个常量，设为0.9是一个比较好的选择。
下图是momentum算法的效果对比：
对原来的算法稍加修改就可以增加动量效果：
def gradient_descent_with_momentum(x, y):
t0 =
t1 =
delta = 0.
v0 = 0
v1 = 0
gamma = 0.9
for times in range():
sum1 = 0
sum2 = 0
for i in range(len(x)):
sum1 += (t0 + t1 * x[i] - y[i])
sum2 += (t0 + t1 * x[i] - y[i]) * x[i]
v0 = gamma * v0 + 2 * learning_rate * sum1 / len(x)
v1 = gamma * v1 + 2 * learning_rate * sum2 / len(x)
t0_ = t0 - v0
t1_ = t1 - v1
print('Times: { }, gradient: [{ }, { }]'.format(times, t0_, t1_))
if (abs(t0 - t0_) < delta and abs(t1 - t1_) < delta):
print('Gradient descent finish')
return t0_, t1_
t0 = t0_
t1 = t1_
print('Gradient descent too many times')
return t0, t1
以下是该算法的输出：
Times: , gradient: [4., 2.]
Times: , gradient: [4., 1.]
Times: , gradient: [4., 1.]
Times: , gradient: [4., 1.]
Times: , gradient: [4., 1.]
Gradient descent finish
从结果可以看出，改进的算法只用了次迭代就收敛了。速度比原来次快了很多。
同样的，我们可以把算法计算的过程做成动态图：
对比原始的算法过程可以看出，改进算法最大的区别是：在寻找目标值时会在最终结果上下跳动，但是越往后跳动的幅度越小，这也就是动量所产生的效果。
Learning Rate 优化
至此，你可能还是好奇该如何设定学习率的值。
事实上，这个值的选取需要一定的经验或者反复尝试才能确定。
《深度学习》一书中是这样描述的：“与其说是科学，这更像是一门艺术，我们应该谨慎地参考关于这个问题的大部分指导。”。关键在于，这个值的选取不能过大也不能过小。
如果这个值过小，会导致每一次迭代的步长很小，其结果就是算法需要迭代非常多的次数。
那么，如果这个值过大会怎么样呢？其结果就是：算法可能在结果的周围来回震荡，却落不到目标的点上。下面这幅图描述了这个现象：
事实上，学习率的取值未必一定要是一个常数，关于这个值的设定有很多的研究。
下面是比较常见的一些改进算法。
AdaGrad
AdaGrad是Adaptive Gradient的简写，该算法会为每个参数设定不同的学习率。它使用历史梯度的平方和作为基础来进行计算。
其算法公式如下：
[\theta_i = \theta_i - \frac{ \lambda}{ \sqrt{ G_t + \epsilon}} \nabla f(\theta)]
对比式7，这里的改动就在于分号下面的根号。
根号中有两个符号，第二个符号比较好理解，它就是为了避免除0而人为引入的一个很小的常数，例如可以设为：0.。
第一个符号的表达式展开如下：
[G_t = \sum_{ i = 1}^{ t} \nabla f(\theta){ i}\nabla f(\theta){ i}^{ T}]
这个值其实是历史中每次梯度的平方的累加和。
AdaGrad算法能够在训练中自动的对learning rate进行调整，对于出现频率较低参数采用较大的学习率；相反，对于出现频率较高的参数采用较小的学习率。因此，Adagrad非常适合处理稀疏数据。
但该算法的缺点是它可能导致学习率非常小以至于算法收敛非常的慢。
关于这个算法的直观解释可以看李宏毅教授的视频课程：ML Lecture 3-1: Gradient Descent。
RMSProp
RMS是Root Mean Square的简写。RMSProp是AI教父Geoff Hinton提出的一种自适应学习率方法。AdaGrad会累加之前所有的梯度平方，而RMSProp仅仅是计算对应的平均值，因此可缓解Adagrad算法学习率下降较快的问题。
该算法的公式如下：
[E[\nabla f(\theta_{ i})^2]^{ t} = \gamma E[\nabla f(\theta_{ i})^2]^{ t - 1} + (1-\gamma)(\nabla f(\theta_{ i})^{ t})^{ 2} \ \theta_i = \theta_i - \frac{ \lambda}{ \sqrt{ E[g^2]^{ t+1} + \epsilon}} \nabla f(\theta_{ i})]
类似的，是为了避免除0而引入。 是衰退参数，通常设为0.9。
这里的 是t时刻梯度平方的平均值。
Adam
Adam是Adaptive Moment Estimation的简写。它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。
Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。
该算法公式如下：
[m^{ t} = \beta_{ 1} m^{ t-1} + (1-\beta_{ 1}) \nabla f(\theta) \ v^{ t} = \beta_{ 2} v^{ t-1} + (1-\beta_{ 2}) \nabla f(\theta)^2 \ \widehat{ m}^{ t} = \frac{ m^{ t}}{ 1 - \beta^{ t}_1} \ \widehat{ v}^{ t} = \frac{ v^{ t}}{ 1 - \beta^{ t}_2} \ \theta = \theta - \frac{ \lambda}{ \sqrt{ \widehat{ v}^{ t}} + \epsilon}\widehat{ m}^{ t}]
，分别是对梯度的一阶矩估计和二阶矩估计。， 是对，的校正，这样可以近似为对期望的无偏估计。
Adam算法的提出者建议 默认值为0.9，默认值为0.，默认值为 。
在实际应用中 ，Adam较为常用，它可以比较快地得到一个预估结果。
优化小结
这里我们列举了几种优化算法。它们很难说哪种最好，不同的算法适合于不同的场景。在实际的工程中，可能需要逐个尝试一下才能确定选择哪一个，这个过程也是目前现阶段AI项目要经历的工序之一。
实际上，该方面的研究远不止于此，如果有兴趣，可以继续阅读 《Sebastian Ruder: An overview of gradient descent optimization algorithms》 这篇论文或者 Optimization for Deep Learning 这个Slides进行更多的研究。
由于篇幅所限，这里不再继续展开了。
算法限制
梯度下降算法存在一定的限制。首先，它要求函数必须是可微分的，对于不可微的函数，无法使用这种方法。
除此之外，在某些情况下，使用梯度下降算法在接近极值点的时候可能收敛速度很慢，或者产生Z字形的震荡。这一点需要通过调整学习率来回避。
另外，梯度下降还会遇到下面两类问题。
局部最小值
局部最小值（Local Minima）指的是，我们找到的最小值仅仅是一个区域内的最小值，而并非全局的。由于算法的起点是随意取的，以下面这个图形为例，我们很容易落到局部最小值的点里面。
这就是好像你从上顶往下走，你第一次走到的平台未必是山脚，它有可能只是半山腰的一个平台的而已。
算法的起点决定了算法收敛的速度以及是否会落到局部最小值上。
坏消息是，目前似乎没有特别好的方法来确定选取那个点作为起点是比较好的，这就有一点看运气的成分了。多次尝试不同的随机点或许是一个比较好的方法，这也就是为什么做算法的优化这项工作是特别消耗时间的了。
但好消息是：
对于凸函数或者凹函数来说，不存在局部极值的问题。其局部极值一定是全局极值。
最近的一些研究表明，某些局部极值并没有想象中的那么糟糕，它们已经非常的接近全局极值所带来的结果了。
鞍点
除了Local Minima，在梯度下降的过程中，还有可能遇到另外一种情况，即：鞍点（Saddle Point）。鞍点指的是我们找到点某个点确实是梯度为0，但它却不是函数的极值，它的周围既有比它小的值，也有比它大的值。这就好像马鞍一样。
如下图所示：
多类随机函数表现出以下性质：在低维空间中，局部极值很普遍。但在高维空间中，局部极值比较少见，而鞍点则很常见。
不过对于鞍点，可以通过数学方法Hessian矩阵来确定。关于这点，这里就不再展开了，有兴趣的读者可以以这里提供的几个链接继续探索。
参考资料与推荐读物
Wikipeida: Gradient descent
Sebastian Ruder: An overview of gradient descent optimization algorithms
吴恩达：机器学习
吴恩达：深度学习
Peter Flach：机器学习
李宏毅 - ML Lecture 3-1: Gradient Descent
PDF: 李宏毅 - Gradient Descent
Intro to optimization in deep learning: Gradient Descent
Intro to optimization in deep learning: Momentum, RMSProp and Adam
Stochastic Gradient Descent – Mini-batch and more
刘建平Pinard - 梯度下降（Gradient Descent）小结
多元函数的偏导数、方向导数、梯度以及微分之间的关系思考
[Machine Learning] 梯度下降法的三种形式BGD、SGD以及MBGD
作者：阿Paul https://paul.pub/gradient-descent图像特征提取三大算法
图像特征提取三大算法：HOG特征、LBP特征、Haar特征，具体来说：
1、HOG特征
方向梯度直方图（HistogramofOrientedGradient,HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。需要提醒的是，HOG+SVM进行行人检测的方法是法国研究人员Dalal在的CVPR上提出的，而如今虽然有很多行人检测算法不断提出，但基本都是以HOG+SVM的思路为主。
2、LBP特征
LBP（LocalBinaryPattern，局部二值模式）是一种用来描述图像局部纹理特征的算子；它具有旋转不变性和灰度不变性等显着的优点。它是在年提出，用于纹理特征提取。而且，提取的特征是图像的局部的纹理特征。
3、Haar特征
Haar-like特征最早是由Papageorgiou等应用于人脸表示，Viola和Jones在此基础上，使用3种类型4种形式的特征。Haar特征分为三类：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板。特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。Haar特征值反映了图像的灰度变化情况。例如：脸部的一些特征能由矩形特征简单的描述，如：眼睛要比脸颊颜色要深，鼻梁两侧比鼻梁颜色要深，嘴巴比周围颜色要深等。但矩形特征只对一些简单的图形结构，如边缘、线段较敏感，所以只能描述特定走向（水平、垂直、对角）的结构。
人脸识别算法的工作原理
人脸识别算法是通过软件处理图像识别个体身份的关键技术，核心原理是将图像中的面部特征与数据库中的特征进行比较。算法种类繁多，主要包括几何方法和光度统计方法。几何法通过将2D照片投影到3D模型上，解决光照条件对识别的影响；光度统计则是通过测量像素亮度对比度，提高在不同照明环境下的识别准确性。
常见的算法如卷积神经网络(CNN)，通过深度学习处理图像，用于人脸检测和特征提取；Eeigenfaces和Fisherfaces则是通过统计分析人脸图像，进行编码和解码，Fisherfaces在光照和表情变化处理上更优；主成分分析(PCA)则通过减少数据维度，提取特征脸，进行人脸分类；支持向量机(SVM)利用二分类原理区分人脸，非线性模型表现更好；Haar Cascade和局部二值模式算法结合，对人脸进行高效定位；3D人脸识别利用头骨结构的独特性，不受化妆等外部因素影响；皮肤识别技术和热像仪人脸识别则分别关注皮肤纹理和温度信息。
人工神经模糊干扰系统(ANFIS)和局部二值模式(LBPH)算法则通过融合神经网络和模糊逻辑，以及纹理分析技术，提高识别精度。FaceNet和NEC的解决方案则注重人脸嵌入信息提取和多因素识别。旷视科技的算法则结合大数据深度学习，处理人脸检测、跟踪和识别等任务。
为了提高识别的准确性和泛化能力，研究者们不断尝试组合和优化不同算法，以应对光照、表情、姿势等因素的挑战。总的来说，人脸识别算法是一个不断进化的领域，通过多维度的特征提取和匹配，实现精确的人脸识别。
（四十三）特征点检测-LBP
时间为友，记录点滴。
特征点检测领域并非只有一种算法，大神们总能带来新颖的想法。虽然不可能掌握所有算法，但有些思路是值得借鉴的。
比如SIFT就是一个宝库，总能给我们带来启发。
既然已经了解了Harris、SIFT、FAST等特征检测算法，以及特征点的定义和评判标准，那么我们就来探讨LBP如何在特征检测领域脱颖而出。
思考一下特征点的优良性质：
什么是LBP？
LBP（Local Binary Pattern，局部二值模式）是一种描述图像局部纹理特征的算子，它具有旋转不变性和灰度不变性等显著优点。由T. Ojala、M. Pietikäinen和D. Harwood在年提出，用于纹理特征提取。它提取的是图像的局部纹理特征；
它是如何实现的？
首先谈谈原始LBP算子：
通过比较3*3邻域内的8个点，可以得到8位二进制数（通常转换为十进制数即LBP码，共种，即2 Byte），即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息。
虽然简单，但略显简陋（是不是与FAST算子有些类似）。这个LBP算子显然不能表示优良特征点，还好它出现的早（），所以后人对LBP做了很多优化，使其满足尺度不变、旋转不变、光照不变。
尺度不变：
无论是SIFT还是ORB，要做到尺度不变，我们通常采用金字塔扩展到多尺度空间，但LBP有它独特的方法。
在原始的LBP中，我们选择的是以目标点为中心，3x3的8邻域，经历过FAST的我们很容易想到半径的概念。那么3x3代表的就是以目标点为圆心，半径为1的邻域，如果我们把半径扩展一下会怎么样呢？
Ojala等人对LBP算子进行了改进，将3×3邻域扩展到任意邻域，并用圆形邻域代替了正方形邻域，改进后的LBP算子允许在半径为R的圆形邻域内有任意多个像素点。从而得到了诸如半径为R的圆形区域内含有P个采样点的LBP算子；
这种情况下，对应黑点像素可能不是整数，要得到该点准确的像素值，必须对该点进行插值计算才能得到该点像素值，常见的插值方式为双线性插值或者立方插值。
这种思路有点像“山不转，水转；水不转，人转”；
旋转不变性：
Maenpaa等人又将LBP算子进行了扩展，提出了具有旋转不变性的LBP算子，即不断旋转圆形邻域得到一系列初始定义的LBP值，取其最小值作为该邻域的LBP值。
举一个具体的例子：下图所示的8种LBP模式，经过旋转不变的处理，最终得到的具有旋转不变性的LBP值为。也就是说，图中的8种LBP模式对应的旋转不变的LBP模式都是。
光照不变：
从LBP的差值计算可以看出，LBP本身就具有光照不变的特性（灰度值按比例缩放，强者恒强），但是我们可以引入权重概念，计算LBP码和对比度。
好了，LBP就这么多。是不是感觉SIFT/ORB后什么都简单了些？
在网上搜了个Python实现的LBP，实验了下，贴在这里：
Python
惯例，OpenCV早就给我们提供了LBP的算子，而且可以结合FaceDetect来用，
C++
1、lbpcascade_frontalface_improved文件我使用的是我们自己编译出来的，在Binfile\install\etc\lbpcascades目录下（你可以用everything搜索一下，OpenCV源码中也有提供） 2、今天我们首次使用了CascadeClassifier，这个我觉得有必要在后面详细解释一下。用OpenCV做人脸检测简直简单得不要不要的。
