基于 Toad 的评分卡模型全流程详解（含 Python 源码）

       欢迎关注@Python与数据挖掘 ，专注于 Python、码下数据分析、码下数据挖掘、码下好玩工具！码下

       toad 是码下如何查看zabbix源码一个专为风险评分卡建模而设计的工具包，它功能强大且使用便捷，码下能简化模型构建过程中的码下多个步骤，包括数据探索、码下特征筛选、码下分箱、码下WOE变换、码下建模、码下模型评估、码下分数转换等，码下深受行业用户的喜爱。如果您在使用过程中遇到任何问题，欢迎在文末进行技术交流。

       以下是基于 toad 的评分卡模型构建流程详解：

       首先，要安装 toad，使用 pip 命令即可完成。

       导入库和数据读取：演示数据包含条记录，个特征，其中个为特征变量，一列为主键和一列为标签（Defaulter）。数据中有离散型和连续型变量，且存在一定数量的缺失值。为了模型检验，使用 sklearn 的 train_test_split 函数将数据划分为训练集和测试集。

       数据探索：使用 toad.detect 方法检测数据情况，获取每列特征的统计信息，如缺失值、唯一值、数值变量的平均值、离散型变量的众数等。此外，通过 toad.quality 方法输出每个变量的 iv 值、gini 指数、熵值和唯一值，结果按 iv 值排序。

       特征筛选与分箱：使用 toad.selection.select 方法筛选变量，根据缺失值占比、iv 值、相关性进行变量选择。筛选后，从个特征中选出个变量。接着，使用 toad.transform.Combiner 类进行分箱，支持多种分箱方法，如卡方分箱、qml界面源码决策树分箱、等频分箱、等距分箱和最优分箱。根据实际需求调整参数，完成变量分箱。

       WOE 转换：在分箱调整完成后，使用 WOE 转换方法。仅转换被分箱的变量，并确保所有变量经过 WOE 转换。

       逐步回归特征筛选：使用 toad.selection.stepwise 方法进行特征筛选，调整参数以获得最佳结果。使用 toad.metrics.PSI 函数检验 WOE 转换后的特征稳定性。

       建模与评估：首先使用逻辑回归（LR）构建模型，评估模型结果，常用指标包括 KS（Kolmogorov-Smirnov）值、AUC（曲线下面积）和 PSI（预测分箱稳定性指数）。使用 toad.metrics.KS_bucket 函数评估模型预测分箱后的信息，包括分数区间、样本量、坏账率和 KS 值。

       评分转换：使用 toad.ScoreCard 函数将逻辑回归模型转换为标准评分卡。调整参数以适应实际需求，包括基准评分、比率、基准奇偶比等。

       至此，通过使用 toad，可以快速完成评分卡模型的全流程构建。在实际工作中，根据数据特性和需求调整参数，以满足特定任务需求。本文提供了 toad 的功能介绍和评分卡建模基础流程，实际应用时，只需根据实际情况调整流程和参数即可。

       关注@Python与数据挖掘，获取更多优质文章与技术交流。

sklearn：Python语言开发的通用机器学习库

       sklearn，Python中的强大机器学习工具，对于实际项目应用，即便基础理论不足，也能通过API直接操作。它不仅是算法库的典范，其详尽文档如同《金刚经》般指导学习者入门。

       sklearn库的核心价值在于其广泛且完善的算法覆盖，以及易懂的文档设计。掌握基本的机器学习理论，结合sklearn提供的基础概念，如training data和model selection，就能有效利用其功能。ip纪录源码它主要分为六个模块：分类、回归、聚类、降维、模型选择和预处理。

       实现机器学习项目通常分三步：数据预处理、模型构建与预测以及模型评估。以Iris数据集为例，通过数据划分、kNN分类，我们能快速上手sklearn的API。模型评估则涉及精确率、召回率等指标，确保模型效果。

       虽然深入理解sklearn需要一定的理论基础，但实际应用中，调用API而非底层实现更为常见。学习sklearn，可以分为三个层次：调用、调参和嚼透。初期只需掌握基本调用，随着经验积累，再逐步深入理解算法细节和调优。

       总结来说，sklearn是一个实用且强大的工具，适合初学者快速入门机器学习。在实际应用中，利用现有的库和理解源码是更明智的选择。而对于更深层次的理解，可以参考《全栈数据之门》或其他相关书籍。

声线年龄层怎么划分？

       从EDA、音频预处理到特征工程和数据建模的完整源代码演示

       大多数人都熟悉如何在图像、文本或表格数据上运行数据科学项目。 但处理音频数据的样例非常的少见。 在本文中，将介绍如何在机器学习的帮助下准备、探索和分析音频数据。 简而言之：与其他的形式（例如文本或图像）类似我们需要将音频数据转换为机器可识别的格式。

       音频数据的有趣之处在于您可以将其视为多种不同的模式：

       · 可以提取高级特征并分析表格数据等数据。

       · 可以计算频率图并分析图像数据等数据。

       · 可以使用时间敏感模型并分析时间序列数据等数据。

       · 可以使用语音到文本模型并像文本数据一样分析数据。

       在本文中，我们将介绍前三种方法。 首先看看音频数据的实际样子。

       音频数据的格式

       虽然有多个 Python 库可以处理音频数据，但我们推荐使用 librosa。 让我们加载一个 MP3 文件并绘制它的内容。

       # Import librosa

       import librosa

       # Loads mp3 file with a specific sampling rate,espace mobile源码 here kHz

       y, sr = librosa.load("c4_sample-1.mp3", sr=_)

       # Plot the signal stored in 'y'

       from matplotlib import pyplot as plt

       import librosa.display

       plt.figure(figsize=(, 3))

       plt.title("Audio signal as waveform")

       librosa.display.waveplot(y, sr=sr);

       这里看到的是句子的波形表示。

       1、波形 - 信号的时域表示

       之前称它为时间序列数据，但现在我们称它为波形？ 当只看这个音频文件的一小部分时，这一点变得更加清晰。 下图显示了与上面相同的内容，但这次只有 .5 毫秒。

       我们看到的是一个时间信号，它以不同的频率和幅度在值 0 附近振荡。该信号表示气压随时间的变化，或扬声器膜（或耳膜）的物理位移 . 这就是为什么这种对音频数据的描述也称为波形的原因。

       频率是该信号振荡的速度。 低频例如 Hz 可能是低音吉他的声音，而鸟儿的歌声可能是 Hz 的更高频率。 我们人类语言通常介于两者之间。

       要知道这个信号在单位时间内从连续信号中提取并组成离散信号的采样个数，我们使用赫兹（Hz）来表示每秒的采样个数。 ' 或 k Hz表示美标采集了次。 我们在上图中可以看到的 1' 个时间点代表了 .5 毫秒（/ = 0.）的音频信号。

       2、傅里叶变换——信号的频域表示

       虽然之前的可视化可以告诉我们什么时候发生了（即 2 秒左右似乎有很多波形信号），但它不能真正告诉我们它发生的频率。 因为波形向我们显示了有关时间的信息，所以该信号也被称为信号的时域表示。

       可以使用快速傅立叶变换，反转这个问题并获得关于存在哪些频率的信息，同时丢弃掉关于时间的信息。 在这种情况下，信号表示被称为信号的频域表示。

       让我们看看之前的句子在频域中的表现。

       import scipy

       import numpy as np

       # Applies fast fourier transformation to the signal and takes absolute values

       y_freq = np.abs(scipy.fftpack.fft(y))

       # Establishes all possible frequency

       # (dependent on the sampling rate and the length of the signal)

       f = np.linspace(0, sr, len(y_freq))

       # Plot audio signal as frequency information.

       plt.figure(figsize=(, 3))

       plt.semilogx(f[: len(f) // 2], y_freq[: len(f) // 2])

       plt.xlabel("Frequency (Hz)")

       plt.show();

       可以在此处看到大部分信号在 ~ 到 ~ Hz 之间（即 ² 到 ³ 之间）。 另外，似乎还有一些从 1' 到 ' Hz 的内容。

       3、频谱图

       我们并不总是需要决定时域或频域。 使用频谱图同时表示这两个领域中的信息，同时将它们的大部差别保持在最低限度。 有多种方法可以创建频谱图，但在本文中将介绍常见的三种。

       3a 短时傅里叶变换 (STFT)

       这时是之前的快速傅立叶变换的小型改编版本，即短时傅立叶变换 (STFT)， 这种方式是以滑动窗口的方式计算多个小时间窗口（因此称为“短时傅立叶”）的 FFT。

       import librosa.display

       # Compute short-time Fourier Transform

       x_stft = np.abs(librosa.stft(y))

       # Apply logarithmic dB-scale to spectrogram and set maximum to 0 dB

       x_stft = librosa.amplitude_to_db(x_stft, ref=np.max)

       # Plot STFT spectrogram

       plt.figure(figsize=(, 4))

       librosa.display.specshow(x_stft, sr=sr, x_axis="time", y_axis="log")

       plt.colorbar(format="%+2.0f dB")

       plt.show();

       与所有频谱图一样，颜色代表在给定时间点给定频率的量（响度/音量）。 +0dB 是最响亮的，-dB 接近静音。 在水平 x 轴上我们可以看到时间，而在垂直 y 轴上我们可以看到不同的频率。

       3b 梅尔谱图

       作为 STFT 的替代方案，还可以计算基于 mel 标度的rsi 威廉源码梅尔频谱图。 这个尺度解释了我们人类感知声音音高的方式。 计算 mel 标度，以便人类将由 mel 标度中的 delta 隔开的两对频率感知为具有相同的感知差异。

       梅尔谱图的计算与 STFT 非常相似，主要区别在于 y 轴使用不同的刻度。

       # Compute the mel spectrogram

       x_mel = librosa.feature.melspectrogram(y=y, sr=sr)

       # Apply logarithmic dB-scale to spectrogram and set maximum to 0 dB

       x_mel = librosa.power_to_db(x_mel, ref=np.max)

       # Plot mel spectrogram

       plt.figure(figsize=(, 4))

       librosa.display.specshow(x_mel, sr=sr, x_axis="time", y_axis="mel")

       plt.colorbar(format="%+2.0f dB")

       plt.show();

       与 STFT 的区别可能不太明显，但如果仔细观察，就会发现在 STFT 图中，从 0 到 Hz 的频率在 y 轴上占用的空间比在 mel 图中要大得多 .

       3c 梅尔频率倒谱系数 (MFCC)

       梅尔频率倒谱系数 (MFCC) 是上面梅尔频谱图的替代表示。 MFCC 相对于 梅尔谱图的优势在于特征数量相当少（即独特的水平线标度），通常约为 。

       由于梅尔频谱图更接近我们人类感知音高的方式，并且 MFCC 只有少数几个分量特征，所以大多数机器学习从业者更喜欢 使用MFCC 以“图像方式”表示音频数据。 但是对于某些问题，STFT、mel 或波形表示可能会更好。

       让我们继续计算 MFCC 并绘制它们。

       # Extract 'n_mfcc' numbers of MFCCs components (here )

       x_mfccs = librosa.feature.mfcc(y, sr=sr, n_mfcc=)

       # Plot MFCCs

       plt.figure(figsize=(, 4))

       librosa.display.specshow(x_mfccs, sr=sr, x_axis="time")

       plt.colorbar()

       plt.show();

       数据清洗

       现在我们更好地理解了音频数据的样子，让我们可视化更多示例。

       在这四个示例中，我们可以收集到有关此音频数据集的更多问题：

       · 大多数录音在录音的开头和结尾都有一段较长的静默期（示例 1 和示例 2）。 这是我们在“修剪”时应该注意的事情。

       · 在某些情况下，由于按下和释放录制按钮，这些静音期会被“点击”中断（参见示例 2）。

       · 一些录音没有这样的静音阶段，即一条直线（示例 3 和 4）。

       · 在收听这些录音时，有大量背景噪音。

       为了更好地理解这在频域中是如何表示的，让我们看一下相应的 STFT 频谱图。

       当听录音时，可以观察到样本 3 具有覆盖多个频率的不同背景噪声，而样本 4 中的背景噪声相当恒定。 这也是我们在上图中看到的。 样本 3 在整个过程中都非常嘈杂，而样本 4 仅在几个频率上（即粗水平线）有噪声。 我们不会详细讨论如何消除这种噪音，因为这超出了本文的范围。

       但是让我们研究一下如何消除此类噪音并修剪音频样本的“捷径”。 虽然使用自定义过滤函数的更手动的方法可能是从音频数据中去除噪声的最佳方法，但在我们的例子中，将推荐使用实用的 python 包 noisereduce。

       import noisereduce as nr

       from scipy.io import wavfile

       # Loop through all four samples

       for i in range(4):

       # Load audio file

       fname = "c4_sample-%d.mp3" % (i + 1)

       y, sr = librosa.load(fname, sr=_)

       # Remove noise from audio sample

       reduced_noise = nr.reduce_noise(y=y, sr=sr, stationary=False)

       # Save output in a wav file as mp3 cannot be saved to directly

       wavfile.write(fname.replace(".mp3", ".wav"), sr, reduced_noise)

       聆听创建的 wav 文件，可以听到噪音几乎完全消失了。 虽然我们还引入了更多的代码，但总的来说我们的去噪方法利大于弊。

       对于修剪步骤，可以使用 librosa 的 .effects.trim() 函数。每个数据集可能需要一个不同的 top_db 参数来进行修剪，所以最好进行测试，看看哪个参数值好用。 在这个的例子中，它是 top_db=。

       # Loop through all four samples

       for i in range(4):

       # Load audio file

       fname = "c4_sample-%d.wav" % (i + 1)

       y, sr = librosa.load(fname, sr=_)

       # Trim signal

       y_trim, _ = librosa.effects.trim(y, top_db=)

       # Overwrite previous wav file

       wavfile.write(fname.replace(".mp3", ".wav"), sr, y_trim)

       现在让我们再看一下清理后的数据。

       看样子好多了

       特征提取

       数据是干净的，应该继续研究可以提取的特定于音频的特征了。

       1、开始检测

       通过观察一个信号的波形，librosa可以很好地识别一个新口语单词的开始。

       # Extract onset timestamps of words

       onsets = librosa.onset.onset_detect(

       y=y, sr=sr, units="time", hop_length=, backtrack=False)

       # Plot onsets together with waveform plot

       plt.figure(figsize=(8, 3))

       librosa.display.waveplot(y, sr=sr, alpha=0.2, x_axis="time")

       for o in onsets:

       plt.vlines(o, -0.5, 0.5, colors="r")

       plt.show()

       # Return number of onsets

       number_of_words = len(onsets)

       print(f"{ number_of_words} onsets were detected in this audio signal.")

       >>> 7 onsets were detected in this audio signal

       2、录音的长度

       与此密切相关的是录音的长度。录音越长，能说的单词就越多。所以计算一下录音的长度和单词被说出的速度。

       duration = len(y) / sr

       words_per_second = number_of_words / duration

       print(f"""The audio signal is { duration:.2f} seconds long,

       with an average of { words_per_second:.2f} words per seconds.""")

       >>> The audio signal is 1. seconds long,

       >>> with an average of 4. words per seconds.

       3、节奏

       语言是一种非常悦耳的信号，每个人都有自己独特的说话方式和语速。因此，可以提取的另一个特征是说话的节奏，即在音频信号中可以检测到的节拍数。

       # Computes the tempo of a audio recording

       tempo = librosa.beat.tempo(y, sr, start_bpm=)[0]

       print(f"The audio signal has a speed of { tempo:.2f} bpm.")

       >>> The audio signal has a speed of . bpm.

       4、基频

       基频是周期声音出现时的最低频率。在音乐中也被称为音高。在之前看到的谱图图中，基频(也称为f0)是图像中最低的亮水平条带。而在这个基本音之上的带状图案的重复称为谐波。

       为了更好地说明确切意思，下面提取基频，并在谱图中画出它们。

       # Extract fundamental frequency using a probabilistic approach

       f0, _, _ = librosa.pyin(y, sr=sr, fmin=, fmax=, frame_length=)

       # Establish timepoint of f0 signal

       timepoints = np.linspace(0, duration, num=len(f0), endpoint=False)

       # Plot fundamental frequency in spectrogram plot

       plt.figure(figsize=(8, 3))

       x_stft = np.abs(librosa.stft(y))

       x_stft = librosa.amplitude_to_db(x_stft, ref=np.max)

       librosa.display.specshow(x_stft, sr=sr, x_axis="time", y_axis="log")

       plt.plot(timepoints, f0, color="cyan", linewidth=4)

       plt.show();

       在 Hz 附近看到的绿线是基本频率。 但是如何将其用于特征工程呢？ 可以做的是计算这个 f0 的具体特征。

       # Computes mean, median, 5%- and %-percentile value of fundamental frequency

       f0_values = [

       np.nanmean(f0),

       np.nanmedian(f0),

       np.nanstd(f0),

       np.nanpercentile(f0, 5),

       np.nanpercentile(f0, ),

       ]

       print("""This audio signal has a mean of { :.2f}, a median of { :.2f}, a

       std of { :.2f}, a 5-percentile at { :.2f} and a -percentile at { :.2f}.""".format(*f0_values))

       >>> This audio signal has a mean of ., a median of ., a

       >>> std of 4., a 5-percentile at . and a -percentile at ..

       除以上说的技术意外，还有更多可以探索的音频特征提取技术，这里就不详细说明了。

       音频数据集的探索性数据分析 (EDA)

       现在我们知道了音频数据是什么样子以及如何处理它，让我们对它进行适当的 EDA。 首先下载一个数据集Kaggle 的 Common Voice 。 这个 GB 的大数据集只是来自 Mozilla 的 + GB 大数据集的一个小的快照。 对于本文这里的示例，将只使用这个数据集的大约 9' 个音频文件的子样本。

       看看这个数据集和一些已经提取的特征。

       1、特征分布调查

       目标类别年龄和性别的类别分布。

       目标类别分布是不平衡的

       下一步，让我们仔细看看提取的特征的值分布。

       除了 words_per_second，这些特征分布中的大多数都是右偏的，因此可以从对数转换中获益。

       import numpy as np

       # Applies log1p on features that are not age, gender, filename or words_per_second

       df = df.apply(

       lambda x: np.log1p(x)

       if x.name not in ["age", "gender", "filename", "words_per_second"]

       else x)

       # Let's look at the distribution once more

       df.drop(columns=["age", "gender", "filename"]).hist(

       bins=, figsize=(, ))

       plt.show();

       好多了，但有趣的是 f0 特征似乎都具有双峰分布。 让我们绘制与以前相同的内容，但这次按性别分开。

       正如怀疑的那样，这里似乎存在性别效应！ 但也可以看到，一些 f0 分数（这里特别是男性）比应有的低和高得多。 由于特征提取不良，这些可能是异常值。 仔细看看下图的所有数据点。

       # Plot sample points for each feature individually

       df.plot(lw=0, marker=".", subplots=True, layout=(-1, 3),

       figsize=(, 7.5), markersize=2)

       plt.tight_layout()

       plt.show();

       鉴于特征的数量很少，而且有相当漂亮的带有明显尾部的分布，可以遍历它们中的每一个，并逐个特征地确定异常值截止阈值。

       2、特征的相关性

       下一步，看看所有特征之间的相关性。 但在这样做之前需要对非数字目标特征进行编码。 可以使用 scikit-learn 的 OrdinalEncoder 来执行此操作，但这可能会破坏年龄特征中的正确顺序。 因此在这里手动进行映射。

       # Map age to appropriate numerical value

       df.loc[:, "age"] = df["age"].map({

       "teens": 0,

       "twenties": 1,

       "thirties": 2,

       "fourties": 3,

       "fifties": 4,

       "sixties": 5})

       # Map gender to corresponding numerical value

       df.loc[:, "gender"] = df["gender"].map({ "male": 0, "female": 1})

       现在可以使用 pandas 的 .corr() 函数和 seaborn 的 heatmap() 来更深入地了解特征相关性。

       import seaborn as sns

       plt.figure(figsize=(8, 8))

       df_corr = df.corr() *

       sns.heatmap(df_corr, square=True, annot=True, fmt=".0f",

       mask=np.eye(len(df_corr)), center=0)

       plt.show();

       非常有趣！提取的 f0 特征似乎与性别目标有相当强的关系，而年龄似乎与任何其他的特征都没有太大的相关性。

       3、频谱图特征

       目前还没有查看实际录音。 正如之前看到的，有很多选择（即波形或 STFT、mel 或 mfccs 频谱图）。

       音频样本的长度都不同，这意味着频谱图也会有不同的长度。 因此为了标准化所有录音，首先要将它们剪切到正好 3 秒的长度：太短的样本会被填充，而太长的样本会被剪掉。

       一旦计算了所有这些频谱图，我们就可以继续对它们执行一些 EDA！ 而且因为看到“性别”似乎与录音有特殊的关系，所以分别可视化两种性别的平均梅尔谱图，以及它们的差异。

       男性说话者的平均声音低于女性。 这可以通过差异图中的较低频率（在红色水平区域中看到）的更多强度来看出。

       模型选择

       现在已经可以进行建模了。我们有多种选择。关于模型，我们可以……

       · 训练我们经典（即浅层）机器学习模型，例如 LogisticRegression 或 SVC。

       · 训练深度学习模型，即深度神经网络。

       · 使用 TensorflowHub 的预训练神经网络进行特征提取，然后在这些高级特征上训练浅层或深层模型

       而我们训练的数据是

       · CSV 文件中的数据，将其与频谱图中的“mel 强度”特征相结合，并将数据视为表格数据集

       · 单独的梅尔谱图并将它们视为图像数据集

       · 使用TensorflowHub现有模型提取的高级特征，将它们与其他表格数据结合起来，并将其视为表格数据集

       当然，有许多不同的方法和其他方法可以为建模部分创建数据集。因为我们没有使用全量的数据，所以在本文我们使用最简单的机器学习模型。

       经典（即浅层）机器学习模型

       这里使用EDA获取数据，与一个简单的 LogisticRegression 模型结合起来，看看我们能在多大程度上预测说话者的年龄。除此以外还使用 GridSearchCV 来探索不同的超参数组合，以及执行交叉验证。

       from sklearn.linear_model import LogisticRegression

       from sklearn.preprocessing import RobustScaler, PowerTransformer, QuantileTransformer

       from sklearn.decomposition import PCA

       from sklearn.pipeline import Pipeline

       from sklearn.model_selection import GridSearchCV

       # Create pipeline

       pipe = Pipeline(

       [

       ("scaler", RobustScaler()),

       ("pca", PCA()),

       ("logreg", LogisticRegression(class_weight="balanced")),

       ]

       )

       # Create grid

       grid = {

       "scaler": [RobustScaler(), PowerTransformer(), QuantileTransformer()],

       "pca": [None, PCA(0.)],

       "logreg__C": np.logspace(-3, 2, num=),

       }

       # Create GridSearchCV

       grid_cv = GridSearchCV(pipe, grid, cv=4, return_train_score=True, verbose=1)

       # Train GridSearchCV

       model = grid_cv.fit(x_tr, y_tr)

       # Collect results in a DataFrame

       cv_results = pd.DataFrame(grid_cv.cv_results_)

       # Select the columns we are interested in

       col_of_interest = [

       "param_scaler",

       "param_pca",

       "param_logreg__C",

       "mean_test_score",

       "mean_train_score",

       "std_test_score",

       "std_train_score",

       ]

       cv_results = cv_results[col_of_interest]

       # Show the dataframe sorted according to our performance metric

       cv_results.sort_values("mean_test_score", ascending=False)

       作为上述 DataFrame 输出的补充，还可以将性能得分绘制为探索的超参数的函数。 但是因为使用了有多个缩放器和 PCA ，所以需要为每个单独的超参数组合创建一个单独的图。

       在图中，可以看到总体而言模型的表现同样出色。 当降低 C 的值时，有些会出现更快的“下降”，而另一些则显示训练和测试（这里实际上是验证）分数之间的差距更大，尤其是当我们不使用 PCA 时。

       下面使用 best_estimator_ 模型，看看它在保留的测试集上的表现如何。

       # Compute score of the best model on the withheld test set

       best_clf = model.best_estimator_

       best_clf.score(x_te, y_te)

       >>> 0.

       这已经是一个很好的成绩了。 但是为了更好地理解分类模型的表现如何，可以打印相应的混淆矩阵。

       虽然该模型能够检测到比其他模型更多的 岁样本（左混淆矩阵），但总体而言，它实际上在对 岁和 岁的条目进行分类方面效果更好（例如，准确率分别为 % 和 %）。

       总结

       在这篇文章中，首先看到了音频数据是什么样的，然后可以将其转换成哪些不同的形式，如何对其进行清理和探索，最后如何将其用于训练一些机器学习模型。如果您有任何问题，请随时发表评论。

       最后本文的源代码在这里下载：

       /post/5cfeda9d3dc

       作者：Michael Notter

Python深度学习系列网格搜索神经网络超参数：丢弃率dropout（案例+源码）

       本文探讨了深度学习领域中网格搜索神经网络超参数的技术，以丢弃率dropout为例进行案例分析并提供源码。

       一、引言

       在深度学习模型训练时，选择合适的超参数至关重要。常见的超参数调整方法包括手动调优、网格搜索、随机搜索以及自动调参算法。本文着重介绍网格搜索方法，特别关注如何通过调整dropout率以实现模型正则化、降低过拟合风险，从而提升模型泛化能力。

       二、实现过程

       1. 准备数据与数据划分

       数据的准备与划分是训练模型的基础步骤，确保数据集的合理分配对于后续模型性能至关重要。

       2. 创建模型

       构建模型时，需定义一个网格架构函数create_model，并确保其参数与KerasClassifier对象的参数一致。在定义分类器时，自定义表示丢弃率的参数dropout_rate，并设置默认值为0.2。

       3. 定义网格搜索参数

       定义一个字典param_grid，包含超参数名称及其可选值。在本案例中，需确保参数名称与KerasClassifier对象中的参数一致。

       4. 进行参数搜索

       利用sklearn库中的GridSearchCV类进行参数搜索，将模型与网格参数传入，系统将自动执行网格搜索，尝试不同组合。

       5. 总结搜索结果

       经过网格搜索后，确定了丢弃率的最优值为0.2，这一结果有效优化了模型性能。

       三、总结

       本文通过案例分析与源码分享，展示了如何利用网格搜索方法优化神经网络模型的超参数，特别是通过调整dropout率以实现模型的正则化与泛化能力提升。在实际应用中，通过合理选择超参数，可以显著改善模型性能，降低过拟合风险。

史上最全面K近邻算法/KNN算法详解+python实现

       本文内容整理自贪心学院付费课程，课程网址：AI教AI。

       本文github源代码网址：[此处应填写源代码网址]

       本文目录：

       1. KNN算法的核心思想

       2. 用sklearn实现KNN代码讲解

       3. KNN具体的实现步骤详解

       4. 用python从零开始实现一个KNN算法

       5. K近邻的决策边界以及决策边界的python可视化实现

       6. 用交叉验证选择超参数K

       7. 用特征缩放解决KNN算法的潜在隐患

       8. KNN 算法总结

       1. KNN算法的核心思想

       KNN算法是一种简单有效的机器学习算法，主要用于分类问题，也适用于回归问题。KNN算法的核心思想是：给定一个预测目标，计算预测目标和所有样本之间的距离或相似度，选择距离最近的前K个样本，通过这些样本来投票决策。

       2. 用sklearn实现KNN代码讲解

       使用sklearn库导入数据集，进行数据集分割，导入KNN模块，定义KNN对象，进行预测和计算准确率。

       3. KNN具体的实现步骤详解

       实现KNN算法需要具备四个方面的信息：特征工程、样本标注、相似度计算、选择最合适的K值。

       4. 用python从零开始实现一个KNN算法

       从零开始实现KNN算法，需要编写代码来计算距离、选择K值、进行投票决策等。

       5. K近邻的决策边界以及决策边界的python可视化实现

       决策边界的可视化实现可以通过改变K值来观察决策边界的变化。

       6. 用交叉验证选择超参数K

       使用交叉验证来选择K值，通过多次验证来确保结果的稳定性。

       7. 用特征缩放解决KNN算法的潜在隐患

       特征缩放可以解决KNN算法中特征值范围差异带来的问题。

       8. KNN 算法总结

       总结KNN算法的核心思想、实现步骤、潜在隐患和解决方法。

Python机器学习系列sklearn机器学习模型的保存---pickle法

       在Python机器学习系列中，sklearn库的pickle功能为我们提供了方便的模型保存与加载机制。pickle是Python标准库，它的序列化和反序列化功能使得模型的存储和复用变得简单易行。

       首先，通过pickle的pickle.dump()函数，我们可以将训练完成的模型序列化为一个.pkl文件，这个过程就是将复杂对象转化为可存储的字节流，便于后续的保存和传输。然后，当需要使用模型进行预测时，通过pickle.load()函数，我们可以从文件中反序列化出模型，恢复其原始状态。

       具体操作中，数据的划分是基础，通常将数据分为训练集和测试集。接着，利用训练集对模型进行训练，训练完成后，利用pickle.dump()保存模型。而在模型推理阶段，只需通过pickle.load()加载已保存的模型，输入测试集数据进行预测，以评估模型的性能。

       作者是一位在研究院从事数据算法研究的专家，拥有丰富的科研经验，曾在读研期间发表多篇SCI论文。他致力于分享Python、机器学习等领域的实践知识，以简洁易懂的方式帮助读者理解和应用，对于需要数据和源码的朋友，他鼓励直接联系他获取更多信息。