立Sir-CSDN博客

原创【网络爬虫】(1) 网络请求，urllib库介绍

各位同学好，今天开始和各位分享一下python网络爬虫技巧，从基本的函数开始，到项目实战。那我们开始吧。1. 基本概念这里简单介绍一下后续学习中需要掌握的概念。（1）http 和 https 协议。http是超文本传输，接收HTML页面的方法，服务器80端口。https是http协议的加密版本，服务端口是443端口。（2）URL 统一资源定位符。形如：scheme://host:port/path/?query-string=xxx#anchor以https://www.bilibi..

2024-03-25 13:55:43 2254

原创【网络爬虫】(2) requests模块，案例：网络图片爬取，附Python代码

例如，params={'key1': 'value1', 'key2': 'value2'} 将会以 key1=value1&key2=value2 的形式附加到 URL 上。要发送的 JSON 数据。这是 requests.put 函数必须的参数，代表你想要发送 PUT 请求的资源的地址。下面我将详细介绍 requests.put 函数的参数、用法，并给出一个简短的例子。用于身份验证的元组，如 ('user', 'pass')。用于身份验证的元组，如 ('user', 'pass')。

2024-03-25 13:55:15 388

原创【网络爬虫】(3) 案例小结，文本内容爬取，附Python代码

本节总结一下各种文本内容爬取的方法，进行一下案例实战，附详细解析，包含：微博评论爬取；结果展示，文件名是问题，内容是回答，以txt保存。结果展示，评论信息保存在excel中。2. 豆瓣TOP250电影信息爬取。结果展示，电影信息以CSV文件保存。结果展示，小说文本以txt格式保存。

2024-03-25 13:54:42 482

原创【标准化方法】(4) Weight Normalization 原理解析、代码复现，附Pytorch代码

权重归一化（Weight Normalization，WN）选择对神经网络的权值向量 W 进行参数重写，参数化权重改善条件最优问题来加速收敛，灵感来自批归一化算法，但是并不像批归一化算法一样依赖于批次大小，不会对梯度增加噪声且计算量很小。权重归一化成功用于 LSTM 和对噪声敏感的模型，如强化学习和生成模型。

2023-05-09 18:15:14 1883 2

原创【标准化方法】(3) Group Normalization 原理解析、代码复现，附Pytorch代码

分组归一化（Group Normalization，GN）是针对批归一化算法对批次大小依赖性强这一弱点而提出的改进算法。因为 BN 层统计信息的计算与批次的大小有关，因此当批次变小时，很明显统计均值和方差的计算会越不准确和稳定，最终会有小批次高错误率的这一现象发生。

2023-05-09 15:04:22 1885

原创【标准化方法】(2) Layer Normalization 原理解析、代码复现，附Pytorch代码

由于BN(batch normalization）过度依赖批量的大小，当批量较小时，可能由于批量大小太小，均值和方差不具有全局代表性，导致模型效果恶化。Ba等[14]提出Layer ormalization，中心思想是对当前隐藏层整层做归一化操作。与Batch Normalization的不同之处在于，BN是针对同一个样本中的所有数据，而LN(layer normalization）是针对于单个样本来操作。在LN中，一个批里就有与批量大小同数量的均值和方差。

2023-05-09 10:31:52 2328

原创【标准化方法】(1) Batch Normalization 原理解析、代码复现，附Pytorch完整代码

神经网络层数的增加会增加模型计算负担，同时也会导致模型变得难以训练。随着网络层数的增加，数据的分布方式也会随着层与层之间的变化而变化，这种现象被称为内部协变量偏移 ICS。通常解决 ICS 问题的方法是使用较小的学习率，后来为更好的解决该问题，Sergey等提出批处理标准化算法（Batch Normalization）

2023-05-08 22:09:57 2001

原创【路径规划】(4) 蚁群算法，附python完整代码

蚁群算法是一种用来寻找优化路径的概率型算法。将蚁群算法应用于解决优化问题的基本思路为：用蚂蚁的行走路径表示待优化问题的可行解，整个蚂蚁群体的所有路径构成待优化问题的解空间。路径较短的蚂蚁释放的信息素量较多，随着时间的推进，较短的路径上累积的信息素浓度逐渐增高，选择该路径的蚂蚁个数也愈来愈多。最终，整个蚂蚁会在正反馈的作用下集中到最佳的路径上，此时对应的便是待优化问题的最优解

2023-03-28 21:49:32 12187 2

原创【深度强化学习】(8) iPPO 模型解析，附Pytorch完整代码

IPPO（Independent PPO）是一种完全去中心化的算法，此类算法被称为独立学习。由于对于每个智能体使用单智能体算法 PPO 进行训练，所因此这个算法叫作独立 PPO算法。这里使用的 PPO 算法版本为 PPO-截断

2023-03-18 20:43:23 5773 8

原创【深度强化学习】(7) SAC 模型解析，附Pytorch完整代码

Deepmind 提出的 SAC (Soft Actor Critic) 算法是一种基于最大熵的无模型的深度强化学习算法，适合于真实世界的机器人学习技能。SAC 算法的效率非常高，它解决了离散动作空间和连续性动作空间的强化学习问题。SAC 算法在以最大化未来累积奖励的基础上引入了最大熵的概念，加入熵的目的是增强鲁棒性和智能体的探索能力。SAC 算法的目的是使未来累积奖励值和熵最大化，使得策略尽可能随机，即每个动作输出的概率尽可能的分散，而不是集中在一个动作上。

2023-03-15 17:13:44 16058 34

原创【深度强化学习】(6) PPO 模型解析，附Pytorch完整代码

近端策略优化算法PPO（proximal policy optimization），具备 Policy Gradient、TRPO 的部分优点，采样数据和使用随机梯度上升方法优化代替目标函数之间交替进行，但 PPO 提出新目标函数，可以实现小批量更新。PPO 算法可依据 Actor 网络的更新方式细化为含有自适应 KL-散度（KL Penalty）的 PPO-Penalty 和含有 Clippped Surrogate Objective 函数的 PPO-Clip。

2023-03-13 17:33:58 24736 19

原创【深度强化学习】(5) DDPG 模型解析，附Pytorch完整代码

深度确定性策略梯度算法 (Deterministic Policy Gradient，DDPG)。DDPG 算法使用演员-评论家（Actor-Critic）算法作为其基本框架，采用深度神经网络作为策略网络和动作值函数的近似，使用随机梯度法训练策略网络和价值网络模型中的参数。DDPG 算法架构中使用双重神经网络架构，对于策略函数和价值函数均使用双重神经网络模型架构。

2023-03-12 20:46:37 22915 45

原创【深度强化学习】(4) Actor-Critic 模型解析，附Pytorch完整代码

行动者评论家方法是由行动者和评论家两个部分构成。行动者用于选择动作，评论家评论选择动作的好坏。Critic 是评判网络，当输入为环境状态时，它可以评估当前状态的价值，当输入为环境状态和采取的动作时，它可以评估当前状态下采取该动作的价值。Actor 为策略网络，以当前的状态作为输入，输出为动作的概率分布或者连续动作值，再由 Critic 网络来评价该动作的好坏从而调整策略。

2023-03-11 19:11:25 12885 13

原创【深度强化学习】(3) Policy Gradients 模型解析，附Pytorch完整代码

强化学习中策略梯度算法是对策略进行建模，然后通过梯度上升更新策略网络的参数。Policy Gradients中无法使用策略的误差来构建损失函数，因为参数更新的目标是最大化累积奖励的期望值，所以策略更新的依据是某一动作对累积奖励的影响，即增加使累积回报变大的动作的概率，减弱使累积回报变小的动作的概率。

2023-03-10 22:50:04 3201

原创【深度强化学习】(2) Double DQN 模型解析，附Pytorch完整代码

Double DQN 算法是 DQN 算法的改进版本，解决了 DQN 算法过估计行为价值的问题。Double DQN 算法不直接通过最大化的方式选取目标网络计算的所有可能 Q 值，而是首先通过估计网络选取最大 Q 值对应的动作。在 Double DQN 框架中存在两个神经网络模型，分别是训练网络与目标网络。这两个神经网络模型的结构完全相同，但是权重参数不同；每训练一段之间后，训练网络的权重参数才会复制给目标网络。

2023-03-10 20:43:04 6039 11

原创【深度强化学习】(1) DQN 模型解析，附Pytorch完整代码

DQN（Deep Q Network）是深度神经网络和 Q-Learning 算法相结合的一种基于价值的深度强化学习算法。DQN 同时用到两个结构相同参数不同的神经网络，区别是一个用于训练，另一个不会在短期内得到训练.通过采用第二个未经训练的网络，可以确保 “目标 Q 值” 至少在短时间内保持稳定。引入经验回放使得智能体在内存容量范围内从一开始就执行的所有动作和观察都将被存储。然后从此存储器中随机选择一批样本。

2023-03-10 18:35:12 22026 34

原创【深度学习】(6) EfficientNetV2 代码复现，网络解析，附pytorch完整代码

EfficientNetV2 网络主要采用神经结构搜索技术（NAS）结合复合模型扩张方法获得了一组最优的复合系数，自动将网络的深度、宽度和输入图像分辨率三个参数进行合理的配置，提升了网络的性能，在 ImageNetILSVRC2012 的 Top-1 上达到 87.3%的准确率，且 EfficientNetV2 减少了模型的参数量并且进一步提升了模型的训练速度。

2022-12-17 20:05:19 4062 3

原创【深度学习】(5) ShuffleNetV2 代码复现，网络解析，附pytorch完整代码

在同等复杂度的情况下，ShuffleNetV2 要比 ShuffleNetV1 和 MobileNetV1 更加准确。这个网络的优势在于：（1）作为轻量级的卷积神经网络，ShuffleNetV2 相比其他轻量级模型速度稍快，准确率也更高；（2）轻量级不仅体现在速度上，还大大地减少了模型的参数量，并且通过设定每个单元的通道数便可以灵活地调整模型的复杂度。

2022-12-15 21:36:51 4440 8

原创【路径规划】(3) RRT 算法求解最短路，附python完整代码

快速搜索随机树（RRT）算法是一种增量式采样的搜索方法，将它应用于路径规划时不需要任何参数整定，也不需要事先对环境信息进行处理和存储，具有良好的适应性，适合解决复杂环境以及多种约束条件的路径规划问题。

2022-11-28 13:17:35 4180 8

原创【路径规划】(2) A* 算法求解最短路，附python完整代码

A* 算法主要用在静态且周围环境已知的情况下，是建立在 Dijkstra 和BFS 基础上的启发式遍历搜索算法，在路径规划时不仅要考虑自身与最近节点位置的距离（Dijkstra 实现），还需要考虑自身位置与目标点的距离（BFS 实现）。

2022-11-27 20:27:24 11603 6

原创【路径规划】(1) Dijkstra 算法求解最短路，附python完整代码

Dijkstra 算法是典型的单源最短路径计算算法，用于解决源点到其它所有点之间的最短路径计算的问题。它采用了贪心的思想搜索全局，求取最优解。算法优点：鉴于 Dijkstra 算法的全局遍历性，其计算结果准确性非常高，Dijkstra 算法可以避开局部最优陷阱，100%的求解出最优路径。

2022-11-26 20:14:35 8581 7

原创【深度学习】(4) Transformer 中的 Decoder 机制，附Pytorch完整代码

大家好，今天和各位分享一下 Transformer 中的 Decoder 部分涉及到的知识点：计算 self-attention 时用到的两种 mask。本文是对前两篇文章的补充，强烈建议大家先看一下：1.《Transformer代码复现》：https://blog.csdn.net/dgvv4/article/details/1254916932.《Transformer中的Encoder机制》：https://blog.csdn.net/dgvv4/article/details/125507206本节

2022-06-29 16:19:27 3046 8

原创【深度学习】(3) Transformer 中的 Encoder 机制，附Pytorch完整代码

大家好，今天和各位分享一下 Transformer 中的 Encoder 部分涉及到的知识点：Word Embedding、Position Embedding、self_attention_Mask本篇博文是对上一篇《Transformer代码复现》的解析，强烈建议大家先看一下：https://blog.csdn.net/dgvv4/article/details/125491693由于 Transformer 中涉及的知识点比较多，之后的几篇会介绍 Decoder 机制、损失计算、实战案例等。 Wor

2022-06-28 18:22:40 2466

原创【深度学习】(2) Transformer 网络解析，代码复现，附Pytorch完整代码

今天和各位分享一下如何使用 Pytorch 构建 Transformer 模型。本文的重点在代码复现，部分知识点介绍的不多，我会在之后的四篇博文中详细介绍 Encoder，Decoder，(Mask)MutiHeadAttention，以及实战案例。之前我也介绍过 Vision Tranformer，该模型的 Pytorch 和 TensorFlow2 的复现和实战案例可以看我的这两篇博文：https://blog.csdn.net/dgvv4/article/details/124792386ht...

2022-06-27 22:51:26 7946 6

原创【深度学习理论】(7) 长短时记忆网络 LSTM

大家好，今天和各位分享一下长短时记忆网络 LSTM 的原理，并使用 Pytorch 从公式上实现 LSTM 层上一节介绍了循环神经网络 RNN，感兴趣的可以看一下：https://blog.csdn.net/dgvv4/article/details/125424902我的这个专栏中有许多 LSTM 的实战案例，便于大家巩固知识：https://blog.csdn.net/dgvv4/category_11712004.html循环神经网络的记忆功能在处理时间序列问题上存在很大优势，但随着训练的不断进行，R

2022-06-25 13:12:51 2204

原创【深度学习理论】(6) 循环神经网络 RNN

今天和各位分享一下处理序列数据的循环神经网络RNN的基本原理，并用 Pytorch 实现 RNN 层和 RNNCell 层。之前的博文中已经用过循环神经网络做过许多实战案例，感兴趣的可以看我这个专栏：https://blog.csdn.net/dgvv4/category_11712004.html在循环神经网络中，序列数据的 shape 通常是 [batch, seq_len, feature_len]，其中 seq_len 代表特征的个数，feature_len 代表每个特征的表示方法。对于自然...

2022-06-23 16:14:41 2014 1

原创【神经网络】(22) ConvMixer 代码复现，网络解析，附TensorFlow完整代码

大家好，今天和各位分享一下如何使用 TensorFlow 构建 ConvMixer 卷积神经网络模型.作者证明了PatchEmbedding对VIT的精度影响更大，并提出了一个非常简单的模型ConvMixer，在思想上类似于ViT和MLP-Mixer。模型直接将patch作为输入，分离空间和通道尺寸的混合建模，并在整个网络中保持相同大小的分辨率。......

2022-06-09 18:32:08 1677 2

原创【图像分类案例】(10) Vision Transformer 动物图像三分类，附Pytorch完整代码

大家好，今天和各位分享一下如何使用 Pytorch 构建 Vision Transformer 网络模型，并使用权重迁移学习方法训练模型并预测。在 Vision Transformer 中，通过 Transformer 的 Encoder 部分直接进行分类任务，在图片序列中加入分类 token，图片序列则由原始图像切割成若干个图像块（Patch）得到......

2022-06-08 18:21:53 11690 32

原创【图像分类案例】(9) MobileNetV3 癌症图像二分类，附Pytorch完整代码

今天和各位分享一下如何使用 Pytorch 构建 MobileNetV3 卷积神经网络，并基于权重迁移学习方法解决图像二分类问题，并且评价数据集的召回率、精准率、F1 等。MobileNetV3 的原理和 TensorFlow2 实现方法可以看我下面这篇博文，强烈建议大家先看一下，本文就不赘述原理了：https://blog.csdn.net/dgvv4/article/details/123476899把博文中的代码按顺序组合在一起就能直接运行首先导入网络构建过程中需要用到的所有工具包，本小....

2022-06-06 12:27:18 2804 13

原创【深度学习】(1) CNN中的注意力机制（SE、ECA、CBAM），附Pytorch完整代码

大家好，今天和各位分享一下如何使用 Pytorch 构建卷积神经网络中的各种注意力机制，如：SENet，ECANet，CBAM。注意力机制的原理和 TensorFlow2 的实现方式可以看我下面两篇博文：SENet、ECANet：https://blog.csdn.net/dgvv4/article/details/123572065DANet、CBAM：https://blog.csdn.net/dgvv4/article/details/123888724SE注意力机制（Squeeze-and-Exc

2022-06-03 16:31:15 76515 62

原创【图像分类案例】(8) ResNet50 鸟类图像4分类，附Pytorch完整代码

大家好，今天和大家分享一些如何使用 Pytorch 搭建 ResNet50 卷积神经网络模型，并使用迁移学习的思想训练网络，完成鸟类图片的预测。ResNet 的原理和 TensorFlow2实现方式可以看我之前的两篇博文，这里就不详细说明原理了。ResNet18、34：https://blog.csdn.net/dgvv4/article/details/122396424ResNet50：https://blog.csdn.net/dgvv4/article/details/12187...

2022-05-29 20:27:15 10649 26

原创【神经网络】(21) Vision Transformer 代码复现，网络解析，附TensorFlow完整代码

大家好，今天和各位分享一下如何使用 TensorFlow 构建 ViT B-16 模型。为了方便大家理解，代码使用函数方法。1. 引言在计算机视觉任务中通常使用注意力机制对特征进行增强或者使用注意力机制替换某些卷积层的方式来实现对网络结构的优化，这些方法都在原有卷积网络的结构中运用注意力机制进行特征增强。而 ViT 依赖于原有的编码器结构进行搭建，并将其用于图像分类任务，在减少模型参数量的同时提高了检测准确度。将 Transformer 用于图像分类任务主要有以下 5 个过程：（1）将输入图

2022-05-16 10:10:05 5276 15

原创【神经网络】(20) GhostNet 代码复现，网络解析，附TensorFlow完整代码

大家好，今天和各位分享一下如何使用 TensorFlow 构建 GhostNet 轻量化卷积神经网络模型。GhostNet 相比于普通的卷积神经网络在生成特征图时使用了更少的参数。它提出的动机是为了改善神经网络中特征图存在着冗余的现象。神经网络中的特征图存在着一定程度上的冗余，这些冗余的特征图一定程度上来说，也增强了网络对特征理解的能力，对于一个成功的模型来说这些冗余的特征图也是必不可少的。相比于有些轻量化网络去除掉这些冗余的特征图，GhostNet 选择低成本的办法来保留它们。GhostNet 的

2022-05-14 12:38:06 3694 7

原创【深度学习理论】(5) 图卷积神经网络 GCN

1. 图论基础下图是一个网络图，一共有6个节点。它的邻接矩阵为A，用于描述图的结构。若两个节点之间有连边，那么邻接矩阵中该元素为1，否则为0。以第0个节点为例（A的第一行），0节点和1、4节点有连边，那么矩阵元素为1。然而，如果每个节点有其自身的特征，那么邻接矩阵无法准确表达这个图。矩阵 H 代表节点的特征矩阵。矩阵中的每一行代表每个节点的特征向量。例如0节点的特征向量是 [1, 11]。有了邻接矩阵和节点矩阵就能表述网络图了，将邻接矩阵和节点矩阵相乘，我们发现相乘结果矩阵没...

2022-04-30 15:39:05 9958 6

原创【机器视觉案例】(16) 自制视觉小游戏--桌上冰球，附python完整代码

大家好，今天和各位分享一下如何使用 mediapipe+opencv 制作桌上冰球的交互式小游戏。先放张图看效果。规则如下：左手控制白色球拍；右手控制紫色球拍；球拍只能上下移动；红色圆形就是冰球；球碰撞到上下两侧的蓝色边框，和两侧的球拍就会反弹；如果球进入了黄色区域，游戏结束；下面的粉色计数板，记录左右两侧各击球多少次。1. 文件配置1.1 导入工具包pip install opencv_python==4.2.0.34 # 安装opencvpip install mediap

2022-04-30 08:40:23 3602 7

原创【深度学习】(11) 学习率衰减策略（余弦退火衰减，多项式衰减），附TensorFlow完整代码

大家好，今天和各位分享一下如何使用 TensorFlow 构建多项式学习率衰减策略、单周期余弦退火学习率衰减策略、多周期余弦退火学习率衰减策略，并使用Mnist数据集来验证构建的方法是否可行。在上一篇中和大家分享了指数衰减、分段衰减、余弦衰减，感兴趣的可以看一下：https://blog.csdn.net/dgvv4/article/details/124471098下面创建的自定义学习率的类，都继承tf.keras.optimizers.schedules.LearningRateSchedu..

2022-04-29 10:48:29 4673 4

【16】实战--银行卡数字识别.py

银行卡号数据集.zip

神经网络回归预测--气温数据集

python朴素贝叶斯实战案例--文档分类，输入一篇文章，输出这个文章属于什么类型

python机器学习K近邻算法--红酒分类预测.py

python实战K近邻算法，红酒分类预测数据集.xls

空空如也