- 博客(342)
- 资源 (16)
- 问答 (16)
- 收藏
- 关注
原创 PyQt干货(1)QT5设计师 技巧(长期更新,QT6设计师也通用)
这里的发送者就是控件名buttonClearLog,接受者是控件名outputWindow,信号就是动作的意思,就是控件buttonClearLog进行该信号操作的时候,控件名outputWindow就进行才槽操作。
2024-03-06 10:37:44 153
原创 问题已解决:安装requirements.txt依赖
手动生成requirements.txt文件;自动生成requirements.txt文件;安装requirements.txt依赖;写个获取管理员权限的bat脚本安装环境。
2023-01-08 16:10:34 566
原创 教程:Windows10下如何安装使用多版本Tensorflow2.x/Pytorch/paddlepaddle的GPU版本[和CUDA的安装及问题详解]【亲测可行】【详细和持续更新】
一、本文初衷(一)、关于选择:(二)、**CUDA之间的关系:**鄙人最初是学tf的,然后最近由于学术界很多新算法都是pytorch实现的,然后最近想去学学torch,后来发现paddlepaddle在国内的发展数一数二是在太强了然后也想接触一下paddlepaddle这个百度的深度学习框架,因为他有很多现成模型、开源模型。但是,不幸的是鄙人原来使用的是CUDA10.0,无法安装CUDA10.0以上版本支持的DL框架版本。所以鄙人决定进行一番尝试,让PC兼容多个DL框架、以及多个DL框架的版本,是GPU
2021-11-02 16:19:05 1870 2
原创 打包库Auto-py-to-exe:将py程序打包为exe文件的GUI界面程序
一、Auto-py-to-exe介绍Auto-py-to-exe 是基于简单的GUI图形界面和Python中的 PyInstaller,就是将PyInstaller封装了一下,非常方便的将.py转换为.exe。该项目的GitHub链接:auto-py-to-exe程序的GUI面板如下:二、Auto-py-to-exe安装直接pip安装:pip install auto-py-to-exe通过GitHub安装git clone https://github.com/brentvol
2021-10-07 20:23:00 4155 1
原创 国内源集合(pip和conda推荐设置为清华源、最好是同设为清华源的)
conda源:【北方人建议使用清华源,剩下的建议使用上海交通大学源】官网:上海交大的: https://mirrors.sjtug.sjtu.edu.cn/#/pip源:【建议使用豆瓣或者阿里的,超级超级快】...
2020-04-10 14:18:06 6033
原创 教程:Anaconda包与环境的管理
一、管理包1.安装包:conda install package_name例如:conda install tensorflow-gpu==2.0.02.删除包:conda remove package_name例如:conda remove tensorflow3.查找包:(支持模糊查找)conda search search_term例如:conda search ...
2020-01-12 16:34:39 1419
原创 linux上安装jupyter notebook和win10下notebook和lab的配置
首先我已经安装好了python3环境,以及设置了软连接。现在开始我的艰辛历程!首先,其次,生成jupyter notebook的配置文件以及进行配置之后,启动Jupyter。发现报错!!!不讲错的了!成功的方法如下:安装:pip3 install jupyter生成配置文件: 略配置文件里有个配置IP的改成0.0.0.0;注意配置工作目录!!!把python3的安装目录的bin目录加入环境变量:编辑文件,添加如下:其中第一行是python3的安装目录!
2019-10-16 20:44:49 1649 1
原创 深度学习 精选笔记(13.2)深度卷积神经网络-AlexNet模型
AlexNet通过暂退法(**DropOut**)控制全连接层的模型复杂度,而LeNet只使用了权重衰减。 为了进一步扩充数据,AlexNet在训练时增加了大量的图像增强数据,如翻转、裁切和变色。 这使得模型更健壮,更大的样本量有效地减少了过拟合。 **Dropout、ReLU和预处理是提升计算机视觉任务性能的其他关键步骤。AlexNet已经被更有效的架构所超越,但它是从浅层网络到深层网络的关键一步。**
2024-03-17 22:52:56 979
原创 深度学习 精选笔记(13.1)卷积神经网络-LeNet模型
对于非常简单的手写数字图片识别任务,古老的 LeNet-5 网络已经可以 取得很好的效果,但是稍复杂一点的任务,比如彩色动物图片识别,LeNet-5 性能就会急 剧下降。
2024-03-17 19:29:04 1013
原创 深度学习 精选笔记(12)卷积神经网络-理论基础1
卷积层有时被称为特征映射(feature map),因为它可以被视为一个输入映射到下一层的空间维度的转换器。 在卷积神经网络中,对于某一层的任意元素 𝑥 ,其感受野(receptive field)是指在前向传播期间可能影响 𝑥 计算的所有元素(来自所有先前层)。
2024-03-17 18:01:42 1175
原创 深度学习 精选笔记(11)深度学习计算相关:GPU、参数、读写、块
从零开始编写一个块。它包含一个多层感知机,其具有256个隐藏单元的隐藏层和一个10维输出层。注意,下面的MLP类继承了表示块的类。实现只需要提供自己的构造函数(Python中的__init__函数)和前向传播函数。将输入数据作为其前向传播函数的参数。通过前向传播函数来生成输出。请注意,输出的形状可能与输入的形状不同。例如,我们上面模型中的第一个全连接的层接收任意维的输入,但是返回一个维度256的输出。计算其输出关于输入的梯度,可通过其反向传播函数进行访问。通常这是自动发生的。
2024-03-15 16:41:32 1104
原创 poetry库:依赖管理和打包工具
poetry 将所有的配置都放置在一个 toml 文件中,这些配置包括:依赖管理、构建、打包、发布。 poetry需要Python 3.8+。它是多平台的,目标是使其在 Linux、macOS 和 Windows 上同样运行良好。
2024-03-09 15:31:11 324
原创 Normalizer(归一化)和MinMaxScaler(最小-最大标准化)的区别详解
Normalizer是一种将每个样本向量的长度缩放为1的归一化方法,它逐个样本对特征向量进行归一化,使得每个样本的**特征向量**都具有相同的尺度。MinMaxScaler是一种将特征缩放到指定范围(通常是0到1之间)的标准化方法。它通过对每个特征进行线性变换,将**特征值**缩放到指定的最小值和最大值之间。这两种方法有相似之处,都可以将数据缩放到一定范围内,但是归一化和最小-最大标准化的方式和目的不同。
2024-03-09 15:10:01 755
原创 深度学习 精选笔记(10)简单案例:房价预测
在这里案例里面,测试集主要作用仅仅为评估模型泛化效果。并不具有“预测未来售价”的实际作用。因为测试集的其它特征都已经是假设已知的,而预测未来的时候这些都是相当于没发生的未知列,所以该案例中作用是相当于只是评估模型的作用。
2024-03-01 21:53:19 723
原创 深度学习 精选笔记(9)分布偏移
在许多情况下,训练集和测试集并不来自同一个分布。这就是所谓的分布偏移。真实风险是从真实分布中抽取的所有数据的总体损失的预期。然而,这个数据总体通常是无法获得的。经验风险是训练数据的平均损失,用于近似真实风险。在实践中,我们进行经验风险最小化。在相应的假设条件下,可以在测试时检测并纠正协变量偏移和标签偏移。在测试时,不考虑这种偏移可能会成为问题。强化学习(reinforcement learning)强调如何基于环境而行动,以取得最大化的预期利益。
2024-03-01 00:19:01 856
原创 深度学习 精选笔记(8)梯度消失和梯度爆炸
梯度消失和梯度爆炸是深度神经网络训练过程中常见的问题,影响模型的收敛和性能。梯度消失(Gradient Vanishing):在深度神经网络中,梯度消失指的是在反向传播过程中,梯度逐渐变小并接近零,导致较深层的网络参数无法得到有效更新,从而影响模型的训练效果。梯度消失通常发生在使用激活函数导数具有较小值的情况下,尤其是在使用 sigmoid 或 tanh 激活函数时。梯度爆炸(Gradient Explosion):梯度爆炸则是指在反向传播过程中,梯度变得非常大,超过了数值范围,导致参数更新过大
2024-02-29 23:06:30 1141
原创 深度学习 精选笔记(7)前向传播、反向传播和计算图
前向传播用于计算模型的预测输出,反向传播用于根据预测输出和真实标签之间的误差来更新模型参数。前向传播(Forward Propagation):前向传播是指输入数据通过神经网络模型的各层,逐层进行计算并传递至输出层的过程。反向传播(Backpropagation):反向传播是指通过计算损失函数对模型参数的梯度,从输出层向输入层传播梯度的过程。
2024-02-29 22:44:33 1071
原创 深度学习 精选笔记(6)模型选择与正则化
解决过拟合问题的方法包括: - 简化模型:可以尝试使用更简单的模型,减少模型的复杂度,例如减少神经网络的层数或节点数。 - 正则化:可以使用正则化技术,例如 L1 正则化或 L2 正则化,来约束模型的复杂度,防止模型过拟合训练数据。 - 增加训练数据:增加训练数据量可以帮助模型更好地学习数据中的模式,减少过拟合的可能性。 - 提前停止训练:可以通过监控模型在验证集上的表现,在模型性能开始下降之前停止训练,避免模型过度拟合训练数据。 - 特征选择:可以选择最重要的特征,去除无关的特征,减少模型学习的
2024-02-29 18:09:43 973
原创 深度学习 精选笔记(5)多层感知机
深度学习回顾,专栏内容来源多个书籍笔记、在线笔记、以及自己的感想、想法,佛系更新。争取内容全面而不失重点。完结时间到了也会一直更新下去,已写完的笔记文章会不定时一直修订修改(删、改、增),以达到集多方教程的精华于一文的目的。所有文章涉及的教程都会写在开头、一起学习一起进步。
2024-02-27 17:25:51 1081
原创 深度学习 精选笔记(4)线性神经网络-交叉熵回归与Softmax 回归
对每个项求幂(使用exp);对每一行求和(小批量中每个样本是一行),得到每个样本的规范化常数;将每一行除以其规范化常数,确保结果的和为1。return X_exp / partition # 这里应用了广播机制对于任何随机输入,将每个元素变成一个非负数。此外,依据概率原理,每行总和为1]。定义softmax操作后,可以实现softmax回归模型。下面的代码定义了输入如何通过网络映射到输出。注意,将数据传递到模型之前,使用reshape函数将每张原始图像展平为向量。
2024-02-27 11:57:09 1287
原创 深度学习 精选笔记(3)线性神经网络-线性回归
定义模型,将模型的输入和参数同模型的输出关联起来。要计算线性模型的输出, 只需计算输入特征 𝐗 和模型权重 𝐰 的矩阵-向量乘法后加上偏置 𝑏。注意, 𝐗𝐰 是一个向量,而 𝑏 是一个标量。"""线性回归模型""""""均方损失"""尽管线性回归有解析解,但很多其他模型却没有。所以这里使用小批量随机梯度下降。在每一步中,使用从数据集中随机抽取的一个小批量,然后根据参数计算损失的梯度。接下来,朝着减少损失的方向更新参数。
2024-02-27 10:14:56 1065
原创 深度学习 精选笔记(2)自动求导与概率
为了能进行事件概率求和,需要求和法则(sum rule), 即 𝐵 的概率相当于计算 𝐴 的所有可能选择,并将所有选择的联合概率聚合在一起,这也称为边际化(marginalization)。对于每个值,一种自然的方法是将它出现的次数除以投掷的总次数, 即此事件(event)概率的估计值。导数是微积分中的重要概念,它表示函数在某一点处的变化率。例如,假设y是作为x的函数计算的,而z则是作为y和x的函数计算的。在二维空间中,梯度就是函数的偏导数构成的向量,指向函数增长最快的方向,其大小表示增长的速率。
2024-02-26 16:58:45 1142
原创 深度学习 精选笔记(1)数据基本操作与线性代数
虽然张量看起来是复杂的对象,但它们可以理解为向量和矩阵的集合。理解向量和矩阵对于理解张量至关重要。TensorFlow中的Tensors是不可变的,也不能被赋值。TensorFlow中的Variables是支持赋值的可变容器。请记住,TensorFlow中的梯度不会通过Variable反向传播。
2024-02-23 15:42:41 685
原创 训练时间序列 LSTM 模型时,是否要打乱数据呢?
独立的样本:如果你的时间序列数据是独立的,即观测值之间没有时间上的依赖关系或时间关系不重要,那么你可以考虑打乱数据集。通过打乱数据,可以增加样本之间的随机性,防止模型过度依赖于数据的特定排序,并帮助模型更好地泛化到新的样本上。时间序列依赖性:如果你的时间序列数据具有内在的时间依赖性,即后续时间步骤的观测值可能会依赖于之前的观测值,那么建议不要打乱数据集。需要注意的是,打乱数据集可能会破坏时间序列的结构,并丢失特定的时间依赖性。因此,在进行数据打乱之前,建议先仔细考虑你的时间序列数据的性质和任务的要求。
2024-01-04 09:30:08 513
原创 已解决:“深而窄“和“浅而宽“的网络结构各自的优点和适用场景?
深而窄的网络通常具有更强的表示能力,能够学习到更高级别的特征表示,从而在许多复杂任务上取得优异的性能。此外,深度网络还可以通过堆叠多个层次来逐步学习更高级别的特征,这种逐层学习的过程有助于网络的训练和优化。总而言之,深而窄的网络在处理复杂任务和大规模数据集时通常表现更好,但需要更多的计算资源和数据量。然而,深而窄的网络结构也存在一些挑战。另一方面,浅而宽的网络指的是层数相对较少但每一层神经元数目较多的网络。浅而宽的网络适用于一些简单的任务和小规模数据集,可以在计算资源有限的情况下获得良好的性能。
2023-12-07 09:41:22 123
原创 已解决:tensorflow2.6.0的plot_model无法绘制图像报错如何解决?
在pycharm中把鼠标放在plot_model函数的位置,然后Ctrl+单击该函数即可进入。我的环境是tensorflow 2.6.0,python3.9.18。如何找到vis_utils.py?安装的时候记得勾选环境变量选项。
2023-12-05 10:46:34 312
原创 已解决:conda找不到对应版本的cudnn如何解决?
然后就可以使用如下命令进行安装对应版本的cudnn了。配置深度学习环境时,打算安装cudatoolkit。cudatoolkit也使用类似的方法。
2023-10-27 16:46:53 904
原创 已解决:关于anaconda的一些实用使用命令、技巧、注意事项详细解读!
如果使用的话那么anaconda下的所有安装库都会被更新,包括基础环境和虚拟环境的库、python版本,全部都会被更新。那么该如何精细化管理库版本而不让各个虚拟环境之间互相影响呢?以下是一些常用的Conda命令: - `conda create`: 创建新的虚拟环境。 - `conda activate`: 激活虚拟环境。 - `conda deactivate`: 退出虚拟环境。 - `conda install`: 安装软件包。 - `conda update`: 更新软件包。 - `co
2023-07-31 17:32:03 286
原创 pycharm里面的git的变基是什么意思
在feature分支上开发完成后,您想要将它的修改合并回develop分支,但是您不想使用常规的合并操作(merge),因为这样会增加额外的合并提交。相反,您可以使用变基操作,将feature分支的修改按照提交时间顺序依次应用到develop分支上,使得它们的修改历史更加清晰。在PyCharm中,"变基(rebase)"是一个Git操作,它可以将当前分支的修改应用到另一个分支上。具体来说,变基操作会把当前分支的修改,按照提交时间顺序依次应用到指定的目标分支上,从而将两个分支上的修改整合成一个新的提交历史。
2023-06-09 16:41:14 726
原创 Tips:克隆别人的仓库代码到本地修改后提交推送到他的仓库,需要他审核审批然后作为新分支吗还是直接就覆盖了原仓库呢?
具体来说,你可以通过在 GitHub 上向原仓库提交一个合并请求(Pull Request)的方式,将你的修改推送给仓库所有者。如果你的修改被接受了,那么它就会被合并到仓库中,并成为新的提交或分支。因此,在向他人的仓库提交修改之前,建议先向仓库所有者或管理员发送一条消息,请求获得相应的权限或授权。当你克隆别人的仓库代码到本地进行修改,并将其推送到他的仓库时,这个过程不会自动覆盖原有的代码。相反,这个过程会创建一个新的分支或者提交,并等待仓库所有者(或者被授权的其他用户)的审核和审批。
2023-06-09 16:17:33 405
原创 已解决:GitHub如何保护分支?GitHub提示Your main branch isn‘t protected是怎么回事?
在 Github 中,可以通过以下方式来保护分支:限制对分支的访问权限:合理设置仓库的访问权限,只有团队成员或者被授权的用户才能够进行代码的推送和修改操作。设置分支保护规则:在仓库的 “Branches” 页面中,找到需要保护的分支(一般是主分支 master),点击 “Edit” 按钮,进入分支设置页面,勾选以下选项:“Require pull request reviews before merging”:要求所有合并请求必须经过审核,并由至少一个审阅者或所有者或拥有管理员权限的人员进行审核。
2023-06-09 15:51:36 4237
原创 已解决:pycharm中git内容的“新建分支”和“新建标记”有什么区别
新建分支”(Create Branch):这个功能可以创建一个新的代码分支,让你能够在不影响主分支(master branch)的情况下独立地开发新功能或者修复bug。通常情况下,每个新的功能或者bug修复都应该在自己的分支上进行开发,然后再合并到主分支上。“新建标记”(Create Tag):这个功能可以为你的代码库打上一个标记,表示当前代码库的状态。通常情况下,当你发布一个新版本的时候,可以为这个版本打上一个标记,这样其他开发人员就可以方便地知道当前代码库的状态,并且可以轻松地回滚到之前的某个版本。
2023-06-09 15:41:11 218
原创 已解决:pycharm上传代码更新到GitHub的时候怎么更新到对应的 Releases 中
现在,你可以在 GitHub Releases 页面上看到新的版本,并下载和使用它们。注意:这可能需要一些额外的权限设置,请确保你的 GitHub 帐户已
2023-06-09 15:37:19 509
原创 已解决:pycharm中git内容的更新项目的“将传入更改合并到当前分支”和“在传入更改上变基当前分支”有什么区别
这个选项会将当前分支的更改移到远程分支的顶端,然后再将远程分支的更改合并到当前分支上。综上所述,Merge Changes 方法比较适用于多人协作或者多个分支的项目,而 Rebase Current Branch on Incoming Changes 方法则适用于保持 Git 历史记录整洁的项目。这个选项会将远程分支的更改合并到当前分支上,并且会自动创建一个新的合并提交。这种方法适用于多人协作的项目或者有多个分支的情况,可以简单高效地将远程更改与本地更改合并以便进行下一步开发工作。
2023-06-09 15:36:16 2230
原创 已解决:GitHub如何上传公司的项目然后仅项目相关人员可见?
这样,只有添加为 Collaborators 的人才能访问和查看该项目。如果需要更加严格的权限控制,可以使用 GitHub 的 Organizations(组织)功能,并在其中创建 Team(团队),将 Collaborators 分配到特定的 Team 中,以实现更精细的权限控制。
2023-06-08 16:08:12 378
原创 已解决:stability_selection模块报错got an unexpected keyword argument ‘normalize‘等问题
(1) 多余参数(2)导库问题(3)函数不收敛/数据标准化问题(4)项目自带的示例跑不通问题。
2023-06-08 09:46:26 1258
原创 时间序列学习 经典案例(5)【stability_selection的源码bug修改】股票数据特征分析与特征选择
由于目前最新版的stability_selection已经从新版本的sklearn中剔除,所以需要单独安装,但是单独安装的stability_selection模块与旧版本互相不兼容会报错,所以这个时候需要解决这个报错。我已经对stability_selection项目fork进行修改源码修复error,并且已发送pull requests到源项目的请求。所以,可以使用我fork的项目进行安装该模块,已经完美兼容scikit-learn 1.2.2版本。
2023-06-08 00:50:34 823 2
时间序列的详细介绍以及案例
2023-05-30
Linear+XGBosst预测代码+客流量预测demo.rar
2021-11-05
中文分词词典UserDict.txt
2021-02-28
lightning和pytorch-lightning的区别?
2023-08-13
如何从一组包含近似正太分布子数据a的偏态分布数据b中把a给提取出来吗?
2023-06-25
pycharm 编辑 requirements.txt 非常卡,该如何解决?
2023-04-14
时间序列中,神经网络最后一层的含义是什么?
2023-03-09
cupti64_113.dll not found
2023-02-03
Python深度学习的时候屏幕显示线插在独立显卡还是集成显卡好?
2023-02-01
Python如何在程序最后获取控制台输出内容?
2022-12-17
python 如何将tqdm和logging日志相结合
2022-12-09
python多进程情况下只有主进程在跑,但是子进程一动不动怎么办?
2022-12-02
使用KMeans拟合数据的时候出现警告You can avoid it by setting the environment variable OMP_NUM_THREADS=2
2022-11-09
对整个数据集数据标准化后再划分训练集、测试集和先对训练集标准化再将规则用于测试集 的思考
2022-02-22
pandas线性插值报错:ValueError: Invalid fill method. Expecting pad (ffill) or backfill (bfill). Got linear
2022-01-21
为什么我觉得transformer就像是在瞎猜呢?
2021-12-10
为什么用torch保存模型占用磁盘那么大?怎么样保存模型占用磁盘空间小?
2021-12-09
预测结果是一个多维数组,必须要打平才能计算loss吗?
2021-12-09
torch的SmoothL1Loss()是huber loss吗?
2021-12-07
关于申请github学生开发包和jetbrains免费使用的过程中遇到的问题?
2021-11-29
和鲸社区的GPU环境出现报错
2021-11-13
关于solo博客系统静态资源无法正常加载的问题。。。
2019-08-08
TA创建的收藏夹 TA关注的收藏夹
TA关注的人