- 博客(127)
- 收藏
- 关注
RSS订阅转载 缺失值的处理
一、造成数据缺失的原因在各种实用的数据库中，属性值缺失的情况经常发全甚至是不可避免的。因此，在大多数情况下，信息系统是不完备的，或者说存在某种程度的不完备。缺失值的产生的原因多种多样，主要分为机械原因和人为原因。机械原因是由于机械原因导致的数据收集或保存的失败造成的数据缺失，比如数据存储的失败，存储器损坏，机械故障导致某段时间数据未能收集（对于定时数据采集而言）。人为原因是由于人的主观失误、历史局限或有意隐瞒造成的数据缺失，比如，在市场调查中被访人拒绝透露相关问题的答案，或者回答的问题是无效的，数据录入
2022-05-19 09:02:08
710
转载 Pytorch模型保存与加载，并在加载的模型基础上继续训练
pytorch保存模型非常简单，主要有两种方法：只保存参数；（官方推荐）保存整个模型 (结构+参数)。由于保存整个模型将耗费大量的存储，故官方推荐只保存参数，然后在建好模型的基础上加载。本文介绍两种方法，但只就第一种方法进行举例详解。一、只保存参数1.保存一般地，采用一条语句即可保存参数：torch.save(model.state_dict(), path)其中model指定义的模型实例变量，如 model=vgg16( ), path是保存参数的路径，如 path=’./model
2022-03-06 19:50:26
667
原创 矩阵论——正定矩阵
xTAxx^TAxxTAx 正定⟺p=n\Longleftrightarrow p=n⟺p=n1⟺A≃E\Longleftrightarrow A\simeq E⟺A≃E⟺A\Longleftrightarrow A⟺A 的特征值全大于0⟺p=n\Longleftrightarrow p=n⟺p=n顺序主子式全大于0p表示正惯性指数，n表示负惯性指数 ↩︎...
2022-02-21 21:05:56
288
转载 Windows10 安装 CUDA + cuDNN + pyTorch
在 windows10 上面安装 CUDA 和 cuDNN0、简单了解一下 CUDA 和 cuDNN1）什么是 CUDA CUDA(ComputeUnified Device Architecture)，是显卡厂商NVIDIA推出的运算平台。 CUDA是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。2）什么是cuDNN NVIDIA cuDNN是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开销。NVIDIA cuDNN可以集成到更高级别的机器学习
2022-01-10 16:14:54
460
转载 形象易懂讲解算法——压缩感知
在我看来，压缩感知是信号处理领域进入21世纪以来取得的最耀眼的成果之一，并在磁共振成像、图像处理等领域取得了有效应用。压缩感知理论在其复杂的数学表述背后蕴含着非常精妙的思想。基于一个有想象力的思路，辅以严格的数学证明，压缩感知实现了神奇的效果，突破了信号处理领域的金科玉律——奈奎斯特采样定律。即，在信号采样的过程中，用很少的采样点，实现了和全采样一样的效果。这篇文章，我将抛弃复杂的数学表述，用没有公式的语言讲清楚压缩感知的核心思路，尽量形象易懂。我还绘制了大量示意图，因为排版问题，我将主要以PPT的形式呈
2022-01-04 20:48:08
1163
2
转载 Pycharm报错：Error running ‘‘: Cannot run program “\python.exe“ (in directory ““)系统找不到指定文件夹？
python纠错
2021-12-21 13:28:01
14367
6
原创 矩阵论——特征值和特征向量
引言对于y=f(x)y=f(x)y=f(x)，即x→fyx\xrightarrow{f}yxfy，类似地 x→AAxx\xrightarrow{A}AxxAAx，而特征值（Eigenvalue）与特征向量（Eigenvectors）研究的正是 xxx与AxAxAx方向相同 的情况。特征向量和特征向量使得AxAxAx平行于xxx的特殊向量就是特征向量，即Ax=λxAx=\lambda xAx=λx.特殊矩阵的特征值若A是奇异矩阵，λ\lambdaλ=0是其特征值。若P是投影矩阵，则对于xxx
2021-10-28 07:53:55
780
原创 python纠错之旅（5）——ImportError: IProgress not found. Please update jupyter and ipywidgets.
问题：ImportError: IProgress not found. Please update jupyter and ipywidgets.解决方案：conda install ipywidgets
2021-10-26 08:08:29
342
转载 python中的operator.itemgetter函数
operator.itemgetter函数operator模块提供的itemgetter函数用于获取对象的哪些维的数据，参数为一些序号。看下面的例子输入：a = [1,2,3] b=operator.itemgetter(1) #定义函数b，获取对象的第1个域的值b(a) 输出：2输入：b=operator.itemgetter(1,0) //定义函数b，获取对象的第1个域和第0个的值b(a) 输出：(2, 1)要注意，operator.itemgetter函数
2021-10-25 20:58:46
457
原创 assert的用法介绍
断言语句和 if 分支有点类似，它用于对一个 bool 表达式进行断言，如果该 bool 表达式为 True，该程序可以继续向下执行；否则程序会引发 AssertionError 错误。格式：assert+空格+要判断语句+,+“报错语句”...
2021-10-25 20:06:24
97
转载 VMware和Virtual Box虚拟机的区别
问题：保存模型参数为h5文件，再加载时出现 如下错误：解决方案：最后发现，只要将原来保存ckpt文件时生成的文件（除.h5文件以外的文件）全部删除即可。
2021-10-22 08:12:43
12217
原创 python纠错之旅（4）——AttributeError: module ‘scipy.misc‘ has no attribute ‘imsave‘
问题：出现AttributeError: module 'scipy.misc' has no attribute 'imsave'原因：该函数已经弃用解决方案：使用matplotlib模块中image下的.imsave()函数，将numpy数组转成图片保存。具体代码如下：from matplotlib import imageimage.imsave(filename,image_array,cmap='gray') # cmap常用于改变绘制风格，如黑白gray，翠绿色virdidis
2021-10-18 20:03:51
855
转载 从SVD到PCA——奇妙的数学游戏
方阵的特征值当一个矩阵与一个向量相乘，究竟发生了什么？Ax=bAx=bAx=b定义如下的 A 与 x：A=[2102]x=[x1x2]A=\begin{bmatrix}2&1\\0&2\end{bmatrix}\\\\x=\begin{bmatrix}x_1\\x_2\end{bmatrix}A=[2012]x=[x1x2]求得b=[2x1+x22x2]b=\begin{bmatrix}2x_1+x_2\\2x_2\end{bmatrix}b=[2x1
2021-10-16 10:55:44
151
转载 python纠错之旅（3）——XLRDError: Excel xlsx file； not supported
原因： xlrd更新到了2.0.1版本，只支持.xls文件，不支持.xlsx。解决方法： 降级安装xlrdconda uninstall xlrd --forceconda install xlrd==1.2.0若仍未解决，则重启软件。
2021-10-16 08:16:03
183
转载 在“土壤湿度”这个小世界里，居然藏着这么多……
土壤湿度顾名思义就是土壤的含水量根据下图2月27日9时智能网格预报实况分析场显示我国不同地区的土壤湿度大不相同2月27日9时土壤湿度（0~5cm）在野外当你进行剖面观察时可以区分土层的湿润程度一般以干、稍润、润、潮、湿衡量用手可以试出但存在较大的主观性那更为科学的测量方法是什么呢？小据带你去瞅瞅测量方法重量法取土样烘干称量其干土重和含水重加以计算电阻法使用电阻式土壤湿度测定仪测定根据土壤溶液的电导性与土壤水分含量的关系测定土壤湿度遥感法通过对低空或卫星红外
2021-10-13 10:23:54
138
转载 什么是气象格点数据？格点数据的原始数据又是怎样获取的？
格点数据就是相对站点数据来说有规律的空间排布的数据，一般来说是经度-纬度-高度（或气压）-时间的格点，也有其他的格点设计方式。雷达和卫星的数据一般可以认为本来就是准格点形式的，但也需要做一些插值或者区域平均的办法得到格点化的数据产品。其他的格点产品，比如全球降水、再分析资料场，基本上都是站点数据插值或者融合数值模式和观测资料的同化产品。现在通用的数据格式有NETCDF格式和GRIB格式随着大数据时代的到来和发展，我国的气象事业也蒸蒸日上。2018年世界气象日的主题是“智慧气象”，而“智慧气象”就是应用.
2021-10-13 10:16:52
5169
原创 python纠错之旅（2）——KeyError: ‘val_acc‘
问题：check = ModelCheckpoint("./tmp/ckpt/singlenn_{epoch:02d}-{val_acc:.2f}.hdf5", monitor='val_acc', save_best_only=True, save_weights_only=True, mode='auto', period=1)运行这部分代码时，出现
2021-10-06 17:44:33
214
原创 python纠错之旅（1）——无法保存、加载h5文件
问题：保存为h5文件的神经网络模型加载 失败。原因：版本不匹配。解决方案：对h5py降级。conda uninstall h5py --force1：卸载原来的h5pyconda install h5py=2.10.0：安装更低版本的h5py利用--force，则只卸载h5py，不卸载它的依赖项。 ↩︎...
2021-10-06 17:39:23
873
原创 凸优化学习笔记（1）——仿射集、凸集、凸锥
文章目录仿射集前言定义广义定义如何从k=2推广到k=3性质仿射集的相关子空间性质仿射包定义仿射集前言x1,x2∈Rn,θ∈R\mathrm{x}_1,\mathrm{x}_2\in R^n,\quad\theta\in Rx1,x2∈Rn,θ∈R则过点x1,x2\mathrm{x}_1,\mathrm{x}_2x1,x2的直线可表示为 y=θx1+(1−θ)x2=x2+θ(x1−x2)\mathrm{y}=\theta \mathrm{x}_1+(1-\theta)\mathrm{x}_2=
2021-09-29 15:56:28
750
转载 【Python】创建和使用类
创建Dog类class Dog(): '''一次模拟小狗的简单测试''' def __init__(self,name,age): self.name = name self.age = age def sit(self): '''模拟小狗被命令下蹲''' print(self.name.title() + "is now sitting.") def roll_over(self): '
2021-09-27 17:05:33
199
原创 优化算法简介
文章目录牛顿法坐标下降法拉格朗日 乘数法凸集典型的凸集凸函数一阶判别法二阶判别法else凸优化的一般表拉格朗日对偶对偶问题KKT条件牛顿法xk+1=xk−αHk−1gk\mathrm{x}_{k+1}=\mathrm{x}_k-\alpha H^{-1}_kg_kxk+1=xk−αHk−1gk问：如何计算H?利用Ax=bA\mathrm{x}=\mathrm{b}Ax=b计算。问：α\alphaα如何得到？用line search直接搜索，比较α=10−3、10−4、10−5、..
2021-09-25 20:32:20
138
转载 KKT条件
文章目录1： 等式约束优化问题2： 不等式约束优化问题3： 一个例子1： 等式约束优化问题给定一个目标函数 f:Rn→Rf:\Reals^n\rightarrow\Realsf:Rn→R，我们希望找到 $\textrm{x}\in\Reals^n，在满足约束条件 g(x)=0g(\textrm{x})=0g(x)=0 的前提下，使得f(x)f(\textrm{x})f(x)有最小值。这个约束优化问题记为minf(x)s.t.g(x)=0\begin{aligned}\min\quad &.
2021-09-25 20:08:40
714
转载 tf.matmul() 和tf.multiply() 的区别
1.tf.multiply（）两个矩阵中对应元素各自相乘格式: tf.multiply(x, y, name=None)参数:x: 一个类型为:half, float32, float64, uint8, int8, uint16, int16, int32, int64, complex64, complex128的张量。y: 一个类型跟张量x相同的张量。返回值： x * y element-wise.注意：（1）multiply这个函数实现的是元素级别的相乘，也就是两个相乘的数元素各自相乘
2021-09-16 08:24:31
714
转载 cartopy入门
概念引入Axes/Subplot概念：Axes/Subplot的异同：共同点：两者都相当于画布figure上的画纸ax，概念上是相同的。不同点：两者在创建画纸ax上略有不同。Axes创建方式：plt.axes(rect,projection=None,polar=False,**kwargs)Parameters:rect : None or 列表 = [left, bottom, width, height]，取值范围为0到1projection : 投影类型分别使用subplot
2021-09-08 21:19:24
1261
转载 spyder如何切换python虚拟环境？
在anaconda下创建了很多个python虚拟环境，现在我想使用 spyder 运行python程序，并且使用其中某一个虚拟环境，方法如下：首先要知道 Anaconda自带的spyder使用的是base环境，现在我想使用自己创建的 pytorch 虚拟环境。1）打开 Anaconda prompt ，切换至想要使用的虚拟环境，输入命令：activate pytorch2）在此虚拟环境下安装 spyder，输入命令：conda install spyder经过一段时间的安装，就会发现
2021-09-04 16:11:23
5547
转载 浅析html+css+javascript之间的关系与作用
三者间的关系一个基本的网站包含很多个网页，一个网页由html, css和javascript组成。html是主体，装载各种dom元素；css用来装饰dom元素；javascript控制dom元素。用一扇门比喻三者间的关系是：html是门的门板，css是门上的油漆或花纹，javascript是门的开关。html介绍html是用来描述网页的一种语言，它不是一种编程语言，而是一种标记语言（标记标签），总的来说，html使用标记标签来描述网页，本文就用标签来代替标记标签进行说明。标签是指<html
2021-09-04 13:10:33
340
转载 矩阵的范数
矩阵的核范数∥A∥∗\lVert A\rVert_*∥A∥∗：矩阵的奇异值之和。∥A∥∗\lVert A\rVert_*∥A∥∗可以用来表示低秩（因为最小化核范数，相当于最小化矩阵的秩——低秩。JZhfs=sum(svd(A));矩阵的F范数\L2范数∥A∥F\lVert A\rVert_F∥A∥F：矩阵的各个元素平方之和再开平方根。优点：∥A∥F\lVert A\rVert_F∥A∥F是一个凸函数，可以求导求解，易于计算。JZFfs=norm(A,'fro');...
2021-09-03 20:01:48
6689
转载 L1正则化优化问题的一种求解方法
所谓的L1正则化优化问题，就是如下带L1L_1L1正则化的最小化问题：因为L1L_1L1正则项的不可微性，使得利用梯度相关方法直接求解上面的优化问题有困难。下面介绍的方法，是把这个L1L_1L1优化问题，变换为多个L2L_2L2正则化优化问题逐步迭代求解。把不等式∣ab∣≤12(a2+b2)|ab| \leq \frac12 \left( a^2 + b^2 \right)∣ab∣≤21(a2+b2)应用到θ\thetaθ向量中的每个元素：就有：其中C≜diag(c)\mathbf{C}\
2021-09-03 17:06:07
1515
转载 EXCEL散点图怎么做
方法/步骤1:打开Excel表格，选中需要制作散点图的数据单元格，点击“插入”菜单下的“推荐的图表”。方法/步骤2:点击“所有图表”，选中“XY散点图”，然后界面右侧会显示很多的散点图，选择一个自己喜欢的，点击确定。本例选择第一个。方法/步骤3:看，散点图就显示出来啦。接下来的步骤就是要使这个散点图显示的数据更丰富一些，看起来更美观一些。方法/步骤4:点击“图表标题”，输入标题名称。方法/步骤5:在图表空白处单击选中图表，然后点击右上角的“+”号，勾选“数据标签”，这样每个散点图数
2021-09-01 10:27:19
17076
1
转载 最新MATLAB R2020b超详细安装教程（附完整安装文件）
摘要：本文详细介绍 Matlab R2020b 的安装步骤，为方便安装这里提供了完整安装文件的百度网盘下载链接供大家使用。从文件下载到证书安装本文都给出了每个步骤的截图，按照图示进行即可轻松完成安装使用。本文目录如首页：目录前言1. 下载安装包（1）下载链接（2）解压文件2. 正式安装步骤3. 复制替换文件4. 创建快捷方式结束语点击跳转至博文涉及的全部文件下载页前言 MATLAB（矩阵实验室）是MATrix LABoratory的缩写，是一款由美国The MathW..
2021-08-31 16:20:40
197494
249
原创 matlab 7.0 完整版 iso安装好后能不能删除原件（删除后对使用matlab有没有影响）
完全可以删除，那是因为你用虚拟光驱加载了matlab的iso文件，iso文件正在使用中就是指的虚拟光驱正在使用，所以没办法删除，打开我的电脑，在虚拟光驱的那个盘符上右键，选择弹出，然后就可以删除了，如果还不能删除，重启，肯定能删除...
2021-08-31 08:48:07
10458
3
转载 Cartopy 中的地图投影
经典地图制图中使用的投影面有圆柱面、圆锥面或平面等。根据所用投影面，地图投影相对应地可分为圆柱投影、圆锥投影和方位投影。后来又发展出了很多现代地图投影，如伪圆柱、多圆锥等投影办法。在制图时选择合适的地图投影是一件重要的工作。 本文将对 Cartopy 中支持的地图投影进行逐一进行简要介绍，这些投影都是 cartopy.crs 中的类。若要绘制某一类投影的地图，只需将其实例化之后传入 plt.axes() 方法的 projection 参数即可。本文不涉及投影的原理，旨在展示每种地图投影的效果和用.
2021-08-26 16:21:34
3879
转载 网络管理常用命令之Pathping 命令使用详解(图文)
Pathping是一个基于TCP/IP的路由跟踪工具，该命令结合了 ping 和 tracert 命令的功能，返回两部分内容，反映出数据包从源主机到目标主机所经过的路径、网络延时以及丢包率，能够有效地帮助我们解决网络问题.pathping命令 Pathping是一个基于TCP/IP的路由跟踪工具，该命令结合了 ping 和 tracert 命令的功能，返回两部分内容，第一部分显示到达目的地经过了哪些路由，第二部分显示了路径中每个路由器上数据包丢失方面的信息。反映出数据包从源主机到目标主机所经过的路.
2021-08-04 15:05:16
11071
原创 优化算法的简介
文章目录定义一般优化问题的模型优化 = 数学规划定义定义： 从一个可行解的集合中，寻找出最优的元素。优化三要素：可行解的集合存在最优的元素寻找最优解的方法一般优化问题的模型minf0(x)s.t.fi(x)≤bi, i=1,...,M\min f_0(\mathrm{x})\\s.t.\quad f_i(\mathrm{x})\le b_i,\;i=1,...,Mminf0(x)s.t.fi(x)≤bi,i=1,...,M参数说明：x=[x1,...,xn]T\ma
2021-08-03 08:42:30
281
原创 主机名解析机制分析
案例： 用户在浏览器输入了www.baidu.com浏览器先检查浏览器缓存中有没有该域名解析IP地址，如果有，就直接返回这个IP完成解析；如果没有，就转2；在cmd窗口 中输入 ipconfig /displaydns，查看DNS域名解析缓存，如果没有，就转3；注：1）一般来说，当电脑第一次成功访问某一网站后，在一定时间内，浏览器或操作系统会缓存它的IP地址（DNS解析记录）2）ipconfig /flushdns：手动清理DNS缓存3）浏览器缓存和DNS解析器缓存，可以理解为 本地解析器缓存
2021-08-02 14:14:06
606
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人