- 博客(50)
- 收藏
- 关注
RSS订阅原创 pytorch，多个Dataloader同时训练
如果两个dataloader的长度不一样，那就加个：from itertools import cycle仅使用zip，迭代器将在长度等于最小数据集的长度时耗尽。 但是，使用cycle时，我们将再次重复最小的数据集，除非迭代器查看最大数据集中的所有样本。...
2020-03-18 00:51:28
11400
9
原创 torch.load()出现'ModuleNotFoundError: No module named 'models''
参考了这篇博文：https://blog.csdn.net/j___t/article/details/99618915意思就是，你要torch.load()的那个.py文件，必须和torch.save()的那个.py文件在同一个目录下才可以。...
2020-01-17 12:13:52
8788
2
原创 jupyter notebook中无法使用cv2.imshow()
不知什么原因，在jupyter中使用cv2.imshow()时会报错，然后可以用以下代码来代替：matplotlib.pyplot.imshow() 可以正常显示！
2020-01-14 22:45:53
3259
原创 服务器下载那些Python包太慢的解决方法
pip install tensorflow -i https://pypi.douban.com/simple想下载什么包只需要修改tensorflow那个地方的值，比如我要下载numpy的话就是：pip install numpy -i https://pypi.douban.com/simple速度提升很多...
2020-01-10 22:12:47
1218
原创 使用Python向DataFrame中指定位置添加一列或多列的方法
使用reindex()方法，reindex()方法可以添加一列或多列数据，并且可以指定列的位置，也可以对原先存在的列进行重排。方法中的columns属性控制着列的位置，c是添加的一列，其位于a和b前面，这说明c列是新数据框的第一列，fill_value属性指定的是添加一列的值，其结果如下：import pandas as pd feature = pd.read_csv("C://User...
2019-12-23 21:30:12
2365
原创 python用datatime计算两个时间点相差的秒数
import datetimed1 = datetime.datetime(2018,10,22,23,34,24)d2 = datetime.datetime(2018,10,22,23,48,18)d = d2 - d1print('相差的秒数：{}'.format(d.seconds))
2019-12-23 18:34:58
4928
原创 matplotlib.pyplot画图时，自定义横坐标刻度
plt.xticks([0,200,400,600,800,1000,1200,1400,1600,1800,2000,2200,2400,2600,2800,3000,3200,3400,3600,3800, 4000,4200,4400,4600,4800,5000,5200,5400,5600,5800,6000], [0,1,2,...
2019-12-22 10:42:48
12303
原创 解决Colaboratory中的FileNotFoundError
找了好久终于找到答案，在前面加上下面两行即可：from google.colab import drivedrive.mount('/content/drive')
2019-12-12 18:17:47
2454
1
原创 keras画损失函数变化图
keras主要通过与tensorboard结合使用来动态显示损失函数的变化，在我们模型训练的同时，就可以实时看到曲线的变化。参考下面这篇文章，经查，log_dir的值好像都是固定为’./tmp/log’https://www.cnblogs.com/flyu6/p/7691100.html但是我们还需要做平滑处理，使之好看些。这就要参考下面的博客：https://blog.csdn.net...
2019-11-22 16:36:55
4088
原创 matplotlib：动态绘图，清除之前的绘图
当我们想在同一个画板上持续不断地绘制新图时，需要删除前面所画的图，其实很简单，如下，只需添加一句话即可：plt.cla()
2019-09-17 20:43:57
35974
2
原创 keras中sample_weight的使用
百度了好久，没有找到与sample_weight相关的博客，于是自己摸索一下。sample_weight是keras中的fit的参数，中文文档介绍如下：简单点的解释如下：参考https://blog.csdn.net/weixin_40755306/article/details/82290033#commentBoxsample_weight的作用就是为数据集中的数据分配不同的权重。...
2019-08-11 20:41:05
13379
11
原创 Dataframe修改某个值
查了网上很多博客，发现都是用等号简单赋值，但这样是不行的，无意间发现了pandas.DataFrame.replace()这个函数，使用这个函数才能真正修改某个值，使用方法如下：df.replace(a , b , inplace = True)其中，a是原始值，b是修改后的值，注意一定要加 inplace = True才能替换成功。...
2019-07-22 17:38:36
20656
4
原创 tensorflow计算模型的accuracy，precision，sensitivity，specificity
我们在写论文的时候，会经常看到几个模型判断指标，那这几个指标是如何计算的呢，下面将进行讲解：幸好TensorFlow有tf.metrics这个内置函数，让我们计算起来方便很多。计算accuracy：tf.metrics.accuracy。 有个博文不错，里面例子不错：https://blog.csdn.net/lyb3b3b/article/details/83047148计算pr...
2019-07-19 16:39:42
7064
原创 TensorFlow使用保存好的模型进行测试
推荐看下面这篇博文，代码没问题：https://blog.csdn.net/thriving_fcl/article/details/71423039#commentBox由于TensorFlow相比keras较为复杂，所以附带一点自己的理解：测试的时候不需要进行变量初始化测试的时候没有反向传播的过程tf.train.import_meta_graph()是导入训练时保存好的图在训...
2019-07-14 18:03:29
735
转载 tensorflow计算模型分类准确率
参考以下博文：https://blog.csdn.net/lyb3b3b/article/details/83047148
2019-07-08 22:03:22
2716
原创 tensorflow使用tf.data.Dataset 处理大型数据集
最近深度学习用到的数据集比较大，如果一次性将数据集读入内存，那服务器是顶不住的，所以需要分批进行读取，这里就用到了tf.data.Dataset构建数据集，先看一个博文，入入门：https://www.jianshu.com/p/f580f4fc2ba0概括一下，tf.data.Dataset主要有几个部分最重要：构建生成器函数使用tf.data.Dataset的from_genera...
2019-07-08 16:51:54
7797
转载 Tensorflow计算分类准确率
用TensorFlow训练分类模型，希望像keras那样输出分类准确率，那该如何实现呢，下面这篇博客讲得很详细：https://blog.csdn.net/sinat_35821976/article/details/81334181...
2019-07-04 09:21:55
5773
1
转载 TensorFlow和keras结合使用
喜欢keras风格的模型搭建而不喜欢tensorflow的方式。但是个人觉得tensorflow的对于loss function定义的灵活性，还是非常便捷的，所以秉承着将二者的优势放在一起的想法，研究了一下如何混合的过程。两篇入门博客，推荐一下：https://blog.csdn.net/u010159842/article/details/78894910https://blog.cs...
2019-07-02 21:33:29
1311
原创 keras损失函数运行机制总结
举例，下面这是损失函数的源码：def mean_squared_error(y_true, y_pred): return K.mean(math_ops.square(y_pred - y_true), axis=-1)keras中compile时：model.compile(loss=mean_squared_error)从以上可以看到，compile时并不需要给mean_squ...
2019-07-01 21:48:49
945
转载 keras:多输入多输出网络设置不同的损失函数
参考这篇文章：https://blog.csdn.net/weixin_40920290/article/details/80917353
2019-06-30 10:15:46
3917
转载 keras:自定义损失函数
很不错的文章：https://blog.csdn.net/qq_23269761/article/details/84134971
2019-06-29 16:01:28
526
原创 keras:tensor从全连接层输出到卷积层
一. tensor从卷积层输出到全连接层用过keras的都知道，想从卷积层输出tensor到全连接层，只需加一层：model.add(Flatten())shape就不会出现错误。二. 但是如果从全连接层输出tensor到卷积层呢，这两天都在弄这个，shape的问题要特别注意，我现在数据的形式是10000行，6000列的数据。要输入到全连接层中，经过两层全连接层，再输出到卷积层。代码如下...
2019-06-27 22:08:40
3227
5
原创 使用keras时出现:ValueError: Error when checking target: expected conv1d_15 to have 3 dimensions, but got
出现这个问题的原因是model.fit()的时候训练数据的shape和标签的shape不一致，要想解决这个问题，必须使两者的shape一致，才不会报错。
2019-06-25 22:17:03
6847
1
原创 深度学习:使用残差网络时出现ValueError: Operands could not be broadcast together with shapes (2985, 48) (2984, 48)
最近想使用残差网络去跑模型，看看能不能提升训练精度，但是在连接主路和辅路的时候x1=keras.layers.add([x1,x2])遇到错误：ValueError: Operands could not be broadcast together with shapes (2985, 48) (2984, 48)这个错误的意思就是主路输出的张量的shape和辅路输出的张量的shape...
2019-06-20 10:00:27
11888
转载 python:随机打乱DataFrame的行
参考下面这篇博客，写得很好：https://blog.csdn.net/qq_22238533/article/details/70917102
2019-06-14 16:57:27
7746
原创 python:获取csv文件指定的几行
先读取csv文件train1=pd.read_csv()使用iloc[]来读取指定行rows=train1.iloc[3:50]
2019-06-14 11:33:13
14323
1
原创 对于keras.layers.Conv1D的kernel_size参数的理解
今天在用keras添加卷积层的时候，发现了kernel_size这个参数不知怎么理解，keras中文文档是这样描述的：kernel_size: 一个整数，或者单个整数表示的元组或列表， 指明 1D 卷积窗口的长度。又经过多方查找，大体理解如下：因为是添加一维卷积层Conv1D()，一维卷积一般会处理时序数据，所以，卷积核的宽度为1，而kernel_size就是卷积核的长度了，这样的意思就是...
2019-06-11 12:25:19
24075
原创 【keras】深度学习多输入模型融合
最近想将多个模型训练不同特征，想看看是否能提高训练准确率，想要多模型融合，建议构建模型的方式用函数式 API的形式进行构建，即使用keras的Model() .我的数据集形式是这样的：一行代表一个样本，每个样本有4个特征，每个特征包含6000个数据，这样就是每行有24000个数据，其中0到5999是特征一的数据，6000到11999是特征二的数据，12000到17999是特征三的数据，18000...
2019-06-01 22:27:38
11929
20
原创 查看GPU使用情况
命令如下：nvidia-smi也可以指定多少秒自动刷新，比如下面是10秒自动刷新一次：watch -n 10 nvidia-smi
2019-05-25 12:04:40
4253
原创 使用layer.trainable = False「冻结」网络层
最近在构建深度学习网络时，发现了一段代码难以理解：for layer in base_model.layers: layer.trainable = False于是查了一下keras中文文档，得到一下解释：「冻结」一个层意味着将其排除在训练之外，即其权重将永远不会更新。这在微调模型或使用固定的词向量进行文本输入中很有用。您可以将 trainable 参数（布尔值）传递给一个层的构...
2019-05-20 18:08:59
11453
2
转载 DataFrame.fillna()填充失败的解决方法
转自https://www.jb51.net/article/150224.htmdf.fillna(0)print(df) # 可以看到未发生改变print(df.fillna(0)) # 如果直接打印是可以看到填充进去了print(df) # 但是再次打印就会发现没有了，还是Nan将其Nan全部填充为0，这时再打印的话会发现根本未填充，这是因为没有加上参数inplace参数。一定...
2019-05-12 22:54:25
6812
2
原创 TypeError: unhashable type: 'slice'解决方法
今天在跑代码时，下面这行代码报了一个错误：X_train_r[:,: ,0]=X_train[:,0:6000] TypeError: unhashable type: 'slice什么意思也不是很明白，但是解决方法如下： X_train_r[:,: ,0]=X_train.values[:,0:6000] ...
2019-05-11 10:34:00
62119
7
原创 python使用matplotlib时，去掉x轴和y轴的刻度值
1.去掉x轴刻度值：plt.xticks([])2.去掉y轴刻度值：plt.yticks([])
2019-04-24 17:15:47
23302
2
原创 python多进程：apply_async
apply_async的使用要注意的两点：apply_async(函数 , (参数 , )) ，这里参数的后面必须要有一个逗号，才能调用子进程如果要调用的参数有两个参数，那就apply_async(函数 , (参数1 , 参数2 , )) ，有一点要注意，每个参数在被调函数中必须要有使用到，不然也不会正常运行子线程。...
2019-04-14 18:03:58
3836
原创 python: 删除csv文件中的某几列
我们先用pandas库中的read_csv()函数读取出csv文件中的内容:df=pd.read_csv('1.csv', header=None)假设我们要删除的列的名称是’two’ , ‘three’ :df=df.drop(['two','three'],axis=1)即可删除那两列...
2019-04-10 11:34:39
27340
1
原创 python3: 文件中有中文，显示时乱码的解决方法
在python3中，如果文件中有中文，我们尝试使用open()读取文件时，会出现乱码的现象，解决方法如下：在open()函数中添加一个参数： encoding=“gbk” file=open('1.txt' , 'r' , encoding="gbk")即可解决问题...
2019-04-10 11:04:06
4355
1
原创 python:给文件夹改名
一些文件夹因为命名问题，会在读取里面的文件时出现问题，比如文件夹的名字中出现多余的空格。这里就以多余的空格为例进行讲解。我想以空格作为分隔符，取空格前面的部分作为新的文件夹名字：import osdirs=os.listdir('./') #读取当前目录下的所有文件夹for dir in dirs: #遍历所有文件夹 if ' ' in dir: #若文件夹名中存在空格...
2019-04-09 17:01:19
1778
转载 ValueError: cannot convert float NaN to integer
请参考：https://blog.csdn.net/frankiehello/article/details/79459645完美解决问题
2019-04-06 01:36:40
55242
原创 爬虫：爬取百度图片
详细过程参考下面的网址，真的很不错的文章：https://blog.csdn.net/mingzhiqing/article/details/82778954下面附上上面博客的代码的详细注释，我有每一步去详细注释，很容易理解：#爬取图片就3步，1.获取图片的大图网页， 2.以二进制方式存储， 3.file.write(大图网页.content)from urllib.parse impor...
2019-03-31 17:49:26
464
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人