- 博客(30)
- 收藏
- 关注
RSS订阅原创 tensorflow计算flops
with tf.Session() as sess:run_meta = tf.RunMetadata()opts = tf.profiler.ProfileOptionBuilder.float_operation()flops = tf.profiler.profile(graph=sess.graph,run_meta=run_meta,cmd=‘op’,options=opts)print(‘Sum\t\t\t\t\t\t’,flops.total_float_ops/1e9,‘Gfloat
2021-12-31 19:23:59
1894
原创 mat转换png
import scipy.io as sciofrom PIL import Imageimport numpy as npimport matplotlib.pyplot as pltimport osimport h5pyfile_dir = 'F:\\zxy\\MPRNet-main\\Denoising\\Datasets\\SIDD\\train\\SIDD_Medium_Raw\\Data\\'file_list = os.listdir(file_dir)data_list =
2021-08-07 12:34:12
1001
原创 xml数据转换成txt格式
import xml.etree.ElementTree as ETimport pickleimport osfrom os import listdir, getcwdfrom os.path import joinimport randomfrom shutil import copyfile# 根据自己的数据标签修改classes=["person"]def clear_hidden_files(path): dir_list = os.listdir(path)...
2021-07-30 10:44:30
845
原创 图片融合掩膜
import cv2import osimg2="006.png"img2 = cv2.imread(img2)file_path ="D:/pythonProject/AITensorBeijingUni/ClassWu/img/"file_list = os.listdir(file_path)name_list=[]for i in file_list: name_list.append(file_path+i)i=1641for img1 in name_list: .
2021-03-03 16:45:30
371
1
原创 rename python 重命名
import numpy as npimport globimport osimport xml.etree.ElementTree as ETimport xml.dom.minidom'''第一步，将xml文件和图片重新命名'''# 获取文件夹中bmp图片的数量def getDirImageNum(path): bmpDirImagesNum = 0 for bmpfile in os.listdir(path): if os.path.split...
2021-03-03 16:37:46
314
1
原创 人工智能基础1
问题求解能用搜索技术解决的问题--搜索问题搜索问题：已知问题的初始状态 和 目标状态 ，求 一个操作序列 使得问题从初始状态转移到目标状态。最优搜索问题： 找到合适的操作序列并且代价最低搜索问题的四个要素：初始状态 后继函数（某种操作） 目标测试（看看给定的状态是不是目标状态） 路径代价函数问题表示表示搜索问题的两种方法：1.状态空间表示法 2. 与/或书表示法状态空间表示法状态和算符 状态：问题求解过程中的不同的状态 S 算符：...
2020-09-26 15:57:10
411
2
原创 pytporch(3) 保存和提取 &&批处理
net = torch.nn.Sequential( torch.nn.Linear(2, 10), torch.nn.ReLu(), torch.nn.Linear(10, 2))plt.ion()plt.show()optimizers = torch.optim.SGD(net.parameters(), lr=0.02)loss_func = torch.nn.CrossEntropyLoss()#计算的是概率for t in range(...
2020-09-16 08:57:39
185
原创 pytorch(2) 0/1简单分类
import torchfrom torch.autograd import Variableimport matplotlib.pyplot as pltn_data = torch.ones(100, 2)# print("n_data is %s" % n_data)x0 = torch.normal(2*n_data, 1)y0 = torch.zeros(100)x1 = torch.normal(-2*n_data,1)y1 = torch.ones(100)x = t.
2020-09-15 20:38:22
496
原创 pytorch（1） 预测曲线
import torchfrom torch.autograd import Variableimport matplotlib.pyplot as pltx = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)y = x.pow(2)+0.2*torch.rand(x.size())x, y = Variable(x), Variable(y)class Net(torch.nn.Module): def __init__(s.
2020-09-15 17:09:22
369
1
转载 交叉熵
https://blog.csdn.net/tsyccnh/article/details/79163834一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉关于交叉熵在loss函数中使用的理解交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵，发现自己对交叉熵的理解有些模糊，不够深入。遂花了几天的时间从头.
2020-08-02 16:59:31
238
转载 random.seed() numpy.random.seed() tf.set_random_seed()作用范围、区别
最近在做图片的深度学习时，在程序中遇到了random.seed()、numpy.random.seed()、tf.set_random_seed()三种随机种子。在深度学习中，先确定好随机种子，以后每次随机的结果相同。在每次执行代码时，使每次切分后的训练集、验证集输入结果相同，便于验证学习参数的有效性和查找问题。但是他们有什么异同？带着这些一连串的疑问，开始了实验。以上三种随机种子分属于不同的Python模组，看似“长的”差不多、“效果”也差不多。关于他们三的用途，很多博主分开讲的很清楚，但是把他们
2020-07-22 22:33:59
2474
3
原创 one-hot 独热编码
为什么要对数据进行独热编码？对数据进行独热编码是因为大部分算法是基于向量空间中的度量来进行计算的，为了使非偏序关系的变量取值不具有偏序性，并且到原点是等距的。将离散型特征使用one-hot编码，确实会让特征之间的距离计算更加合理。比如，有一个离散型特征，代表工作类型，该离散型特征，共有三个取值。不使用one-hot编码，其表示分别是x_1 = (1), x_2 = (2), x_3 = (3)。两个工作之间的距离是，(x_1, x_2) = 1, d(x_2, x_3) = 1, d(x_1
2020-07-22 10:21:28
152
原创 Day8-1 案例信用卡的欺诈检测
使用pandasmatplotlib numpy进行数据分析和建模import pandas as pdimport matplotlib.pyplot as pltimport numpy as npimport ospath='E:\唐宇迪数据集'+os.sep+'creditcard.csv'data=pd.read_csv(path)print(data.head())上面v1--v28是已经提取好的特征time代表交易时间0属于正常 1属于异常 二分类 ...
2020-07-10 11:48:12
309
转载 逻辑回归损失函数为什么使用最大似然估计而不用最小二乘法
最小二乘法的误差符合正态分布，而逻辑回归的误差符合的是二项分布，所以不能用最小二乘法来作为损失函数，那么能够用最大似然预计来做。从求最优解的角度来解释：如果用最小二乘法，目标函数就是,是非凸的，不容易求解，会得到局部最优。如果用最大似然估计，目标函数就是对数似然函数：,是关于的高阶连续可导凸函数，可以方便通过一些凸优化算法求解，比如梯度下降法、牛顿法等。最小二乘作为损失函数的函数曲线：图1 最小二乘作为逻辑回归模型的损失函数，theta为待优化参数以及最大似然作为损...
2020-06-30 10:35:27
413
原创 Day07-1 实现逻辑回归
建立一个逻辑回归模型预测一个大学生是否会被大学录取假设你是一个大学系的管理员，你想根据两次的考试结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，可以作为逻辑回归的训练集。对于每一个培训例子，你有两个考试的申请人的分数和录取决定。为了做到这一点，我们将建立一个分类模型，根据考试成绩估计入学概率import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport ospath='E:\唐宇迪数据集'
2020-06-29 12:10:11
168
原创 Day06-1 逻辑回归 Logistic regression
虽然叫做回归但是不是进行预测值 而是进行二分类逻辑回归的决策边界：可以是非线性的i表示是第几个样本j表示第几个特征
2020-06-28 17:23:18
100
原创 Day05-1 线性回归
线性回归回归：通过一些特征最后预测出来值分类是最后的出类别值 借/不借θ1与θ2是权重对预测值影响较大θ0偏置项影响小高斯分布（正态分布）均值为0 大部分数值在-1和1之间似然函数：根据样本进行估计...
2020-06-26 11:35:10
138
原创 笔记Day03-1 图的绘制 matplotlib
折线图import pandas as pdimport matplotlib.pyplot as pltunrate=pd.read_csv("E:/唐宇迪数据集/unrate.csv")unrate['DATE']=pd.to_datetime(unrate['DATE'])first_twelve=unrate[0:12]plt.plot(first_twelve['DATE'],first_twelve['VALUE'])plt.show()import pandas
2020-06-18 20:44:43
150
原创 笔记Day02-1 Pandas
import pandas as pdfood_info=pd.read_csv("C:/Users/de/Desktop/唐宇迪数据集/food_info.csv")print(type(food_info))#之前学习的numpy的类型是ndarrayprint(food_info.dtypes)#pandas中常见的类型int float Object(在pandas中称字符型为object ) datatime bool print(help(pd.read_csv))print.
2020-06-08 20:45:06
198
原创 笔记Day01-2 Numpy
科学计算库Numpy通常把数据做成矩阵来进行计算可以提高效率Numpy便是可以进行矩阵运算的库import numpy as npworld_alcohol=np.genfromtxt("C:/Users/de/Desktop/唐宇迪数据集/world_alcohol.txt",delimiter=",",dtype=str)print(type(world_alcohol))print(world_alcohol)print(help(np.genfromtxt))ve..
2020-06-06 12:43:55
376
原创 笔记Day01-1 机器学习简介
机器学习流程特征选择就是把输入的数据转换成计算机能够识别的语言学习过程中也不能忽略推导过程，可以在Github、Kaggle上寻找资源机器学习能做什么1.数据挖掘 根据数据进行预测判断，比如根据用户数据判断哪些是容易流失的客户，从而采取挽留方案2.模式识别3.统计学习4.计算机视觉5.语音识别6.自然语言处理比如：翻译...
2020-06-06 10:24:06
154
原创 归一化输入
第一步：subtract out or zero out the mean零均值化第二步：normalize the variance归一化方差即等同于以下：为什么要归一化呢之所以要对输入进行标准化操作，主要是为了让所有输入归一化同样的尺度上，方便进行梯度下降算法时能够更快更准确地找到全局最优解。假如输入特征是二维的，且x1的范围是[1,1000]，x2的范围是[0,1]。如果不进行归一化，x1与x2之间分布极不平衡，训练得到的w1和w2也会在数量级上差别很大。...
2020-06-02 10:58:50
1636
1
原创 Dropout正则化
设定保留神经元比例概率keep_prob=0.8，即该层有20%的神经元停止工作。dldl为dropout向量，设置dldl为随机vector，其中80%的元素为1，20%的元素为0。在python中可以使用如下语句生成dropout vector：dl = np.random.rand(al.shape[0],al.shape[1])<keep_prob1然后，第ll层经过dropout，随机删减20%的神经元，只保留80%的神经元，其输出为：al = np.multiply(al,dl
2020-05-26 18:44:44
708
原创 正则化Regulation
如果出现了过拟合，即high variance，则需要采用正则化regularization来解决。虽然扩大训练样本数量也是减小high variance的一种方法，但是通常获得更多训练样本的成本太高，比较困难。所以，更可行有效的办法就是使用regularization。我们先来回顾一下之前介绍的Logistic regression。采用L2 regularization，其表达式为：即在原来的损失函数的基础上添加参数λ （正则化参数）除以2m 乘w平方的参数||w|| w欧几...
2020-05-26 16:33:13
457
原创 偏差bias 和方差 virance
偏差：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据。方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。在深度学习中，我们可以同时减小Bias和Variance，构建最佳神经网络模型。如图所示，high bias对应着欠拟合，而high variance对应着过拟合。过拟合即在训练集上表现良好，但在验证集上表现不佳。数据分布离散程度较大，即方差大。欠拟合即使在训练集和验证集表现都不佳，.
2020-05-26 15:16:43
973
2
原创 BroadCasting in Python(广播）
计算出每一列的和然后用对应的数值相除得出占卡路里的百分比A是3*4的矩阵cal.reshape(1,4)为1*4的矩阵这里相除便用到了广播使用reshape来严谨规定矩阵的形状并且不会带来很大的开支之前逻辑回归中的Z=np.dot(w.T,X)+b中的b也是广播的一种应用...
2020-05-22 16:40:48
154
原创 云服务器
链接：https://developer.aliyun.com/edu/course/70/learn#lesson/3388什么是云服务器云服务器（Elastic Compute Service）ESC是一种简单高效、处理能力可弹性伸缩的计算服务，帮助用户更快构建更稳定安全的应用，提升效率，降低IT成本，让用户专注创新，不需要担心硬件等问题实现原理把传统的物理主机虚拟化到云端最重要特点：弹性伸缩CPU、内存都可以通过ESC进行纵向扩展在云服务器上搭建个.
2020-05-21 15:47:52
183
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人