- 博客(51)
- 收藏
- 关注
RSS订阅原创 联邦学习介绍
联邦学习背景联邦学习概述联邦学习发展简介未来趋势参考文献背景当今是大数据（Big Data）时代，而大数据正是人工智能（Artificial Intelligence，AI）应用蓬勃发展的“燃料”。事实却是，我们面对的数据常常既是小规模，又是碎片化的。同时数据源之间存在着难以打破的堡垒，一般情况下人工智能的所需要的数据会涉及多个领域，例如在基于人工智能的产品推荐服务中，产品销售方拥有产品的数据、用户购买商品的数据，但是没有用户购买能力和支付习惯的数据。在大多数行业中，数据是以孤岛的形式存在的，由于行业竞
2021-06-09 10:15:38
1307
原创 PyCharm如何连接MySQL数据库
PyCharm是一款常用的Python开发的软件，这里给大家介绍一下如何在PyCharm如何连接MySQL数据库。首先，我们需要找到页面中的DataBase窗口，一般在页面的右侧，没有显示的话，可以点击View-> Tool Windows->DataBase。然后显示DataBase之后，我们点击DataBase。然后我们点击DataBase的这个 + 号。然后选择Data Source -> MySQL。然后就显示到连接的页面，如果是第一次连接的时候，就需要点击下面的D
2020-08-12 11:22:31
5636
7
原创 Navicat连接MySQL出现2059错误
网上查询过后，发现这个错误出现的原因是在mysql8之前的版本中加密规则为mysql_native_password，而在mysql8以后的加密规则为caching_sha2_password。解决此问题有两种方法，一种是更新navicat驱动来解决此问题，一种是将mysql用户登录的加密规则修改为mysql_native_password。；根据网上大部分建议采取了第二种方式：1.用管理员权限打开cmd，输入mysql -u root -p进入输入密码后进入mysql数据库；mysql -u ro.
2020-08-12 11:17:48
246
原创 HTML常用标签
常用标签标题标签段落标签换行标签示例标题标签段落标签换行标签示例<body> <h1>一级标题</h1> <h2>二级标题</h2> <h3>三级标题</h3> <h4>四级标题</h4> <h5>五级标题</h5> <h6>六级标题</h6> <!-- 段落标签：<p&
2020-07-20 16:50:23
174
原创 HTML基本语法和标签解读
HTML语法规范基本语法概述标签关系基本结构标签第一个HTML网页第一个页面实践基本结构标签总结基本语法概述标签关系基本结构标签第一个HTML网页其中：第一个页面实践<html> <head> <title>第一个页面</title> </head> <body> 不负韶华！ </body></html>运行结果：基本结
2020-07-20 15:52:01
194
原创 网页相关概念
网站指在因特网上根据一定的规则，使用Html等制作的用于展示特定内容相关的网页集合。网页网站的一“页”，通常是Html格式的文件，通过浏览器阅读。网页是构成网站的基本元素，通常是由图片、链接、文字、声音、视频等元素组成，通常我们看到的网页，常见以.htm 或 .html 后缀结尾的文件，因此将其俗称为HTML文件。Web标准的构成结构(Structure)、表现(Presentation)和行为(Behavior)三个方面。标准说明结构用于对网页元素进行整理和分类，主要指
2020-07-20 15:25:11
343
原创 windows：Python + Vscode 安装文档
安装步骤安装Python安装pip安装VS Code 编辑器安装Python①win7，win8，win10系统，建议下载python3.7.4版本：【直达链接】https://www.python.org/downloads/release/python-374/②win xp：建议下载 python 3.4.4版本【直达链接】https://www.python.org/downloads/release/python-344/Python安装包虽然版本不同，但安装过程其实都是差不多的。往
2020-07-16 15:27:45
992
原创 Jupyter Notebook 常用快捷键
命令模式下常用的快捷键Shift-Enter : 运行本单元，选中下个单元Ctrl-Enter : 运行本单元Alt-Enter : 运行本单元，在其下插入新单元Y : 单元转入代码状态M :单元转入markdown状态R : 单元转入raw状态1 : 设定 1 级标题2 : 设定 2 级标题3 : 设定 3 级标题4 : 设定 4 级标题5 : 设定 5 级标题6 : 设定 6 级标题A : 在上方插入新单元B : 在下方插入新单元X : 剪切选中的单元C : 复制选中的
2020-07-13 10:53:44
482
转载 Pytorch学习之损失函数
损失函数损失函数通过torch.nn包实现，1 基本用法criterion = LossCriterion() #构造函数有自己的参数loss = criterion(x, y) #调用标准时也有参数2 损失函数2-1 L1范数损失 L1Loss计算 output 和 target 之差的绝对值。torch.nn.L1Loss(reduction=‘mean’)参数：reduction-三个值，none: 不使用约简；mean:返回loss和的平均值； sum:返回loss的和。默认：m
2020-07-12 16:09:55
921
原创 送给爱人的诗
《有你在》独自走在昏黄路灯的街边夏的风冬的雪勾勒你的侧脸在目送你离开的第三天我就像过了一个世纪这么远时钟声敲打着寂静的深夜失去你的温热我彻夜无眠回想你说有你在什么都非阻碍短暂的离别为了日后永远我从不轻信虚无的承诺却只要你的一个眼神就心动我不是双鱼座 却沉溺你勾勒的美梦追寻你、拥抱你、不想去闪躲未来已来 怎么都躲不开有你在 我就有勇气去爱只要你还在，牵手不放开冰霜风雪于我不过烟火绚烂...
2020-07-10 20:11:22
93
原创 Gym画图
Gym画图首先导入gym和gym中的rendering模块import gymfrom gym.envs.classic_control import rendering定义一个环境类，该类继承gym.Env，同时添加元数据，改变渲染环境时的参数class Environment(gym.Env): # 如果你不想改参数，下面可以不用写 metadata = { 'render.modes': ['human', 'rgb_array'], 'vi
2020-07-08 20:26:02
1072
原创 VMware中的Ubuntu安装vmware tools工具使页面尺寸变大
安装步骤启动vmware workstation软件，运行ubuntu虚拟操作系统，登陆进入ubuntu桌面。选择“虚拟机”->“安装vmware tools”双击桌面的“vmware tools”,打开vmware tools安装介质。右键选择vmwaretools的gz压缩包，将该文件复制到temp文件夹，至于复制到什么文件夹。大家可以自行选择。右键点击该文件，选择“提取到此处”。打开解压后的vmwaretools文件夹，右键点击vmware-tools-distrib文件夹，选择“在
2020-07-06 16:34:52
307
原创 Pytorch实现标准RNN、LSTM和GRU
标准RNN先给出标准RNN的示意图，如下图所示：从图中可以看到在标准RNN的内部网络中，计算公式为：ht=tanh(wih∗xt+bih+whh∗ht−1+bhh)h_t=tanh(w_{ih}*x_t+b_{ih}+w_{hh}*h_{t-1}+b_{hh})ht=tanh(wih∗xt+bih+whh∗ht−1+bhh)在Pytorch中的调用也非常简单，只需nn.RNN()nn.RNN()nn.RNN()即可。下面介绍其中的参数。input_size表示输入xtx_txt的
2020-07-05 19:15:53
961
原创 循环神经网络：GRU
GRUGRU是由Cho在2014年提出的，全称是Gated Recurrent Unit。它与LSTM最大的不同在于GRU将遗忘门和输入门合成了一个“更新门”，同时网络不再额外给出记忆状态CtC_tCt，而是将输出结果hth_tht作为记忆状态不断向后循环传递，网络的输入和输出都变得特别简单。具体的计算过程如下图所示：在本质上，GRU和LSTM是相同的，将上一时刻t−1t-1t−1输出ht−1h_{t-1}ht−1和当前ttt时刻的输入xtx_txt结合起来计算各种衰减系数，略微不同的地方是，线性
2020-07-05 11:10:15
1646
原创 循环神经网络：LSTM
LSTMLSTMLSTMLSTM的网络结构是1997年由HochreiterHochreiterHochreiter和SchmidhuberSchmidhuberSchmidhuber提出的，全称是Long Short Term Memory Networks$的缩写，字面翻译就是长的短时记忆网络，其实解决的仍是短时记忆问题，只不过这种短时记忆比较长，能在一定程度上解决长时依赖的问题。这种网络结构也是链式循环的网络结构，但其内部有着更加复杂的结构，其抽象网络结构示意图如下所示：...
2020-07-05 10:23:23
439
原创 循环神经网络
循环神经网络循环神经网络的基本结构存在的问题循环神经网络的基本结构通俗讲，循环神经网络的结构就是将网络的输出保存在一个记忆单元中，这个记忆单元和下一次的输入一起进入神经网络中。使用一个简单的两层网络示范，如下图：图中，我们可以看到网络在输入的时候会联合记忆单元一起作为输入，其中，网络不仅输出结果，还会将结果保存到记忆单元中。上图就是一个最简单的循环神经网络在一次输入时的结构示意图。可以发现，输入序列的顺序改变，网络输出的结果也会随之改变，这是因为记忆单元的存在，使得两个序列在顺序改变之后记忆单元中的元素
2020-07-04 21:22:38
388
原创 强化学习中的迁移学习
强化学习中迁移学习描述强化学习中的迁移问题强化学习中迁移学习的分类强化学习中的迁移应用最新进展描述强化学习中的迁移问题强化学习是一种根据环境反馈进行学习的技术。其agentagentagent辨别自身所处的状态(statestatestate)，按照某种策略决定动作(actionactionaction)，并根据环境反馈的奖励来调整策略，直至达到最优。马尔科夫决策MDP(MarkovDecisionProcess)MDP(Markov Decision Process)MDP(MarkovDecisio
2020-07-03 21:11:37
2701
原创 迁移学习与传统机器学习
迁移学习的定义给定一个源域DsD_sDs和源学习任务TsT_sTs，一个目标域DtD_tDt和目标学习任务TtT_tTt，迁移学习致力于通过使用源域DsD_sDs和源任务TsT_sTs中的知识，帮助提升目标域DtD_tDt中的目标预测函数ft()f_t()ft()的学习，其中Ds≠DtD_s\neq D_tDs=Dt，或者Ts≠TtT_s\neq T_tTs=Tt。迁移学习类别划分根据迁移学习的定义，由源域和目标域与任务之间的不同情况，可将迁移学习分为以下三类：归纳
2020-07-03 15:22:04
1318
原创 迁移学习
迁移学习迁移学习概论预训练模型ImageNetImageNetImageNet与MNISTMNISTMNIST迁移学习概论举例说明迁移学习的概念。想象一下，你从一个完全陌生的领域学习一个主题。你会采取什么不同的方法来理解这个主题？可能会：网上搜寻资源阅读文章和博客参考书籍寻找视频教程，等等所有这些都会帮助你熟悉这个主题。在这种情况下，你是唯一一个付出所有时间来熟悉主题的人。但还有一种方法，它可能在短时间内产生更好的结果。你可以咨询对你想要学习的主题具有能力的领域/主题专家。这个人会把他/她
2020-07-03 10:35:27
301
原创 VMware非正常操作卸载后重新安装不上的方法
问题非正常操作卸载VMware后，导致再次安装VMware出现安装导向提前结束。解决方法首先将电脑上存留的VMware相关文件删除；下载360，继续强力卸载VMware找到计算机—属性—设备管理器—网络适配器、系统设备，将带VMware的全部删除运行任务管理器，结束所有带VMware的程序Win + R 打开运行，输入regedit进入注册表，将里面所有带VMware的文件全部删掉最后打开控制面板—程序—卸载程序，查看是否还有VMware，若有，删除，没有的话，可以安装新的VMware了。
2020-07-02 19:12:47
4350
原创 多智能体强化学习(一)
在多智能体系统中，每个智能体通过与环境进行交互获取奖励值来学习改善自己的策略，从而获得该环境下最优策略的过程。在单智能体强化学习中，智能体所在的环境是稳定不变的，但是在多智能体强化学习中，环境是复杂的、动态的，因此给学习过程带来很大的困难。多智能体强化学习面临的问题：维度爆炸：在单智能体强化学习中，需要存储状态值函数或动作—状态值函数。在多智能体强化学习中，状态空间变大，联结动作空间(联结动作是指每个智能体当前动作组合而成的多智能体系统当前时刻的动作，联结动作At=[a1,t,a2,t,...,an
2020-07-02 10:29:11
2706
原创 强化学习之探索与利用(二)
常用的探索方法衰减的ϵ\epsilonϵ-贪婪探索不确定行为优先探索乐观初始估计可信区间上限概率匹配基于信息价值的探索衰减的ϵ\epsilonϵ-贪婪探索衰减的ϵ\epsilonϵ-贪婪探索是在ϵ\epsilonϵ-贪婪探索上的改进，其核心思想是随着时间的推移，采用随机行为的概率ϵ\epsilonϵ越来越小。理论上随时间改变的ϵ\epsilonϵ-ttt由下式确定：其中ddd是次优行为与最优行为价值之间的相对差距。衰减的ϵ\epsilonϵ-贪婪探索能够使得总得后悔值呈现出与时间步长的对数关系，但该方
2020-07-01 15:40:29
1080
原创 强化学习之探索与利用(一)
探索与利用在强化学习问题中，探索与利用事一对矛盾：探索尝试不同的行为继而收集更多的信息，利用则是做出当前信息下的最佳决定。探索可能会牺牲一些短期利益，通过搜集更多信息而获得较为长期准确的利益估计；利用则侧重于对根据已掌握的信息而做到短期利益最大化。探索不能无止境地进行，否则就牺牲了太多地短期利益进而导致整体利益受损；同时也不能太看重短期利益而忽视一些未探索地可能会带来巨大利益地行为。因此如何平衡探索和利用是强化学习领域地一个课题。根据探索过程中使用的数据结构，可以将探索分为：依据状态行为空间的探索和参数
2020-07-01 09:55:09
1784
原创 基于策略的强化学习(四)：深度确定性策略梯度(DDPG)算法
深度确定性策略梯度(DDPG)算法深度确定性策略梯度算法是使用深度学习技术、同时基于 Actor—Critic 算法的确定性策略算法。该算法中的 Actor 和 Critic 都使用深度神经网络来建立近似函数。由于该算法可以直接从 Actor 的策略生成确定的行为而不需要依据行为的概率分布进行采样而被称为确定性策略。该算法在学习阶段通过在确定性的行为基础上增加一个噪声函数而实现在确定性行为周围的小范围内探索。此外，该算法还为 Actor 和 Critic 网络各备份了一套参数用来计算行为价值的期待值以更
2020-06-30 15:58:45
2134
原创 基于策略的强化学习(三)：Actor—Critic算法
Actor—Critic算法Actor—Critic算法的名字很形象，包含一个策略函数和行为价值函数，其中策略函数充当演员(Actor)，生成行为与环境交互；行为价值函数充当(Critic)，负责评价演员的表现，并指导演员的后续行为动作。Critic 的行为价值函数是基于策略 πθ 的一个近似：基于此，Actor—Critic算法遵循一个近似的策略梯度进行学习：Critic 在算法中充当着策略评估的角色，由于 Critic 的行为价值函数也是带参数 (w) 的，这意味着它也需要学习以便更准确的评估一个策
2020-06-30 15:42:47
1152
原创 基于策略的强化学习(二)
常用的基于线性特征组合的策略Softmax策略高斯策略Softmax策略Softmax策略是应用于离散行为空间的一种常用策略。该策略使用描述状态和行为的特征φ(s,a)与参数的线性组合来权衡一个行为发生的几率：相应的分值函数为：假设一个个体的行为空间为[a0,a1,a2]，给定一个策略π(θ)，在某一状态s下分别采取三个行为得到的奖励为 -1，10，-1，同时计算得到的三个动作对应的特征与参数的线性组合φ(s,a)Tθ结果分别为 4，5，9，则该状态下特征与参数线性组合的平均值为 6，那么三个行为在
2020-06-30 11:19:50
560
原创 基于策略的强化学习(一)
基于策略的强化学习基于策略的强化学习解决的问题解决行为空间连续、观测受限、随机策略的强化学习等问题策略目标函数在基于策略的强化学习中，策略π可以被描述为一个包含参数θ的函数： 该函数确定了在给定的状态和一定的参数设置下，采取任何可能行为的概率，是一个概率密度函数。在实际应用这个策略时，选择最大概率对应的行为或者以此为基础进行一定程度的采样探索。参数θ决定了策略的具体形式。因而求解基于策略的学习问题转变为如何确定策略函数的参数θ。通过设计一个基于参数θ的目标函数J(θ)，通过相应的算法寻找最
2020-06-30 10:34:13
1170
原创 常用神经网络层
常用神经网络层图像相关层图像相关层主要包括卷积层（Conv）、池化层（Pool）等，这些层在实际使用中可分为一维(1D)、二维(2D)、三维（3D），池化方式又分为平均池化（AvgPool）、最大值池化（MaxPool）、自适应池化（AdaptiveAvgPool）等。而卷积层除了常用的前向卷积之外，还有逆卷积(TransposeConv)。下面举例说明一些基础的使用。from PIL im...
2020-06-23 21:15:42
939
原创 Pycharm快捷键
常用快捷键编辑类：Ctrl + D 复制选定的区域或行Ctrl + Y 删除选定的行Ctrl + Alt + L 代码格式化Ctrl + Alt + O 优化导入（去掉用不到的包导入）Ctrl + 鼠标 简介/进入代码定义Ctrl + / 行注释 、取消注释Ctrl + 左方括号 快速跳到代码开头Ctrl + 右方括号 快速跳到代码末尾Shift + F10 运行Shift
2020-06-23 21:09:51
168
转载 设置pip安装源为清华镜像
Windows配置在pip install 包名 index-url = https://pypi.tuna.tsinghua.edu.cn/simplePychrm配置：file–>settings–>Project:项目名–>project interpreter–>右上角加号–>找到django–>install
2020-06-23 20:27:14
1081
原创 神经网络工具箱torch.nn
torch.nn的核心数据结构是Module，它是一个抽象概念，既可以表示神经网络中的某个层（layer），也可以表示一个包含很多层的神经网络。在实际使用中，最常见的做法是继承nn.Module，撰写自己的网络/层。下面先来看看如何用nn.Module实现自己的全连接层。全连接层，又名仿射层，输出y\textbf{y}y和输入x\textbf{x}x满足y=Wx+b\textbf{y=Wx+b}y...
2020-04-22 23:09:57
373
原创 Pytorch实现线性回归
线性回归是机器学习入门知识，应用十分广泛。线性回归利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的，其表达形式为y=wx+b+ey = wx+b+ey=wx+b+e，eee为误差服从均值为0的正态分布。首先让我们来确认线性回归的损失函数：loss=∑iN12(yi−(wxi+b))2loss = \sum_i^N \frac 1 2 ({y_i-(wx_i+b)})^2l...
2020-04-22 16:19:19
202
原创 tensor内部结构
ensor的数据结构如下图所示。tensor分为头信息区(Tensor)和存储区(Storage)，信息区主要保存着tensor的形状（size）、步长（stride）、数据类型（type）等信息，而真正的数据则保存成连续数组。由于数据动辄成千上万，因此信息区元素占用内存较少，主要内存占用则取决于tensor中元素的数目，也即存储区的大小。一般来说一个tensor有着与之相对应的storage...
2020-04-22 15:12:27
1017
原创 Tensor和Numpy
Tensor和Numpy数组之间具有很高的相似性，彼此之间的互操作也非常简单高效。需要注意的是，Numpy和Tensor共享内存。由于Numpy历史悠久，支持丰富的操作，所以当遇到Tensor不支持的操作时，可先转成Numpy数组，处理后再转回tensor，其转换开销很小。示例代码：from __future__ import print_functionimport torch as t...
2020-04-22 13:55:49
5045
原创 创建、操作Tensor(二)
Tensor类型Tensor有不同的数据类型，如下表所示，每种类型分别对应有CPU和GPU版本(HalfTensor除外)。默认的tensor是FloatTensor，可通过t.set_default_tensor_type 来修改默认tensor类型(如果默认类型为GPU tensor，则所有操作都将在GPU上进行)。Tensor的类型对分析内存占用很有帮助。例如对于一个size为(1000,...
2020-04-22 13:31:53
578
原创 创建、操作Tensor(一)
Tensor，又名张量，从工程角度来讲，可简单地认为它就是一个数组，且支持高效的科学计算。它可以是一个数（标量）、一维数组（向量）、二维数组（矩阵）和更高维的数组（高阶数据）。Tensor和Numpy的ndarrays类似，但PyTorch的tensor支持GPU加速。创建Tensor函数功能Tensor(*sizes)基础构造函数tensor(data,)类似n...
2020-04-22 10:37:48
2326
转载 Matplotlib中Legend图例位置的设置
legend函数代码块：plt.legend([内容],loc='String or Number',bbox_to_anchor=(n1, n2))StringNumberupper right1upper left2lower left3lower right4right5center left6center right...
2020-04-20 11:01:25
4137
原创 强化学习概述
强化学习概述强化学习基本原理强化学习如何解决问题强化学习算法分类强化学习算法基于值函数的强化学习算法基于直接策略搜索的强化学习算法强化学习主要研究方向深度强化学习元强化学习逆向强化学习强化学习的应用典型深度强化学习AIphaGo服务链网元部署自主驾驶强化学习发展方向强化学习基本原理强化学习称为增强学习或再励学习(Reinforcement learning),是AlphaGo、AlphaGo ...
2020-04-02 10:10:10
231
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人