自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(40)
  • 资源 (2)
  • 收藏
  • 关注

原创 【Github】上传代码

git init。

2024-01-07 20:01:43 603

原创 【Tensor】 reshape

reshape变换维度

2023-02-09 10:57:51 1282

原创 【pycharm】通过远程服务器打开jupyter文件

pycharm打开jupyter

2022-11-28 22:52:49 600

原创 【 torch.multiporcessing】附带强化学习多进程例子

torch.multiprocessing的简单调用

2022-07-14 22:32:44 2701

原创 【Python】环境变量设置

包的安装路径在写python代码的时候,通常我们调用的包是通过pip安装的,通过pip安装的包安装路径是可以查到的。 这些包也可以直接被调用,因为他们安装路径已经在环境变量中,因此可以被直接搜索到。但是,如果我们想调用自己写的module或者是从github上下载的包,我们就会经常遇到,找不到module的问题。原因就是我们需要的包的路径没有在环境变量中!一种简单的方法就是在调用包之前,在环境变量添加可以搜索到包的路径。报错源代码已知:源代码所在路径是:需要调用的mod...

2022-06-12 16:16:42 518

原创 【强化学习】value-based VS policy-based

强化学习policy-based与value-based对比

2022-06-07 17:36:57 242

原创 【Texstudio深色模式】

texstudio版本texstudio-4.2.3-win-portable-qt6参考配置目标将texstudio设置为深色,并且PDF也为深色!(手动护眼!)界面设置Options> Configure Texstudio …> General >Style> Orion darkPDF颜色网上说:如果是用internal PDF的话,可以直接设置在configure的internal PDF Viewer 设置paper color。但是奇了个大怪,我这里并没有

2022-05-29 17:25:23 1166

原创 【Latex 中文模板】win10|texstudio

用latex写惯了英文,不知道怎么写中文,写中文会报错,该怎么办呢?答:用好\documentclass[options]{class-name} 由于中文和英文的不同,在写中文的时候可以通过\documentclass[options]{class-name}将latex代码指定工程要采用的文档类,其中options 和 class-name 均为可选参数。{class-name} 使用文档类命令指定文档类为中文这里是\documentclass参考教程,根据教程可知:class-name等于ct

2022-05-29 15:49:52 1205

原创 【Pytorch】判断tensor中数值和特定的某个值的大小关系

说明torch.le(input, other, *, out=None) → TensorComputes \text{input} \leq \text{other} (input≤other) element-wise. (这里用latex写,是不是很有深意,hhhh)The second argument can be a number or a tensor whose shape is broadcastable with the first argument.Parametersi

2022-04-18 15:09:33 2788 1

原创 【Python】argparse

参考1参考2官方连接argparse 模块是 Python 内置的一个用于命令项选项与参数解析的模块,argparse 模块可以让人轻松编写用户友好的命令行接口。通过在程序中定义好我们需要的参数,然后 argparse 将会从 sys.argv 解析出这些参数。argparse 模块还会自动生成帮助和使用手册,并在用户给程序传入无效参数时报出错误信息。[parse:解析]初始化import argparseimport sysparse1=argparse.ArgumentParser()p

2022-04-09 15:24:45 109

原创 【Pytorch安装】&【深度学习框架】-- GPU、cuda、cudatookit等

正确的安装方法参照官网!!!如果你的cuda版本低于上面官网连接中展示的,怎么办?还是参照官网!!!这里展示了过底的cuda版本对应的版本底的PyTorch版本的安装。比如说,可以从这个页面搜索cuda10.1应该安装什么样版本的torch。深度学习框架GPU图形处理器(英语:graphics processing unit,缩写:GPU),俗称显卡。是硬件。显卡驱动:(通常指NVIDIA Diver)想要用这个硬件就需要一个驱动(很好理解:比如电脑要连打印机就要装打印机驱动,所以电脑要

2022-04-05 10:47:30 1763

原创 【强化学习】Bellman Equation Derivation (贝尔曼方程的推导)

Bellman Equation Derivation:Return(GtG_{t}Gt​) 说的是把奖励进行折扣后所获得的收益。State value function(Vt(s)V_{t}(s)Vt​(s))是MRP(Markov Reward Process,<s,r,s′><s, r, s'><s,r,s′>)的return的期望。可以定义为如下形式:V(s)=E[Gt∣st=s]=E[Rt+1+γRt+2+γ2Rt+3+...+γT−t−1RT∣st=s

2022-04-01 15:06:40 383

原创 【pycharm】连接远程服务器的docker|宿主机

docker container与远程服务器的Linux系统之间的关系形象描述:Linux系统假设是一个大集装箱,docker container就是集装箱里面的小箱子。两者之间需要建立什么样的联系?我们在本地电脑要访问远程服务器中的docker container,也就是说我们在本地还是要通过IP地址访问docker container,也就是说我们先找到了服务器,然后在服务器中找docker container。所以要建立服务器与container之间的联系。这里承载着docker c

2021-08-25 17:10:07 199

原创 Docker|从镜像到container|打开、进入、退出container

Docker初步理解由于我在用docker的时候通常是用docker镜像安装python包或者实验依赖的环境包,所以对docker的理解并没有那么深刻,就是停留在可以帮助我成功搭建环境即可。docker container我理解的是打开了一个新的终端,建立了一个新的环境,在这里运行程序的语法是和在终端直接运行程序的语法一致的。镜像是生成container的入口,镜像是静态的,container是将镜像run之后的结果,如果将一个镜像run很多次,那么就会得到很多名字一样但是ID不同的container

2021-08-24 14:40:24 3805

原创 Pytorch | GPU | 将代码加载到GPU上运行

Pytorch | GPU | 将代码加载到GPU上运行“I think if you do something and it turns out pretty good, then you should go do something else wonderful, not dwell on it for too long. Just figure out what’s next.”——Steve Jobs❤️流程声明用GPU(指定具体的卡)将模型(model)加载到GPU上把数据和标签

2021-07-13 16:00:29 10304 7

原创 Batch Normalization

Batch Normalization(BN)目的将数值范围较为分散的数据集中在一个固定的小范围内,使得数据在进入激活函数层之后,激活函数可以对数据变化敏感(也就是希望数据不会过多的集中在饱和的区域).解决的问题–Internal Covariate ShiftWe refer to the change in the distributions of internal nodes of a deep network, in the course of training, as Internal

2021-07-12 22:22:03 71

原创 Latex|调整子图间距离(横向-纵向)

横向\hspace{}纵向\vspace{}示例\begin{figure}[ht] \centering \begin{minipage}[t]{1\textwidth} \centering \includegraphics[scale=0.4]{e1-2.png} \subcaption*{(a)} \label{pretrain(a)}\end{minipage}\vspace{5mm} %调整纵向距离\begin{minipage}[t]{1\textwidt

2021-06-20 22:43:08 17242

原创 LaTeX|插图-子图 caption-subcaption

背景subcaption是可以取代subfig和subfigure的包,可以用于插图、子图。导入的包\usepackage{subcaption}Please note: This package is incompatible with the subfigure and subfig packages.插图单图\begin{figure}[ht] \centering\includegraphics[scale=0.6]{e1-1.png}\caption{ 描述图像}\labe

2021-06-20 22:22:20 9010 3

原创 Pycharm can‘t go to definition的可能原因

我遇到这个问题是发生在切换conda环境的情况下。由于每个conda环境下的python解释器的包不一致,所以在一系列代码开始在一个环境下运行,而后要切换到另外的环境后,不仅仅需要更改当前py文件的解释器:而是要修改整个这一系列py文件的解释器:File>Setting:也就是将整个project的解释器都修改一下。另外,...

2020-09-24 22:32:54 473

原创 可视化问题ConnectionError: HTTPConnectionPool(host=‘localhost‘, port=8097)

可视化出现问题代码中调用了visdom, 但没有打开显示界面的端口安装$ pip install visdom启动服务默认端口为8097,可以根据需要加上-p选项修改端口$ python -m visdom.server # 或者直接visdom命令也可以有以下输出代表启动成功Downloading scripts. It might take a while.It's Alive!INFO:root:Application StartedYou can navigate to h

2020-09-22 21:12:02 4623 2

原创 Theory of Mind with Guilt Aversion Facilitates Cooperative Reinforcement Learning

Theory of Mind with Guilt Aversion Facilitates Cooperative Reinforcement LearningauthorApplied Artificial Intelligence Institute, Deakin University, Geelong, AustraliaDung Nguyen, Svetha Venkatesh,Phuoc Nguyen,Truyen TraninsightGuilt aversion induces e

2020-09-21 10:18:16 191

原创 Where Do You Think You’re Going?: Inferring Beliefs about Dynamics from Behavior

Where Do You Think You’re Going?: Inferring Beliefs about Dynamics from BehaviorauthorBerkeley - Sergey Levine 团队aimOur aim is to recover a user’s implicit beliefs about the dynamics of the world from observations of how they act to perform a set of ta

2020-09-18 17:52:39 131

原创 TensorFlow写卷积神经网络_数据集MNist_详细说明

导入包和MNistfrom __future__ import division, print_function #__future__的作用是升级py2到py3的一些用法,division:精确除法import tensorflow as tfimport matplotlib.pyplot as pltimport numpy as npfrom tensorflow.example...

2020-04-26 17:54:46 332

原创 x = tf.reshape(x, shape=[-1, 28, 28, 1])的理解

Mnist中数据,输入n个样本,每个样本是784个列构成的向量。所以输入的是n*784的矩阵。但是输入到CNN中需要卷积,需要每个样本都是矩阵。 x = tf.reshape(x, shape=[-1, 28, 28, 1])newshape : int or tuple of intsThe new shape should be compatible with the origin...

2020-04-23 10:12:42 8909 2

原创 TensorFlow--简单的数据生成、初始化、线性模型

数据的生成import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltnum_input = 2 #输入维度num_spamle = 1000 #样本数目true_w = [2, -3.4]true_bais = 4.2X = np.random.randn(num_spamle,num_in...

2020-04-21 19:11:32 424

原创 Tensorboard简单总结——显示Graph、Scalar等

TensorboardTensorFlow使用 TensorBoard 来提供计算图形的图形图像。这使得理解、调试和优化复杂的神经网络程序变得很方便。TensorBoard 也可以提供有关网络执行的量化指标。它读取 TensorFlow 事件文件,其中包含运行 TensorFlow 会话期间生成的摘要数据。参考文章第一步是确定想要的 OP 摘要需要什么量就在这个量初始化后面记录这个量...

2020-03-22 21:53:20 1623

原创 Windows10 在指定路径打开&退出jupyter notebook

1.打开Anaconda Prompt更改路径:例如,我要进入E:\YanQi Lake\DL 这个路径打开jupyter notebook(base) C:\Users\zoe>e:(base) E:\>cd E:\YanQi Lake\DL(base) E:\YanQi Lake\DL>jupyter notebook2.退出,在Anaconda Prompt按...

2020-03-20 10:34:25 575

原创 Ubuntu中应用无法输入中文

Ubuntu系统装好以后

2020-03-01 10:23:46 2265

原创 快速安装python相关包&避免Read timed out

正常使用pip install 进行软件安装非常的慢,这是因为我们是从国外网站上下载的,在国内,我们可以通过国内镜像快速下载:举一个栗子:我现在要下载TensorFlow1.12.0版本:pip3 install tensorflow==1.12.0将其改写为:pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple/ tensor...

2020-02-29 21:46:51 170

原创 Ubuntu18.04 Python3.6 Mujoco2.0安装(Windows不建议2.0)

参考资料openAI-mujoco-github由此推测,2.0版本是支持python3.6以上的版本的,但是不赞成win10使用2.0版本。虽然官方不建议,但是我不想重装python,所以我决定下载2.0版本。mjrl在这个GitHub中,提示我们:所以长期使用的话还是建议2.0版本。Step ♡1 Download Mujoco登录MuJoCo官网下载mujoco200...

2020-02-29 12:56:43 799

原创 Dell Inspiron13 7000常用设置

关闭F1~F12的电脑自带功能自带功能会使一些快捷键没发正常使用,同时按下Fn + Esc关闭,再按一次打开功能。关闭触屏功能桌面右键我的电脑,选择-管理,选择-设备管理器,选择-人体学输入设备,选择-符合HID标准的触摸屏,禁用即可。同理一些外设的驱动:鼠标、键盘等等均可在设备管理器中更新或者禁用。...

2020-02-24 12:25:46 548

原创 VMware15 Ubuntu18.04 鼠标键盘失灵

问题描述问题发生在虚拟机中安装和import mujoco_py 的过程中。重启之后用户登录界面可以正常使用鼠标和键盘。但是进入桌面之后却不好使了,而系统时间正常显示,由此猜测系统还是正常的,只不过键盘和鼠标和系统断开了。解决方法!!! sudo apt install xserver-xorg-input-all 步骤重新启动系统,进入Grup界面:VMware启动ubuntu进...

2020-02-24 12:10:42 1923 1

原创 统计学习方法及监督学习

本文为《统计学习方法》(第二版)第一章统计学习方法及监督学习的读后感。如果一个系统能够通过执行某个过程改进他的性能,这就是学习。 --赫尔伯特.西蒙

2020-02-21 18:05:20 917

原创 UCBerkeley 深度强化学习-强化学习简介Lec4

课程内容强化学习的划分几种强化学习方法的比较强化学习的划分List item

2020-02-18 13:34:48 592

原创 Windows系统 使用SVN从GitHub中下载子文件

SVN为了从GitHub上可以只下载一个目录里面的文件版本Version 1.13.1下载网址,直接下载安装即可。打开方式参考文章下载子目录文件鼠标在桌面上面右键,选择SVN检出,将复制到的GitHub中子文件的URL中\tree\master改写为\trunk,选择检出的目录,即下载地址:成功下载子文件啦!如果后续上传者对GitHub上的文件进行了修改,更新下载文件的方...

2020-02-17 18:01:14 354

原创 数字图像处理-图像频谱的周期性理解

频谱的周期性频谱是周期性的,在整个横轴的图像不过是(-M/2,M/2)图像的复制粘贴,不要让周期性误导了对图像频谱的理解。一维在二维频谱分析之前,可以先分析一维DFT,由于一维的频谱很常见,横坐标u代表频率,纵坐标代表幅值,由此可知,u=0时也就是越靠近纵轴,频率越低,二维和一维一样做处理,在变化之后的右图,可以发现低频和高频的位置变化。eg:在实际处理图像中我们得到...

2020-02-15 22:35:35 3651

原创 win10-python3.7通过Anaconda安装TensorFlow

检查Python版本方法一:win+r进入cmd命令点击确定,Python版本即可得知:方法二:在Anaconda Pompt中输入:python安装TensorFlow找到Tensorflow支持Python3.7的一个whl:Unofficial Windows Binaries for Python Extension Packages在这个网页中,在茫茫人海中搜索到...

2020-02-15 21:45:05 376

原创 2018UCBerkeley深度强化学习-模拟学习Lec2

课程内容符号的介绍模仿学习(imitate learning)符号符号含义这里不再赘述,这里需要注意的是:state与observation的区别。正如课堂中老师所说:The state is actually the sufficient kind of summary of what‘s going on in the world.The observation is a c...

2020-02-14 22:14:43 368

原创 2018UCBerkeley深度强化学习Lec1

课程内容深度学习(Deep Learning)的简介强化学习(Reinforcement Learning)的简介深度强化学习深度学习适用环境:无结构环境(unstructured environment)优点:采用端到端(end to end)的学习方式无需人为定义特征自适应性(优化正确的特征),可以找到解决特定问题的正确特征强化学习对智能体与环境之间的交互进行建...

2020-02-13 22:47:40 311

原创 ubantu中安装setpy.py

第一步:打开一个terminal,找到你所需要安装的setup.py的绝对路径第二步:在目录下输入 python setup.py installterminalzzy@zzy-OptiPlex-9020:~$ cd '/home/zzy/Documents/code/pycolab-master' zzy@zzy-OptiPlex-9020:~/Documents/code/pycola...

2018-12-26 18:59:04 322

lesson1.ipynb

TensorFlow使用 TensorBoard 来提供计算图形的图形图像。这使得理解、调试和优化复杂的神经网络程序变得很方便。TensorBoard 也可以提供有关网络执行的量化指标。它读取 TensorFlow 事件文件,其中包含运行 TensorFlow 会话期间生成的摘要数据。

2020-03-22

深度强化学习课件lecture1

课件来自于UCberkeley课程官网,内容是深度强化学习课程的第一节课的课件,其中包含了深度学习、强化学习的简介;其他学习方式的介绍;典型的实验;推荐阅读的文章。

2020-02-13

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除