taoyafan-CSDN博客

原创 win10下右键菜单添加“Open CMD Here/在此处打开命令行”

参考博客：https://blog.csdn.net/Mr_BEelzebub/article/details/78776104

2020-10-15 18:01:47 1546

原创会计学基础（下）

55.1 固定资产投资固定资产：为生产商品、提供劳务、出租或经营管理而持有的、使用寿命超过一个会计年度的有形资产。两个时点：拿到固定资产、使用固定资产投资阶段：在建工程（固定资产达到可使用状态之前），固定资产（可使用之后）5.2 无形资产（1）没有实物形态（2）属于非货币性长期资产（3）持有的主要目的是为使用而非出售（4）所提供的未来经济利益具有高度的不确定性...

2020-02-16 22:18:44 806

原创会计学基础（上）

0 前言本文是看光华管理学院的公开课：会计学基础，所记录的笔记。目的是为了可以看懂企业的财务报表。由于本文只是总结，所以很多原理性的思考（为什么是这样）就不再记录，因为看视频的时候已经可以理解，只是记录一些怕忘记的知识点。1 基本概念1.1 会计的作用会计说白了就是记账的，给企业记录资金的流动来反映营业状况。虽然记账听起来很简单，但是为了所有行业可以有一套标准的记录准则，使得大家看...

2020-02-15 16:47:48 1276

原创 RS-232、RS-485、USART、I2C、SPI、CAN总结

每种协议分以下几个参数介绍：设备数量：一对一、一对多、多对多全双工（同时收发），半双工（收发不能同时）通信距离通信速度接线个数和通信方式：异步通信（无时钟线）、同步通信（有时钟线）逻辑电平1 RS-232一对一。全双工。最长通信距离20米左右。通信速度最快20Kbps。。标准接口最早为25根线，后改为9根线，最少3根线，RXD，TXD，GND，只发送或...

2020-01-11 17:01:15 1449

原创 Ubuntu 多版本 Python 和 pip 切换

这个博客只是怕以后找不到这个答案，成功解决了我的问题，链接：https://blog.csdn.net/yingqubaifumei/article/details/93769369

2019-10-24 15:59:17 769

0 废话这篇博客本是我之前自己总结，联系博士生导师时表明自己对强化学习的了解程度的。奈何导师不理我，但是我觉得我总结的还可以，想和广大朋友分享。由于把很多内容揉在了一起，都是按照自己的理解写出来的，而且当时时间比较紧，所以没写参考文献。文中主要写了我很多直观的理解，公式或推导可能不是特别严谨，另外还有很多算法没有写进来。由于我的理解可能会不全面或出现偏差，文中描述不到位或者是错误的地方还请指出...

2019-10-18 09:10:38 578

原创 RL论文阅读【七】Deterministic Policy Gradient Algorithms

1废话终于看到 PG 了，后边还要看 DDPG，TRPO，PPO，SAC，NAF，TD3，A3C等等，任重而道远啊。看完 model free 还想着重看看 model based，好多啊，不知道什么时候能接近前沿，努力吧，为了爱而奋斗。另外，越写越懒了，只做自己复习用，很多都省了，新手还是别看了，看不懂的。这篇论文可以算是现在很多 PG 的鼻祖了，证明了 Deterministic PG...

2019-06-30 23:54:20 1135

原创 RL论文阅读【六】Rainbow: Combining Improvements in Deep Reinforcement Learning

1 motivation这篇论文可以理解为把 DQN 的很多改进都用上了，之前 Dueling DQN 其实已经把 Double DQN 和 Prioritized replay 已经用上了，除此之外，Q-learning 还有一个改进是 Multi-step，后来又有人提出了 Distributional RL 和 Noisy net。然后这篇论文的思想就是把这些改进全结合到一起，做一个全能...

2019-06-23 22:54:59 3585 1

原创 RL论文阅读【五】Prioritized Experience Replay

1 废话·前一段一个很重要的面试挂了，难受了几天，又是谢师宴，还有昨天还打了一个晚上的电话，总之托了好几天。。。prioritized replay 早就知道，也知道大概的意思，就是之前 loss 大的优先级设置大些，但是仔细看了论文，思想的确就是这样，但是实际的算法还是有很多细节要考虑的，下边就仔细说说。注意：我把 transition 翻译成了“转换”，有时候也说成了“样本”。...

2019-06-13 23:52:12 1572

原创 RL论文阅读【四】Deep Reinforcement Learning with Double Q-learning（Double DQN）

1 废话今天特地早回来了点，天天一点睡，熬不住啊。把 Double DQN 看完了，收获还是不小的吧，虽然公式早就知道，不过把为什么DQN会高估和怎么解决的思路介绍的比较清楚了。2 Motivation其实吧，DQN 存在的高估问题和 Q-learning 是一样的，所以 Q-learning 是如何解决的呢？答案就是 Double Q-learning，所以我们今天的 Double ...

2019-06-06 00:14:30 2480

原创 RL论文阅读【三】Dueling Network Architectures for Deep Reinforcement Learning

1 废话这篇论文就是介绍我们常说的 Dueling DQN，在我心中一直以为和 Double DQN 是平行的两种技术，所以也没怎么想就看这篇论文了，但是看了才发现，原来这篇论文中提到了 Double DQN，而且可以应用于 Double DQN，而且同时还用到的 Prioritized replay，所以正确的阅读顺序应该是先看 Double DQN 和Prioritized experi...

2019-06-03 00:27:20 2832

原创 RL论文阅读【二】Human-level control through deep reinforcement learning

1废话这篇论文和上一篇其实都差不多，都是DQN，都是 DeepMind 的，作者也都一样，不过还是有一些改进的，下面就直说改进了，不说背景了。2 算法改进有两个比较大的改进：（1）加了一个 target Q，每个 C step 将当前的 Q 网络的参数赋值给 target Q。作用是在训练过程中，固定目标值，也就是，防止divergence 或oscillations的发生。...

2019-05-29 23:52:32 604

原创强化学习关键论文

我就不再复制了，直接移步参考链接吧，这个博客的目的只是为了方便大家搜索。参考 OpenAI 的 Spinning UP 中的Key Papers in Deep RL

2019-05-27 23:24:33 474

原创 RL论文阅读【一】Playing Atari with Deep Reinforcement Learning

1 废话开始要认真的读论文的，计划每天晚上回宿舍看一半，两天看完一篇，第三天写博客总结，虽然有点慢吧，但是积少成多嘛~今天先介绍第一篇，也是深度强化学习的开山之作。2 动机一般把这篇论文称作深度强化学习的第一篇论文，该论文发表与2013年，受到2012年Hitton和学生Alex在image net获得冠军的影响，第一次将深度学习和强化学习结合，其实就是用了CNN做观测的处理。...

2019-05-26 23:06:30 1365 1

原创深度剖析 OpenAI Gym（持续更新）

1 废话最近用到 OpenAI Gym，相关的介绍比较少，为了用着方便点，翻了翻底层，下边记录下我的理解，包括两部分，一个是gym 的结构和说明，还有一个是在执行我们程序时，底层程序的执行顺序。注意：我只介绍我知道的部分，随着理解的深入介绍的会更多，个人理解可能有误，若有问题请评论，谢谢。OpenAI 的官网为：https://gym.openai.com/github为：http...

2019-05-20 14:48:26 9965 1

原创 ubuntu16.04 安装 gym、mujoco、mujoco-py

废话：好久没更新博客了，这几个月找实习，投了20多家一个都没过，还是太菜了，专心搞毕设吧。。下边记录安装 gym、mujoco。1 Mujoco首先 Mujoco 部分参考博客：强化学习环境配置（Ubuntu16.04）—gym、mujoco、mujoco-py、baselines安装与测试几个需要补充的地方：（1）关于 Mujoco 的 License，试用的可以...

2019-05-20 08:55:37 2112

原创彻底清除 git 中的大文件

本来很少的代码，2MB左右，传 github 提示超过 100MB，我的天，吓一跳。。。后来发现是之前误传了大文件，虽然删除，但是git 中一直保存这记录，于是谷歌一番找到解决办法。首先，一定用 git status 查看当前的状态，保证没有需要增加、修改或删除的文件。然后就可以按照这个博客一步一步来了：https://kyriejoshua.github.io/jo.githu...

2019-01-31 16:17:31 2503

原创 ubuntu出现 dpkg: error processingpackage linux-generic 或 linux-image-xxxx-generic

apt-get install 的时候出现的这个问题，尝试了好多好多方法，最后终于使用下面这个链接中的方法成功了：https://blog.csdn.net/blackmanren/article/details/78167752其中有一个命令是sudo mv ./info/*./info.bak这里面少了个空格，所以应该是：sudo mv ./info/* ./info....

2019-01-10 12:16:13 3343

原创 ubuntu16.4 如何成功安装python3.6和pip3

由于用到 AutoML 的一些库，要求 python3.6，于是安装了3.6，试来试去还是这个博文最靠谱，不复制了，直接上连接：https://blog.csdn.net/gzh8579/article/details/79530144...

2019-01-10 12:07:32 673

原创总结 of 字节跳动的比赛（Bute Cup2018）——新闻标题生成

目录0、废话1、我们的模型介绍0. 数据预处理1. Seq2Seq + Attention2. + pointer network + coverage3. + temporary attention + policy gradient4. + dropout2、出现的问题1. 分数据集2. 模型保存3. 测试时控制变量3、别人很多值得学习的部分...

2018-12-07 19:19:44 4377 10

原创 ubuntu16.04 安装配置 pyrouge 的方法

1 pyrough 介绍2 安装过程3 其他问题1 pyrough 介绍pyrouge 是一个评估文本匹配程度的工具，可以计算两个文本的 ROUGE 得分。官网地址：pyrouge官方网站，或者github地址不过安装过成就太麻烦了，下面具体介绍安装过程。2 安装过程本文参考 stack overflow 的一个回答：How to install the Pytho...

2018-11-14 17:02:37 2177 4

原创 Ubuntu 添加环境变量（解决export导入包在其他 terminal 无效的问题）

同样还有很多办法，但我只用了一个，所以只介绍一个，感兴趣的自行谷歌百度。用export导入的话，如：export CLASSPATH=/path/name.jar可以立即生效，但是只在当前的终端生效，在别的终端是无效的，所以要想永久生效的话，有一个办法就是修改 /etc/profile在文件的末尾加上一句话：export CLASSPATH="/path/name.j...

2018-11-06 11:02:22 2622 1

原创 Ubuntu 脚本开启启动

Ubuntu开机之后会执行/etc/rc.local文件中的脚本，所以我们可以直接在/etc/rc.local中添加启动脚本。sudo vim /etc/rc.local将需要执行的脚本放在exit 0 前面的一行。如我已写好执行 SS 的脚本，ssaction.sh为：sudo sslocal -c /etc/ss.json -d start添加可执行权限后，在 Te...

2018-11-06 10:44:30 695

原创 matlab cell（元胞数组）关于元胞和数组的深入理解和元胞数组中个别元素的删除

深入理解元胞数组matlab 中的 cell 其实也是个数组，不过一个cell变量后边既可以接小括号“()”，又可以接大括号"{}"，这有什么区别呢？在 matlab 中，所有的数组都可以用“(i)”来表示其中的第i个元素，元胞数组还可以用“{i}”,表示第i个cell内部。比如我们想定义一个元胞数组 a，并想给 a 的第一个元素赋值一个矩阵 [1 2 3]，则有两种办法：（1）直...

2018-10-27 15:29:19 5158

原创 WPS 如何设置表格内文字段落

WPS 在表格中鼠标右键的选项中没有段落选项，导致要设置行间距、段前段后间距、首行缩进等无法设置。网上也找不到解决办法。自己摸索一番在菜单栏中找到了几个很小很小没有文字的按键，如下图四个红色圆圈圈出来的地方：把鼠标放在上面不动会显示说明页面：上图展示就是第三个圆圈内按键的说明，也就是我们要寻找的段落。不知道 wps 为什么要把这 4 个选项做的这么隐蔽，坑人不浅啊~ ...

2018-10-10 15:21:07 28136

原创 SSH客户端普通用户无法tab补全命令，不显示颜色的问题解决方案

这是服务器设置的问题服务器端打开 /etc/passwd 文件：vim /etc/passwd找到出问题的客户的用户名，以 tyf 为例，如：tyf:x:1008:1008::/home/tyf:或者：tyf:x:1008:1008::/home/tyf:/bin/sh这两者默认的 shell 都为 sh，我们需要将其改为 bash，统一改为下面形式：tyf...

2018-09-29 22:01:16 2396

原创 ubuntu pip 安装/卸载 python2 的包的方法

电脑 pip 安装默认安装在了 python3 下面，不管系统默认的是 python2 还是 python3。今天想装一个 python2 下面的 nltk 包，怎么都不了，用 pip install 显示安装成功，但是只能在 python3 中用，最后百度了一个博客发现了解决办法，安装 python2 的包输入下面的指令就可以：sudo python2 -m pip install n...

2018-09-29 15:06:22 6851

原创 ubuntu中默认Python2和Python3的转换命令

在终端输入下面语句如果是将默认的 Python 设置为 Python2，语句如下：echo alias python=python2 >> ~/.bashrcsource ~/.bashrc将默认的 Python 设置为 Python3，语句如下：echo alias python=python3 >> ~/.bashrcsource ~/.bas...

2018-09-27 09:06:14 1181

原创 LSTM参数个数计算

今天看程序看到了LSTM，原理都懂，但是想看看参数的个数是怎么算出来的，先简单介绍下我的网络前两层：（1）第一层是一个 embedding 层，输出是 100 维的。（2）第二层是一个 LSTM 层，输出是 512 维的。LSTM这一层的参数个数是 1255424 个，这一看还有整有零的，好奇怎么算出来的，于是百度搜了下，得到这么一个公式：设 LSTM 输入维度为 x_dim，输...

2018-09-21 16:53:35 19971 2

原创李弘毅老师GAN笔记（六），WGAN / EBGAN

1、JS-divergence 的问题在原始 GAN 中，使用的 JS-divergence 存在一些问题，这里介绍其中的一个问题。在图像所在的高维空间中，生成的图像分布和真实图像的分布可能是完全没有重叠的，比如在三维空间举一个例子，可以理解为两者的分布是三维空间中的两个面，那么他们重叠的部分几乎为零。那么这样 JS-divergence 的问题就出现了。如下图所示，PG0PG0P_{G_...

2018-09-17 10:25:00 1680

原创李弘毅老师GAN笔记（五），fGAN

这一节课是说明 GAN 不一定用 JS divergence，可以用别的 divergence。理论挺厉害的，但是实作可能没什么用。目录1 f-divergence 的定义 2 Fenchel Conjugate（共轭）3 fGAN 的作用/GAN 存在的问题3.1 问题1 Mode Collapse3.2 问题2 Model Dropping3.3 解决思路...

2018-09-14 15:23:38 1609

原创 matlab中画的图导出高分辨率图片的方法

论文投稿时要求分辨率要300dpi，在 matlab 中画的图导出300dpi图片的方法如下：如何画图我就不介绍了，假设已经把图画出来了，如下图所示：直接保存或者另存为图片的分辨率很低，因此要这么做：点击“文件”，选择“导出设置”，弹出如下界面：在左侧的属性一栏选择渲染，在“分辨率”的下拉框中选择要达到的分辨率，如300dpi，点击“导出”，选择路径和图像格式即导出完毕...

2018-09-01 16:04:23 27018 6

原创截图转换为高清高分辨率的方法，word中插入的图片转换为高分辨率的方法

由于投论文要求图像都是最少300dpi，而有的图片是直接截来的，所以需要处理一下，网上查阅了一番，得到如下的解决办法，先简要介绍，然后介绍具体步骤，每个步骤再详解。整体流程：QQ截图——粘贴至word——导出dpf——剪裁只剩图片——导出为指定格式图片（设置中选择分辨率）具体步骤：（1）直接用QQ截图截图，先把要截的图放大（这样截图后再缩小就会很清晰）；（2）然后复...

2018-09-01 15:25:09 60012 1

原创 David silver 强化学习公开课笔记（四）：Model-Free Prediction

0 废话好多天没写博客，不过也没闲着，把李宏毅老师的课看完了，但是就是不想总结，总觉得太费时间，回宿舍了看看他的机器学习，算是再补补基础吧，发现有一些内容还是之前没学过的，反正老师讲的有趣，看着挺好玩的。伯克利的强化学习看了两集，因为作业要申请mujoco，又发现了一个github上的一个好项目，链接为：https://github.com/dennybritz/reinforcemen...

2018-08-28 22:12:27 784

原创 David silver 强化学习公开课笔记（三）：Planning by Dynamic Programming

1 引言动态规划一开始我不是很理解，先看PPT上的解释：即是一个方法，把一个复杂的问题分解成子问题，通过综合子问题的解来解决问题。我看了一个文章，说的不错，也感觉理解的差不多了，链接：https://www.sohu.com/a/153858619_466939。动态规划问题满足两个性质：（1）最优子结构（Optimal substructure）（2）重叠子问题（Over...

2018-08-13 22:10:27 795

原创 David silver 强化学习公开课笔记（二）：MP、MRP、MDP

1 引言1.1 Markov 的性质正如上一节课提到的，Markov 状态表示当前的状态包括了历史所有的信息，也就是给定当前状态，未来和历史是独立的。通俗的说就是未来只和现在有关，和过去是没有关系的！其实也不能说和过去是没有关系，而是现在状态包括了所有的历史。有点绕。。还是看下面的定义式：所有的 RL 的问题都能表示为一个 MDP。关于什么是 MDP，下面再说。1.2 状态转移...

2018-08-13 11:30:33 3084

原创李弘毅老师GAN笔记（四），GAN 背后的理论

这一节理论推导的课程，证明了 GAN 的可行性，并解释了 GAN 背后的原理。目录1 目标2 推导2.1 极大似然估计2.2 极大似然估计与最小 KL 散度2.3 判别网络3 算法1 目标以二次元图像生成为例，我们的目标是什么呢，从数学角度来说其实就是得到一个函数，输入 x 是一个向量，输出 y 便是生成的图像，其实 y 也是一个向量，满足的分布设为，其中 ...

2018-08-02 11:40:39 1068

原创李弘毅老师GAN笔记（三），Unsupervised Conditional GAN

目录0 概述1 直接转换1.1 第一种方法1.2 第二种方法1.3 第三种方法1.4 StarGAN2 基于特征转换2.1 第一种方法2.2 第二种方法 2.3 第三种方法 2.4 第四种方法3 其他应用 0 概述两种方法，如图1所示，方法一是直接转换，方法二是先得到特征再解码。图1 两种方法简介1 直接转换1.1 第一种方法...

2018-07-31 15:59:06 1946

原创 David silver 强化学习公开课笔记（一）：介绍

1 废话一星期前上完了 Davild silver 的强化学习的公开课，记了些笔记，为了再巩固一下，写几篇博客总结一下，毕竟能讲清楚和能听懂还是有很大差距的。先介绍一下 David silver 吧，Alpha go 的项目负责人，也是 nature 上 alpha go 那篇论文的一作加通讯作者，在强化学习领域，Deep mind 和 Open AI 可以说独领风骚吧，所以 David s...

2018-07-31 00:05:47 2656

原创李弘毅老师GAN笔记（二），Conditional GAN

本文记录的是李弘毅老师的GAN的第二节课，bilibili视频链接为：https://www.bilibili.com/video/av24011528/?p=2，相关的课程课件链接为：http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2018/Lecture/CGAN.pdf目录1 什么是 Condition GAN2 Cond...

2018-07-27 00:00:01 27121 2

空空如也

空空如也