- 博客(116)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 基于卷积神经网络和时域金字塔池化的语音情感分析
基于卷积神经网络和时域金字塔池化的语音情感分析概述这是最近学习《这篇文章》时所做的笔记和代码实现。其中有部分太过复杂没有复现出来
2019-01-08 23:15:35
4818
16
原创 从零开始搭建Ubuntu下的深度学习环境TensorFlow+Keras+Pytorch+Sklearn+OpenCV
我的Ubuntu系统又双叒叕崩溃了，卡在系统登录输密码的界面循环，似乎是更新了一下系统，和英伟达的驱动不兼容了。正好我的CUDA版本是8.0，支持不了高版本的TensorFlow，很难受，索性格式化系统，重新来一遍好了。现将整个过程记录在此，以备后查。正文开始从零开始搭建Ubuntu下的深度学习环境一、删除Ubuntu系统需要安装：分区助手 https://www.disktool.cn/...
2018-09-26 23:59:37
9128
3
原创 深度学习人脸检测框架DFace-win64的调试与视频人脸检测
深度学习人脸检测框架DFace-win64的调试与视频人脸检测在分辨率不是很高的视频中，Haar+AdaBoost的人脸检测方式精度不是很高，错检也有很多，于是尝试用深度学习的方式来做人脸检测。目标是在视频/图片中检出人脸的位置，画出Bounding Box，以便于作为输入图像进行表情。本文用到的深度学习人脸检测框架是DFace 在其开源代码的基础上做了修改，简化了部分运算，并将其运用到...
2018-09-01 15:55:16
2935
7
原创 Windows10+GPU+Anaconda3+Pytorch+TensorFlow+Keras配置方法
配环境这个事真的是常看常新，随着package的不断更新，之前配环境的经验都不能用了，所以新开一贴，记录一下最近配环境的曲折之路。之前博客Windows10 GPU版Tensorflow配置教程+Anaconda3+Jupyter Notebook依然可以用。...
2018-08-31 22:51:53
2151
1
原创 机器学习与计算机视觉入门项目——视频投篮检测（二）
机器学习与计算机视觉入门项目——视频投篮检测（二）一、手工特征与CNN特征在上一次的博客中，介绍了计算机视觉和机器学习的关系、篮球进球检测的基本问题和数据集的制作。这次的我们主要介绍如何从原始图像中提取有用的图像特征，以便应用于之后的分类器。如下图所示，我们现在要做的是Feature Extraction。在前DeepLearning时代，图像特征都是由人设计的，对于不同的图像如人...
2018-08-27 04:51:06
2688
7
原创 Windows10 GPU版Tensorflow配置教程+Anaconda3+Jupyter Notebook
之前配Caffe费了不少周折，详情参阅 深度学习之caffe入门——caffe环境的配置（CPU ONLY）。 如今转战Tensorflow，又免不了配环境之苦，摸索半天。终得其法。记录下来，以备后用。一、在使用pip安装package的时候，经常崩掉，换用清华的源就好很多，或者用豆瓣的源也是可以的。 具体怎么改清华源，请看这篇博客。Ubuntu使用清华源或者pip insta...
2018-03-07 23:08:16
3423
原创 Ubuntu运行VS Code报错加载 Web 视图时出错: Error: Could not register service workers: InvalidStateError: Failed
vscode加载Web视图时出错
2022-07-06 02:22:03
14410
5
原创 利用YAKE进行文档关键词提取
利用YAKE!进行文档关键词提取现记录一种基于关键词统计、无监督、单文档关键词提取算法YAKE!（Yet Another Keyword Extractor）的使用笔记。YAKE!基于5种指标：是否大写，词的位置，词频，上下文关系，词在句中频率，来计算候选词的得分，从而筛选Top-N关键词。论文：《YAKE! Keyword extraction from single documents using multiple local features》网站：https://liaad.github.i
2022-05-29 22:35:45
2539
原创 使用Transformer编码器进行序列数据分类（上）
使用Transformer编码器进行序列数据分类（上）搭建Encoder Classimport numpy as npimport torchimport torch.nn as nnimport torch.nn.functional as Flen_traj = 13batch_size = 3d_obs = 6d_embed = 7 # embedding dimensionn_heads = 8d_k = 16d_hidden = 16d_class = 2n_laye
2022-05-24 20:53:53
5644
5
原创 强化学习系列文章(三十)：训练利器Gym Wrapper
强化学习系列文章(三十)：训练利器Gym Wrapper在训练LunarLander环境的智能体算法时，学习到CleanRL的PPO代码，是我目前测试过训练速度最快的PPO版本。我认为主要贡献之一是采用了成熟的gym.wrapper技术，现总结这项技术的学习笔记。wrapper介绍主要分3类wrapper，分别是action，observation，reward。分别继承ActionWrapper、ObservationWrapper、RewardWrapper三个类，可以设计编写定制化的封装对象。
2022-05-16 17:57:25
3341
原创 强化学习系列文章(二十九)：使用Ray框架加速进化算法的训练
强化学习系列文章(二十九)：使用Ray框架加速进化算法的训练接第二十八篇笔记，在处理大规模问题时，一方面计算每个个体的fitness value需要很大算力，相应耽误较多时间，另一方面大规模种群的优化计算也是耗时费力的。万幸有人帮我们开发了Python并行加速框架Ray，入门简单，省时省力，提速明显。Ray框架的介绍在下面的链接。Modern Parallel and Distributed Python: A Quick Tutorial on RayRay安装pip install pytes
2022-05-11 21:30:25
1292
原创 强化学习系列文章(二十八)：进化强化学习EvoRL的预实验
强化学习系列文章(二十八)：进化强化学习EvoRL的预实验最近在研究强化学习解决离散空间的组合优化问题时，接触到了很多进化算法，实际体验也是与RL算法不相上下。进化算法也常用于优化神经网络的参数，CMA-ES算法是进化算法中的佼佼者，被World Model等工作采用，对于数百到数千参数规模的优化问题比较擅长。我会陆续把进化强化学习的实验例程整理出来，请批评指正。首先安装cmapip install cmacma对象的初始化x0是初始解，又称起始点。sigma0是初始标准差，控制了初始种群与初
2022-05-10 18:13:03
812
2
原创 强化学习系列文章(二十七)：VPG+Beta分布在CartPoleContinuous环境中的应用
强化学习系列文章(二十七)：VPG+Beta分布在CartPoleContinuous环境中的应用在第七篇笔记（https://blog.csdn.net/hhy_csdn/article/details/106435472?spm=1001.2014.3001.5501）中，实现了Vanilla Policy Gradient算法建模action的高斯分布的情况，用以实现连续动作空间任务的控制。但是高斯分布定义的action有时不能适应全部情况，例如action space有明确取值区间，高斯采样超出
2022-04-15 16:14:37
817
2
原创 强化学习系列文章(二十六)：向量化环境Vectorized Environments
强化学习系列文章(二十六)：向量化环境Vectorized EnvironmentsOpenAI Gym最近公布了官方API手册，可以趁机学习一下环境运行的并行化技术。https://www.gymlibrary.ml/pages/vector_api/indexVectorized Environments所谓“矢量化环境”，是运行多个（独立）子环境的环境，可以按顺序运行，也可以使用多处理并行运行。矢量化环境将一批action作为输入，并返回一批observation。例如，当策略被定义为对一批o
2022-02-22 16:19:50
2773
1
原创 强化学习系列文章(二十五)：利用遗传规划算法解决CartPole问题
强化学习系列文章(二十五)：利用遗传规划算法解决CartPole问题主程序import gymimport numpy as npimport cgpfrom cgp import *import matplotlib.pyplot as pltn_eps = 300Mu = 10Lambda = 40env = gym.make('CartPole-v1')env = env.unwrappedr_list = []pop = create_population(Mu+La
2022-02-22 00:50:16
612
1
原创 谷歌学术检索论文如何指定多个来源
最近检索文献时遇到题目所述的需求，找到一篇文章非常切题，所以做一下笔记。来源：https://taifua.com/google-scholar-specify-multiple-sources.html基本操作首先，假设检索的关键词是 Dimensionality reduction，（这里没有加双引号，Dimensionality 和 reduction 相当于两个词）来源包括 IEEE Transactions on Visualization and Computer Graphics、IEE
2021-07-09 17:54:14
1505
原创 Runge-Kutta法求解单个Izhikevich神经元动力学
Runge-Kutta法求解单个Izhikevich神经元动力学参考文章 https://zhuanlan.zhihu.com/p/2423025011. Izhikevich模型2. Runge-Kutta方法求解微分方程2.1 问题定义2.2 1阶Runge-Kutta方法4阶Runge-Kutta方法
2021-01-17 00:40:18
676
1
原创 强化学习系列文章(二十四)：利用AirSim搭建Gym强化学习环境（一）
最近研究AirSim仿真平台主要是为了进行强化学习的相关实验，所以利用AirSim提供的Python API搭建一个OpenAI Gym风格的强化学习环境才是我的最终目的。AirSim提供了一个Gym强化学习模板，我们先研究一下这个文件。相关文件都在https://github.com/microsoft/AirSim/tree/master/PythonClient/reinforcement_learning。import setup_pathimport airsimimport numpy
2021-01-03 16:50:40
3638
1
原创 强化学习系列文章(二十三)：AirSim Python API图像与图像处理
强化学习系列文章(二十三)：AirSim Python API图像与图像处理1.simGetImage函数使用0号相机得到单张图像。返回值是PNG格式的图像。import airsim #pip install airsim# for car use CarClient() client = airsim.MultirotorClient()png_image = client.simGetImage("0", airsim.ImageType.Scene)# do something w
2021-01-02 21:31:59
4385
5
原创 强化学习系列文章(二十二)：AirSim自动驾驶仿真平台及其Python API分析
@[TOC](强化学习系列文章(二十二)：AirSim自动驾驶仿真平台及其Python API分析)AirSim自动驾驶仿真平台及其Python API分析最近在做强化学习与自动驾驶的结合，于是接触到AirSim——微软开发的自动驾驶仿真平台，个人觉得做得非常不错，是我目前见过的最棒的自动驾驶仿真环境。原因如下：AirSim是一个持续更新的开源项目，现在还在开发迭代中，所以功能在不断完善，出了Bug也有人去维护，相比之下TORCS虽然也很不错，但是最近3年没有看到TORCS的更新了，一方面对现在的操
2021-01-01 17:40:04
3857
1
原创 使用SSH连接本机WSL系统
SSH服务安装sudo apt-get install openssh-serverSSH服务启动servicee sshd start使用命令ss -lnt查看22号端口有无开启。WinSCP连接本机WSL进入Kali Linux，命令ifconfig查看IP地址。登录WinSCP连接即可。
2020-11-29 13:55:41
1894
1
原创 VS Code连接远程服务器运行Python程序
安装插件安装VsCode官方插件Remote - SSHRemote - SSH: Editing Configuration FilesRemote - WSL ms-vscode-remote.remote-wsl WSL(远程桌面连接需要，因本文是SSH连接所以可有可无)建立连接安装插件后会提示重启VS Code,重启后会发现侧边栏和左下角均有变动想要建立新连接,我们点击侧边栏的图标鼠标移至TAG栏,点击+在弹出框里输入ssh连接按回车确认出现保存地址选项一是保存到当前用户
2020-11-29 13:44:14
8061
1
原创 Ubuntu系统下更换VS Code字体
下载安装字体：$cd /usr/share/fonts/truetype/$sudo git clone https://github.com/abertsch/Menlo-for-Powerline.git刷新字体：$sudo fc-cache -f -v在Vs Code的对应项目.vscode中找到settings.json 中加入下面代码后保存:"terminal.integrated.fontFamily": "Menlo for Powerline",重启VSCode：关闭VS
2020-11-26 17:42:38
1934
1
原创 强化学习经典算法笔记(二十一)：gym-super-mario-bros游戏环境笔记
gym-super-mario-bros游戏环境笔记gym-super-mario-bros游戏环境笔记简介安装DemoGym demo命令行demo环境单独关卡随机选择关卡奖励函数info内容解读gym-super-mario-bros游戏环境笔记最近在学习Intrinsic Reward Model相关的paper，super-mario-bros可以说是算法性能测试的标配游戏环境了，可惜之前太多关注点都放在Atari上，特此开一篇笔记记录一下内容，以备后查。简介项目地址https://pyp
2020-10-30 21:13:59
6648
3
转载 强化学习经典算法笔记(二十)：交叉熵方法Cross Entropy Method
强化学习经典算法笔记(二十)：交叉熵方法Cross Entropy Method本次补上一个经典RL算法笔记。感谢 https://the0demiurge.blogspot.com/2017/08/cross-entropy-method-cem.html感谢 https://en.wikipedia.org/wiki/Cross-entropy_methodCEM基本概念：交叉熵方法是一种蒙特卡洛方法，主要用来优化和重要性采样。和进化算法类似，进化算法在空间中按照某种规则撒点，获得每个点的误
2020-08-14 00:49:16
3501
原创 强化学习经典算法笔记(十九)：无监督策略学习算法Diversity Is All You Need
强化学习经典算法笔记19：无监督策略学习算法Diversity Is All You NeedDIAYN核心要点模型定义目标函数的构造DIAYN算法细节目标函数的优化SAC的训练判别器的训练DIAYN的应用论文的其他细节本篇介绍一个无监督框架下的策略学习算法DIAYN，全称是Diversity Is All You Need。本文是在学习了张楚珩前辈的【强化学习 77】DIAYN和知乎ID黑猫紧张的PN-23: Diversity is All Your Need (arXiv 1802)之后写成的，向他
2020-07-22 17:44:52
1540
原创 强化学习经典算法笔记(十八)：离散动作空间REINFORCE算法
强化学习经典算法笔记(十八)：离散动作空间REINFORCE算法在文章强化学习经典算法笔记(七)：策略梯度算法Policy Gradient中介绍了连续动作空间的Policy Gradient算法，最近需要用到离散空间的版本，遂写了个CartPole-v1上的PG代码。相比于原来的PG，改动主要在select_action函数和update_parameters函数。在原来的版本中，由于动作是一个二维连续向量，所以动作的对数概率也是一个二维向量，动作熵也是二维向量，而CartPole环境就要做一定修改。
2020-07-13 17:28:39
3742
原创 强化学习经典算法笔记(十七)：A3C算法的PyTorch实现
强化学习经典算法笔记(十七)：A3C算法的PyTorch实现发现前面没有介绍Asynchronous Advantage Actor-Critic，A3C算法的文章，在这里补上这一篇。A3C算法简介A3C算法是非常有名且经典的Policy Gradient算法，是A2C算法的并行版本。使用多线程运行多个actor，分别与若干个环境进行交互，收集经验，更新参数，并将更新的参数梯度汇合到主线程的Agent上去。A3C最初版本是多线程CPU的，后来又出了GPU版本。这里实现的是多线程CPU版。GPU版本的
2020-07-11 13:11:57
9378
5
原创 强化学习经典算法笔记(十六)：Policy Gradient算法家族
强化学习经典算法笔记(十六)：Policy Gradient算法家族在学习Soft Actor-Critic，SAC算法时，发现了一篇非常好的文章，比较全面地介绍了策略梯度算法家族。文章的作者是在OpenAI工作的Lilian Weng小姐姐，佩服至极！！文章链接：Policy Gradient Algorithms为了系统地学习一下，我决定翻译一下，尽管已经有了中文版。先占个坑。...
2020-07-09 22:34:17
527
原创 强化学习经典算法笔记(十五)：Soft Actor-Critic算法实现
强化学习经典算法笔记(十五)：Soft Actor-Critic算法实现算法简介Soft Actor Critic，SAC算法是一种Off-policy算法，相比于PPO这种On-policy算法，sample efficiency有了提高，相比于DDPG及其变种D4PG，SAC又是一种随机策略算法。SAC算法是在最大熵强化学习（Maximum Entropy Reinforcement Learning）的框架下构建起来的，目的是让策略随机化，好处是对于机器人控制问题非常友好，甚至可以在真实环境中使
2020-07-09 17:16:41
6254
8
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人