- 博客(123)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 使用tmux离线运行程序，报错“no module named xxx“解决办法
使用tmux离线运行程序，然后一直报错，“no mudule named xxx"，发现问题是从conda的虚拟环境中进入tmux导致的，退出conda的虚拟环境后在进入tmux，问题得到解决。
2022-10-12 11:52:28
339
原创 用PyCharm连接远程服务器，设置Python解释器时fail to connect解决办法
输入密码即可进行编辑，编辑完保存，命令行还会报错，但我实际操作时可以更改内容。
2022-08-23 22:12:31
2008
原创 ERROR: Cannot uninstall ‘PyYAML’. It is a distutils installed project and thus we cannot accurately
用requirements.txt文件安装依赖时，出现错误，已经安装了PyYAML==5.3.1，无法卸载。强制安装，仍然无法通过requirements.txt，在网上找到解决办法。删掉Anaconda里面的。然后正常安装PyYAML即可。输入以下命令，找出PyYAML的所有相关文件，删除掉。
2022-08-23 18:26:39
672
原创 安装spinning up教程里与mujoco对应的gym，报错mjpro150
我以为安装到这一步到头了，结果折腾了几个小时！！！先安装官方教程尝试安装然后报错我以为是我路径设置的有问题，然而并没有我写的就是mujoco200看了很多博客，发现默认依赖mujoco_py150版本的，然而我装的并不是解决办法就是排除依赖这时候又出现问题了运行PPO测试报错希望我的路径为mujoco210，我以为我又要重装，然而并不需要，直接进.bashrc把路径名改为然后再运行PPO测试成功了！！！一天就装了个环境0.0。......
2022-07-22 21:44:46
281
原创 mujoco和mujoco_py安装以及解决libXcursor.so.1:NO such dictionary
在目标文件夹（环境文件夹即可）下创建文件夹.mojoco解压缩之后把里面的mujoco200文件夹放到.mojoco文件夹下然后把mikey.txt文件放到.mujoco文件夹下一份，再放一份到下。
2022-07-22 16:52:38
761
原创 spinning up安装完使用教程测试是否成功，出现Library“GLU“ not found和‘from pyglet.gl import *错误解决办法
spinning up安装测试，解决Library"GLU" not found等问题
2022-07-22 14:21:36
376
原创 jupyter notebook不管以何种方法打开都只能进入默认文件夹解决办法
如果之前已经改过默认路径，按照网上大部分方法还是打不开指定文件夹的，还会是你之前改过的默认路径，解决办法为：cmd输入：jupyter notebook --generate-config 然后确认y即可恢复默认路径然后想要进入指定文件夹下，只需要在相应的路径输入：jupyter notebook即可，或者网上的其他方法...
2022-07-11 10:53:07
911
1
原创 提高随机策略梯度方法的稳定性
1 PPO方法：近端策略优化论文：Proximal Policy Optimization Algorithms核心改进：2 TRPO论文：Trust Region Policy OptimizationPPO也是一个TRPO方法，只不过它使用对策略比率简单裁剪来限制策略的更新。3 SAC论文：Soft Actor-Critic:Off-Policy Maximum Entropy Deep Reinforcement Learning核心思想：熵正则化，在每个时间戳上添加了与该时间戳上
2022-04-16 22:09:53
86
原创 连续动作空间
1 A2C方法A2C方法的状态价值输出端针对连续动作保持不变。唯一受影响的是策略的表示形式。2 确定性策略梯度论文：Deterministic Policy Gradient AlgorithmsDDPG 在深度 Q 网络基础上加了一个策略网络来直接输出动作值，所以 DDPG 需要一边学习 Q 网络，一边学习策略网络。Q 网络的参数用 w 来表示。策略网络的参数用 θ 来表示。我们称这样的结构为演员-评论员的结构.3 分布的策略梯度(D4PG)论文：Distributed Distribut
2022-04-16 21:38:08
628
5
原创 actor-critic方法
1.减小方差方差很高时，随机变量的取值可能会远远偏离均值。策略梯度方法的思想：增加良好动作的执行概率，并减少不良动作的执行概率。为了提高Reinforce的稳定性，从梯度量表中减去了平均奖励。为什么这么做？假设有一个非常简单的场景，在该场景中我们对梯度进行一次优化，有三个动作，它们的总折扣奖励值不同，分别为Q1、Q2和Q3Q_1、Q_2和Q_3Q1、Q2和Q3.令Q1Q_1Q1和Q2Q_2Q2都等于某个小的正数，而Q3Q_3Q3是某个大的负数。由这三个步骤得到的综合梯度将试图使策略原理第
2022-04-16 20:23:24
782
原创 策略梯度：Policy Gradient
为什么需要策略？环境中存在大量的动作，甚至具有连续的动作空间。如果用Q(s,a)Q(s,a)Q(s,a)来寻找最佳的动作，需要解决一个最优化的问题，即寻找使Q(s,a)Q(s,a)Q(s,a)最大的a。这个问题在非离散集合中会变得非常难，在这种情况下直接使用策略更为可行。另外，它是环境具有随机性的体现，和Categorical DQN方法具有相同的思想。1 Reinforce方法1.1存在的问题需要完整的片段:在开始训练之前，需要等待完整的episode完成。需要与环境进行大量的交互才能执行单个
2022-04-16 19:14:20
371
原创 Q-Learning与Deep Q-network
1 价值迭代价值迭代方法假设事先知道环境中的所有状态，可以对其进行迭代，并可以存储与他们关联的近似价值。对于状态价值步骤如下：对于动作价值步骤如下：存在的问题：获得优质状态转移动态的估计所需的样本数量，状态空间需要足够小将问题限制在离散的动作空间中我们很少能知道动作的转移概率和奖励矩阵2 表格 Q-learning思想：不需要遍历状态空间的每一个状态，我们有一个环境，该环境可以用作真实状态样本的来源。如果状态空间的一些样本没有展示出来，我们不需要关心这些样本的价值，可以用从环境中获得
2022-04-16 14:04:42
1844
原创 交叉熵方法（Cross-Entropy Method）
重要性采样定理重要性采样可以改变原来的旧分布，用新的分布去采集样本，然后求出目标期望，上述证明显示两者理论上是等价的，但是等价他有个前提条件：就是2个分布不能相差太大。换句话说，如果2个分布相差过大，那么两者就不会相等，这就是IS的缺陷。IS确实可以让2个分布产生一个期望，但是期望相等并不代表方差相等。如上图红框所示，如果2者相差过大，就会导致双方的方差Varience过大。而当采样数据不足够时，方差相差太大会导致两者的样本均值相差很大！重要性采样的用处在于对于原分布下不太好求解的情况下，把问题转
2022-04-16 00:37:47
1657
原创 联想拯救者R9000P恢复原厂自带的win11系统
之前重装win10之后，再想换回win11折腾了很久，现将方法分享出来，以便后面有相同需求的人可以较快的解决问题。文中无过程图片，因为我已经弄好了，不懂的地方可以私信或者评论需要的东西原厂自带系统：–来自百度网盘超级会员V1的分享hi，这是我用百度网盘分享的内容~复制这段内容打开「百度网盘」APP即可获取链接:https://pan.baidu.com/s/1wx_ZhIxm6UQG4MH8tg98Vg提取码:dcg1如果是其他版本的系统，可以去联想社区搜索相关问题，有申请的方法联想恢复工具
2022-04-11 21:12:54
14371
13
原创 计算机网络笔记
第一章 网络体系结构01 概念和功能计算机网络：是一个将分散的、具有独立功能的计算机系统，通过通信设备与线路连接起来，由功能完善的软件实现资源共享和信息传递。计算机网络是互连的、自治的计算机集合.互连：通过通信链路互联互通。自治：无主从关系功能：数据通信资源共享：同一个计算机网络上的其他计算机可以使用某台计算机的计算机资源的行为，可共享硬件、软件、数据。分布式处理：多台计算机各自承担同一工作任务的不同部分。提高可靠性：替代机负载均衡02 性能指标速率：即数据率或称数据传输率或比
2022-02-16 23:06:40
1372
原创 import nvidia_smi标红解决办法
pip install nvidia-ml-py3 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
2021-04-01 15:41:07
687
2
原创 解决AttributeError: module ‘tensorflow’ has no attribute ‘Session’以及后续出现的RuntimeError
问题与解决方法为了检验tensorflow是否安装成功，编译了hello tf的源码import tensorflow as tfhello = tf.constant('hello ft!')sess = tf.Session()print(sess.run(hello))运行时出现错误：AttributeError: module ‘tensorflow’ has no attribute ‘Session’后来发现是因为现在是Tensorflow2.x版本，在运行Session语
2021-02-22 16:18:04
347
转载 Java集合
Java集合1.说说LIst,Set,Map三者的区别？List(对付顺序的好帮手)： 存储的元素是有序的、可重复的。Set(注重独一无二的性质): 存储的元素是无序的、不可重复的。Map(用 Key 来搜索的专家): 使用键值对（kye-value）存储，类似于数学上的函数 y=f(x)，“x”代表 key，"y"代表 value，Key 是无序的、不可重复的，value 是无序的、可重复的，每个键最多映射到一个值。2.ArrayList和LinkedList的区别？是否保证线程安全：
2021-01-18 14:57:25
78
原创 leetcode
leetcode1.数组和链表剑指offer24.反转链表[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F4UNvaXt-1610945679062)(E:\BlogPhoto\image-20210118102439292.png)]/** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * List
2021-01-18 12:54:50
315
原创 Java基础
Java基础面向对象和面向过程的区别面向过程:面向过程的性能比面向对象高。因为类调用时需要实例化，开销比较大，比较消耗资源，所以当资源是最重要的考量因素时，比如单片机、嵌入式开发、Linux/Unix等一般采用面向过程开发。但是，面向过程没有面向对象易维护、易复用、易扩展面向对象：面向对象易维护、易复用、易扩展。因为面向对象有封装、继承、多态性的特点。所以可以设计出低耦合的系统，使系统更加灵活、更加易于维护。但是面向对象性能比面向过程低。这个并不是根本原因，面向过程也需要分配内存，计算内存偏移
2021-01-17 18:17:44
218
原创 pip install scipy时发生zipfile.BadZipFile: File is not a zip file解决办法
应该是下载时发生了丢包，我在官网下载时，只有14M，切换到豆瓣源有30M，附上地址：https://pypi.doubanio.com/simple/scipy/
2021-01-07 16:09:32
673
原创 带权图最小生成树
一、节点package weightGraph;public class Vertex { public char label; public boolean isInTree; //Tree,该顶点在最小生成树里,反之就不在 public Vertex(char label) { this.label = label; this.isInTree = false; }}二、边package weightGraph;pu
2020-12-22 21:34:20
2027
1
原创 拓扑排序
package graph;import java.util.*;public class GraphTopo { //属性 private Vertex[] vertexList; //保存图中顶点的数组 private int[][] adjMat; //邻接矩阵 private int nVerts; //图中存在的节点的计数器 private Stack<Integer> theStack; //实现深度优先搜索的栈 pr
2020-12-22 19:23:21
68
原创 图与广度优先搜索、深度优先搜索
图package graph;import java.util.*;/** * 封装图的类 */public class Graph { //属性 private Vertex[] vertexList; //保存图中顶点的数组 private int[][] adjMat; //邻接矩阵 private int nVerts; //图中存在的节点的计数器 private Stack<Integer> theStack; //实现
2020-12-22 16:59:42
53
原创 堆与堆排序
堆package heap;public class HeapTest { public static void main(String[] args) { Heap heap = new Heap(100); heap.insert(55); heap.insert(33); heap.insert(66); heap.insert(11); heap.insert(22); he
2020-12-22 14:04:33
57
原创 哈希表
一、线性探索法package hashtable;public class MyHashTableTest { //测试哈希表的入口 public static void main(String[] args) { MyHashTable myHashTable = new MyHashTable(100); myHashTable.insert(new DataItem(12)); myHashTable.insert(new Data
2020-12-21 21:15:59
190
原创 CSS
1 什么是CSS1.1 什么是CSSCascading Style Sheet 层叠式联样式表CSS：表现（美化网页）字体，颜色，边距，高度，宽度，背景图片，网页定位，网页浮动……1.2 发展史CSS1.0CSS2.0 DIV（块） + CSS， HTML与CSS结构分离的思想，网页变得简单，SEO（搜索引擎优化）CSS3.0 浮动，定位CSS3.0 圆角，阴影，动画……可能出现浏览器兼容性问题1.3 快速入门<!DOCTYPE html><html lang="e
2020-12-16 17:03:07
72
1
原创 安装开发环境
一、Maven登录http://maven.apache.org下载maven修改仓库为阿里云静态仓库打开下载好的maven文件夹，进入conf子文件夹，打开settings.xml文件，下滑至下图的位置修改仓库如下配置环境变量检测环境变量是否添加成功二、idea上使用maven如下图：maven地址改成你安装的位置设置文件改成你的设置文件...
2020-12-15 21:14:44
120
原创 红黑树
一、为什么要有红黑树如果插入的数据是有序的，这样二叉树逻辑结构和链表就没有区别了。二、红黑树的特征每个节点不是红色就是黑色根节点总时黑色的如果节点是红色的，则它的子节点必须是黑色的。也就是从每个叶子到跟的所有路径上不能有两个连续的红色节点从根节点到叶节点或空子节点的每条路径，必须包含相同数目的黑色节点（即相同的黑色高度）...
2020-12-12 19:56:43
69
原创 二叉搜索树
一、定义左子树的节点值均小于根节点右子树的值均大于根节点二、基本操作1 创建节点类package tree;public class Node { private int data; private Node leftChild; private Node rightChild; public Node() {} public Node(int data) { this.data = data; } public i
2020-12-12 16:11:27
66
原创 快速排序及其优化
快速排序package sort;import java.util.Arrays;public class QuickSortTest { public static void main(String[] args) { int[] data = {22,11,3,5,34,23,6,7,4}; quickSort(data, 0, data.length - 1); System.out.println(Arrays.toString(da
2020-12-06 20:17:13
94
原创 希尔排序（ShellSort)
我取的间隔是2.2package sort;import java.util.Arrays;public class ShellSortTest { public static void main(String[] args) { //int[] nums = {1,2,4,5,3,7,20,6}; int[] nums = {2,1}; shellSort(nums); } //实现希尔排序 public s.
2020-12-06 18:17:39
109
原创 递归
一、递归的定义递归就是在运行的过程中调用自己。递归必须要有三个要素：边界条件递归前进段递归返回段当边界条件不满足时，递归前进；当边界条件满足时，递归返回二、求阶乘package recursion;import java.util.Scanner;public class RecursionTest1 { public static void main(String[] args) { //提示 System.out.println("请输
2020-12-03 20:48:38
90
原创 HTML
一、网页基本信息<!-- DOCTYPE:告诉浏览器，我们要使用什么规范 --><!DOCTYPE html><html lang="en"><!--head标签代表网页头部--><head> <!-- meta描述性标签，用来描述网站的一些信息 --> <!-- meta一般用来做SEO(搜索优化） --> <meta charset="UTF-8"> <m
2020-12-02 23:16:58
208
原创 W3C标准
W3C标准W3CWorld Wide Web Consortium(万维网联盟)http://www/w3.org/W3C标准包括结构化标准语言（HTML,XML)表现标准语言（CSS)行为标准（DOM,ECMAScript)
2020-12-02 20:55:10
103
原创 实现带有迭代器的链表
定义一个链表接口package linked;public interface ListInterface<T> { //规定了链表应该实现哪些功能 //返回当前的节点个数 public int getSize(); //在链表表头添加新节点 public void addHead(T data); //在链表尾部添加新节点 public void addTail(T data);}带有迭代器的链表接口package lin
2020-12-01 20:54:13
117
原创 单向链表
只能从链表头部插入和删除package linked;public class OrderLinkedListTest { public static void main(String[] args) { OrderLinkedList orderLinkedList = new OrderLinkedList(); orderLinkedList.insert(10); orderLinkedList.insert(0); .
2020-12-01 19:49:39
52
原创 双端链表及实现队列
双端链表package linked;public class DoubleLinkedListTest { public static void main(String[] args) { DoubleLinkedList doubleLinkedList = new DoubleLinkedList(); doubleLinkedList.addTail(1); doubleLinkedList.addHead(0); dou
2020-12-01 19:18:51
65
mujoco200+mikey.txt
2022-07-22
vscode+x11图形化界面报错
2022-10-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人