Spgroc-CSDN博客

转载基于强化学习的运动体路径规划任务【sarsa】【Q-learning】

而 SARSA 则是一种 on-policy 的算法，它会在当前状态下按照某种策略选择一个动作，然后在下一个状态下再按照相同的策略选择动作，并根据这个过程计算出一个 Q 值。Q-learning 是一种 off-policy 的算法，它会选择当前状态下最大 Q 值对应的动作作为决策。数学模型：[[np.cos(theta), 0],[np.sin(theta), 0],[0, 1.0]]距离奖励：奖励：（上一次距目标点距离-当前距目标点距离）*系数。输出：下一个状态，奖励，结束标志位，其他信息。

2024-03-16 21:20:58 1386 2

转载四足机器狗避障

使用控制障碍函数完成四足机器狗的避障运动

2024-03-16 21:06:45 1424

原创 2023 中兴捧月算法挑战赛-自智网络-参赛总结

1.修改了lsqr的收敛判别条件，使其计算速度更快2.采用了加速投影梯度下降法进行非负最小二乘的求解，在原始非负投影改成区间投影，将负解投影到解的可行空间，保证了解的有效性3.有针对性的优化，算法仍有很大提升空间（例如一阶段第九组数据对初值较为敏感）1.在迪杰斯特拉算法(Dijkstra)的基础上增加运载约束、延误时间约束，保证了路径的可行性与有效性。

2023-07-01 18:17:37 741

原创 Gym报错 The observation returned by the `reset()` method is not contained with the .......

发生这个错误是因为自定义环境时，环境的观测空间类型定义与reset（）时返回的数据类型不一致，故发生报错。1 修改自己的观测数据，确保与定义的类型一致2 由错误位置可以看出是环境规则检查的check函数发生报错，那么我们在确保自己环境可正常运行的情况下可将 disable_env_checker = True即：这样就关闭了gym的环境检测，不会发生check的报错实验测试记录使用，仅供参考...

2022-07-12 19:39:34 1804 3

原创四旋翼无人机避障飞行

四旋翼无人机飞行无人机从起点出发飞向目标点，途径随机生成的障碍物基于控制避障函数(CBF)的四旋翼飞行控制采用航点飞行，利用给定航点规划轨迹，从起点出发，沿着轨迹飞行，同时躲避轨迹上的障碍物四旋翼无人机轨迹跟踪建模平面移动从F=maF=maF=ma开

2022-05-27 17:22:04 2770 3

原创 MATLAB画小车

MATLAB画小车这里参考了robotarium库的代码具体实现如下：my_gritsbot_patch函数，完成小车的图形绘制，可修改相关参数完成小车样式改变。function [ patch_data ] = my_gritsbot_patch()%GRITSBOT_PATCH This is a helper function to generate patches for the%simulated GRITSbots. YOU SHOULD NEVER HAVE TO USE TH

2022-04-14 22:29:43 8700 20

原创多智能体强化学习—QPLEX

QPLEX的主要亮点**:分别对联合Q值 $Q_{tot}$ 和各个agent的Q值 $Q_{i}$ 使用Dueling structure: $Q=V+A$ 进行分解，将IGM一致性转化为易于实现的优势函数取值范围约束，从而方便了具有线性分解结构的值函数的学习，这种分解让Q值的获得更为具体，***Q值=当前状态的价值V+采取动作的价值A***，这样可以进一步判断Q值的获得是由于状态还是由于采取的动作的优势。

2022-04-10 16:27:08 2175 2

原创多智能体强化学习—QMIX

多智能体强化学习—QMIX论文地址：https://arxiv.org/pdf/1803.11485.pdf1 介绍首先介绍一下VDN（value decomposition networks）顾名思义，VDN是一种价值分解的网络，采用对每个智能体的值函数进行整合，得到一个联合动作值函数。为了简单阐述考虑两个智能体：（o-observations，a-actions，Q-action-value function）当智能体观察他自己的目标时，但不一定是队友的目标，那么有：当(oi

2022-04-09 22:26:59 12259 3

原创矩阵求导公式记录

分子布局与分母布局谁是列向量就是什么布局。分母是列向量，就是分母布局；分子是列向量，就是分子布局。(分母布局的结果) T=^{T}=T= 分了布局的结果;(分子布局的结果) T=^{T}=T= 分母布局的结果；具体公式：更多公式见维基百科...

2022-02-17 15:33:18 634

原创丢番图（Diophantine）方程MATLAB求解

丢番图（Diophantine）方程MATLAB求解丢番图 (Diophantine) 方程在多项式中的一般形式为A(z−1)X(z−1)+B(z−1)Y(z−1)=C(z−1)A\left(z^{-1}\right) X\left(z^{-1}\right)+B\left(z^{-1}\right) Y\left(z^{-1}\right)=C\left(z^{-1}\right)A(z−1)X(z−1)+B(z−1)Y(z−1)=C(z−1)式中, A(z−1),B(z−1)A\left(

2022-01-05 16:35:49 3275 4

原创虚拟机ubuntu16.04 安装ORB_SLAM3

一.下载和编译ORB_SLAM3git clone https://github.com/UZ-SLAMLab/ORB_SLAM3.gitcd ORB_SLAM3chmod +x build.sh./build.sh出现问题：*CMake 3.10 or higher is required. You are running version 3.5.2 *这里参考cmake版本升级https://www.cnblogs.com/jsdy/p/12689470.html出现问题：P

2022-01-03 12:43:52 2627 1

原创浮点数的储存格式与STM32的串口传输

#include <stdio.h>#include <stdlib.h> const int MAX = 3; int main (){ int var[] = {10, 100, 200}; int i, *ptr; char *char_ptr; /* 指针中的数组地址 */ ptr = var; int num; num=sizeof(int); printf("%d \n",num); char_ptr=

2021-11-25 12:52:39 5113 5

原创 Python实现Excel办公自动化

本代码均参考于网上代码txt文档替换内容def updateFile(file,old_str,new_str): file_data = "" with open(file, "r", encoding="utf-8") as f: for line in f: if old_str in line: line = line.replace(old_str,new_str) file_dat

2021-10-28 11:15:09 3962 6

原创 MATLAB 轮式机器人轨迹跟踪仿真

两轮式移动机器人参考点位于机器人驱动轴中心模型分析：控制目标是使机器人在二维平面中运动到指定位置，但由于轮式机器人不能进行平移运动，故其状态变量不能只取（x,y），应考虑车头朝向问题，所以小车的状态变量用向量表示为：q=[x,y,θ]Tq=[x, y, \theta]^{T}q=[x,y,θ]T（x,y）为机器人当前位置，theta为机器人的车头方向，机器人只能沿着垂直与驱动轴的方向移动，故移动机器人的运动约束为：x˙sin⁡θ−y˙cos⁡θ=0\dot{x} \sin \theta-\dot{

2021-10-24 14:17:28 15163 31

原创 python 求解二次规划（quadprog）

二次规划在MATLAB中，quadprog是具有线性约束的二次目标函数的求解器。quadprog 求由下式指定的问题的最小值H、A 和 Aeq 是矩阵，f、b、beq、lb、ub 和 x 是向量。其具体用法为：x = quadprog(H,f)x = quadprog(H,f,A,b)x = quadprog(H,f,A,b,Aeq,beq)x = quadprog(H,f,A,b,Aeq,beq,lb,ub)x =quadprog(H,f,A,b,Aeq,beq,lb,ub,x0)

2021-10-06 21:24:40 14791 3

原创 Anaconda新建环境

深度学习常用指令集汇总anaconda指令下载指令anaconda指令查看已安装的包conda list 查看已安装的某个包conda list requests查看某个指定环境的已安装包conda list -n python36查找package信息conda search numpy创建环境名称为python36，并安装最新版本的Python3.6在终端中输入：conda create –n python27 numpy进入环境conda activate pyth

2021-10-06 10:04:58 593

原创 arduino led灯通讯

本程序在某宝的店铺产品基础上淘宝店铺利用arduino实现可见光通讯，两个led灯相对放置，通过灯的闪烁完成信号的传输，具体程序如下：发送端程序unsigned int txbuffer[9] = {'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'};//要发送的字符#define LED 3//定义发送端引脚void setup()//设置{ Ser...

2021-10-06 10:00:58 1135

原创 Jetson Xavier NX yolo环境配置记录

NVIDIA Jetson Xavier使用的aarch64架构是没法使用anaconda的，虽然可以自己编译，但是conda指令是没法编译到aarch64架构上运行的。不过有替代品，名字是miniforge。miniforge下载进行安装 sh Mambaforge-4.9.2-7-Linux-aarch64_2.sh 过程回车继续输入yes安装完成，如果想自动进入base环境conda config --set auto_activate_base true创建虚拟环.

2021-10-06 09:58:15 874 1

原创 Windows Yolo fastest使用测试

调用摄像头darknet.exe detector demo ./data/coco.data ./cfg/yolo-fastest.cfg ./cfg/yolo-fastest.weights -c 0

2021-10-06 09:56:44 699

原创 module ‘open3d‘ has no attribute ‘PointCloud‘

新版open3d 有些Api进行了更改module ‘open3d’ has no attribute ‘PointCloud’open3d.PointCloud() 改为了open3d.geometry.PointCloud()/**************/module ‘open3d’ has no attribute ‘Vector3dVector’open3d.Vector3dVector()改为了open3d.utility.Vector3dVector()/

2021-10-05 23:07:39 2768 2

转载天驰无人竞速车 Tianracer——ubuntu16.04环境配置

Tianracer是由天之博特开发的低成本高速高仿真无人车，底盘采用闭环线性控制，具有良好的动力性能和操控性。全系列产品采用英伟达NVidia的开发板，提供强大的并行运算能力。基础款车型可以达到3m/s的速度，而专业版可达到10m/s速度。相同的软件架构可以方便进行算法开发和移植。安装进入代码文件夹cd ~/catkin_ws/src/克隆代码git clone https://github.com/tianbot/tianracer.git进行编译cd ~/catkin_ws

2021-08-14 18:23:37 347

原创 ubuntu16.04 配置realsense运行环境

ubuntu18.04 配置realsense运行环境准备好需要运行的文件python安装的版本为3.6运行depth_camera没有pyrealsense库安装相关库：使用豆瓣源，快一点 sudo pip3 install pyrealsense2 -i https://pypi.douban.com/simple没有opencv库安装相关库文件 sudo pip3 install opencv-contrib-python -i https://pypi.douban.c

2021-03-13 18:29:05 983 1

原创树莓派yolov4环境配置笔记

相关程序代码请参考：Keras搭建YoloV4-Tiny目标检测平台windows下的tensorflow-gpu=1.13.2环境配置配置树莓派的运行环境下载Keras==2.1.5pip3 install Keras==2.1.5树莓派没有GPU环境，因此下载CPU版，tensorflow==1.13.1pip3 install tensorflow==1.13.1下载速度很慢可从官网下载进行安装进入到tensorflow-1.13.1-cp37-none-linux_armv7l

2021-02-26 08:44:08 1958

原创 Windows批处理(cmd/bat)快速新建文件夹

Windows批处理(cmd/bat)快速新建文件夹在进行毕业设计时，随着每日的任务不同，需要新建不同文件夹来区分任务，但手敲新建重命名太过繁琐，经过资料的查找，找到了在windows系统下bat文件的快速新建文件夹的方法，效果展示如下：批处理文件（Batch File，简称 BAT文件）是一种在DOS 下最常用的可执行文件，也称为批处理脚本，是对某对象进行批量的处理，批处理文件的扩展名为bat。本次批处理用到的命令echo打开回显或关闭请求回显功能，或显示消息。如果没有任何参数，ech

2021-02-11 14:04:52 26247 3

python开发的出勤名单核对软件

网课名单核对系统，遍历查找出勤表格中没有出现的人员源代码见：https://blog.csdn.net/weixin_42985452/article/details/121010401?spm=1001.2014.3001.5502 此文件为exe可执行文件，如有python基础，建议使用源码修改出你想要的功能

2022-04-02