深海沧澜的博客

原创 硕士生活随笔

距离上次随笔一月有余。这一月事务繁多，再次被枷锁所束缚。事情也有意料之外，一步一步的推进布局。小的失利与黑暗并不影响事实的彰显。大的舞台可以证明。文档的编写已经初有思路。万望后续顺利，坚持本心。...

原创 硕士生活随笔

距离上次随笔已经将近2个月，时间真的间隔了太久太久。首先是7月初的研电，评委RL=DL的荒诞场景。又经历了7月中旬赛季的爆发期。再到了7月下旬的回家休养期与网评期，研电进入国赛，实属兴奋。8月初疫情加重，返校时间推迟，休息时间增多一周，打了打游戏，看了看剧。8月中旬返校，研电国一圆了多年的竞赛梦，小组第一个出场，却能荣获此佳绩，实属不易，也幸于评委的看好，也给后续创造了无限可能。同时指导的多项，战绩良好，希望善战者无赫赫之战功。8月底天降意外，周遭兄弟至亲去世，感受到世事无常...

原创 硕士生活随笔

上半年的最后一天，回顾这半年，在某些地方相比去年有所进步，开始尝试一些新的领域。网络上常说内卷严重的时代降临，研三的学长学姐们近期离校，广阔天地，大有作为。6月底，陆陆续续诸多结果，整个月预如学期刚开始的一样，乃是最忙碌的一个月，伴随着项目、竞赛、考试。今日修完硕士生涯中最后一门学校要求的课程，便可全身心进入科研。这一个月百感交集，硕士生活仅剩2年的时间，且看未来。...

原创 硕士生活随笔

距离上次随笔大概10天有余，但感觉好像过了很久，可能这就是生活对于时间的流逝的体验吧。RL的SDV初代版本涉入竞赛，均获赛区二等，意料与情理之中，还需要长时间的打磨。6

原创 硕士生活随笔

将近一个月都没有写过随笔了，最近事务繁忙。首先因为期中考试，延误了许多事情的时间，其次是英语六级，正在准备当中。许多事情在定下来之后，可能由于时间的流逝而

原创 硕士生活随笔

时间只负责流动，不负责成长。可能因为这个月有点事情做，过的很快，仿佛清明节就在昨天。事情在按计划进行，希望不必要的事情可以减少吧，无论是研学会还是实验。初稿均已完成，需要以实力为基础加以时间打磨。休息2天静静思考一下，创新的工作发展，真正的target。...

原创 硕士生活随笔

时光过的真快，转眼间就到了4月17日，如果不是看了一眼上次更新的日期，都没发现将近3周没有记录了。如预期一样，在4月14日完成了初版的开发，事情在一步一步的推动。明显能感觉得到，在事情上有一些懈怠了，超出时长，这种低级错误无话可说，更是该好好反省。最近几天在统筹规划事情的发展，要分配好各项事务的时间，最近一周集中解决材料问题。未来安好！...

原创 硕士生活随笔

复试结束，我带的学妹成功上岸末流985，她也比较幸运，也对自己的实力有清晰的认识，希望来到学校的生活和科研也可以一帆风顺吧。这一周发生的事情实在是越来越多了，屠龙少年的故事历历在目，犹如漫无边际的黑夜，星星失去了光亮，夜晚又长又黑。没想到这一周过的很快，科研取得了一点进展，规划的重要性不言而喻，一步失，可能步步失。攻城略地，步步为营，大象无形，大盈若冲。...

原创 硕士生活随笔

去年本科毕业后，机会巧合，机构联系到我，带了一个女生考研，正在准备复试，周末复试结束知道结果，作为她的老师和学长，希望她可以通过吧。不得不说，她择校相对客观冷静，选择了末流985，相比很多人报考的炸穿地心，可所谓理智了许多，炸穿地心的地方，初试你能过，还有复试需要考虑。但是可能是初试成绩的相对不错，复试阶段有了许多懈怠，意料之外，情理之中。距离上次博客已两周有余，模块初始化已完毕，离这个月还有一周结束，最低期限4月15日，边做东西边写材料，长远考虑。材料的引用部分要慢慢更新，本科两年的ACM

原创 硕士生活随笔

终于感冒好了，大约在两日以前，感冒的时候太难受了，没有一点思考能力，现在终于恢复了。小记一下未来的事情。这个月时间受限制比较小，可能比较自由，故正在设计一套方案，希望这个月可以搞完，影响着未来的部署。只希望未来越来越好，部署可以成功，弥补遗憾。...

原创 Arduino智能小车电机控制方向及运动

为后续的研究先做资料的铺垫，如果错误，欢迎指正Arduino智能小车——测试篇Arduino 智能小车-电机控制delay 延时处理：delay（10000）某个操作运行10秒后再进行其他操作

原创 硕士生活随笔

已步入三月，可惜的是忘了冬春换季，不慎感冒了，大意了。每逢这个时候，都容易感冒，去年疫情一直呆在家，没有发生感冒，今年竟然忘了注意。二月休息了整整一个月，在月底的时候感冒了,相当于白休息了，感冒是一种身体上的累赘，做事情有心无力的那种感觉，希望赶紧好。总结一下近期的事情吧。首先是考研计算机的“内卷化”，21届的题目相比20届的题目，因为疫情维稳+奇数年的关系，可以说试卷难度基本是全面下降（高考全国卷一难度降低分数线上涨也是同理），不过个人认为试卷难度下降并非一件好事，带来的弊端：分数过高，使得往

原创 Matlab调用python—基于tensorflow的数字识别

1.运行环境Windows 10MatlabR 2018bPython 3.7Tensorflow2.02.简单的函数调用matlab程序：列出了Python信息，如版本、路径等，表示能正常检测到Python。其中isloaded表示是否已加载Python，如果执行了Python语句或调用了Python模块，isloaded就变为1>> pyversion version: '3.7' executable: 'F:\software\env

原创 硕士生活随笔

终于赘述这一年来的经历。1月，考研租房结束进行期末考试，租房期间遇到了种种恶心的人和事情，透过现象看本质，自己对自己负责，在逸夫楼休息的时候，看了《睡在我上铺的兄弟》这部电影，回想起了本科3年半的时光，还好有剩下的半年时间去体验，可谁曾想到新冠疫情爆发打乱了所有人的安排和计划。在离开学校的前一刻，收到了导师让去拿物联网大赛一等奖第一名的获奖证书，天道轮回。幸亏是飞机回家，没有路过武汉（高铁和火车回去是要路过的），回到家后，可能是考研期间独自一人在小黑屋复习了3个月，看了很多电视剧，大概20多部。2月

原创 强化学习——应用环境

原创 强化学习——连续动作空间与DDPG

1.离散动作VS连续动作离散的动作：游戏的操作动作可数，例：向上下左右连续动作：输出的动作不可数 例：推锤子推的力，转方向盘2.DDPGDQN->DDPGActor-Critic结构（评论家-演员）目标网络target network+经验回放replay memory...

原创 强化学习——蒙特卡洛MC与时序差分TD

1.蒙特卡洛与时序差分蒙特卡洛在一个回合(epsiode)结束后再进行更新，时序差分在每一步(step)进行更新2.蒙特卡洛因为未来总收益Gt和Gt+1存在一定的关系，所以从后往前算，先算G3再算G2然后G1利用神经网络理解Policy Gradient手写数字通过神经网络识别，可以看出手写数字是9，更希望神经网络识别出也是数字9，这里利用交叉熵（Cross Entropy）计算2个概率之间的差值Policy Gradient预测每个状态state输出动作

原创 强化学习——随机策略与策略梯度

1.value-based 与policy-based2.softmax函数3.举例：策略网络输入的是整个图像（向量或矩阵），输出的是3个动作的概率（向量）代表策略输出的概率，在状态s下选择a的概率，由于环境的随机性，不同的策略到不同的环境，这个概率用p来表述，称作状态转移概率。代表智能体在环境s选择动作a后有多少概率去s'（智能体的选择是可以优化的，环境的随机性是无法人为控制的）期望回报：在正常的情况下不会穷举所有的轨迹，且环境转移概率也不易计算，所以当

原创 强化学习-DQN

1.DQN的2个创新点经验回放（Experience）：样本关联性 1）序列决策的样本关联 2）样本利用率低固定Q目标： 非平稳性 1）算法非平稳2.经验回放：利用off-policy的优势战斗过程是一个经验池（固定长度的队列），这样的一条经验是士兵和环境交互得到的：当超过经验池的容量后，弹出一条旧的经验，腾出新的空间。军师为了打乱经验池，随机从经验池中抽取数据更新表格。好处：1）打乱样本关联性 2）提高样本利用率相关代码：3.固定Q目标监督学习：输入x，目的

原创 强化学习——函数逼近与神经网络

1.函数逼近可数的状态可用Q表格表示，但在实际中的应用状态的数量级十分大，所以可采用值函数近似。2.神经网络输入训练数据，输出结果神经网络可用逼近任意连续函数神经网络代码举例：3.DQN 使用神经网络求解RL问题中的经典算法DQN的本质为Q-learing，从environment中获得state，通过查表，获得Q值及动作，然后输出给环境，拿到下一个state和reward。DQN的改进在于直接把Q表格换成神经网络4.监督学习其训.

原创 强化学习 ——On-Policy与Off-Policy

1.on-policy与off-policySarsa（on-policy）优化的是实际上执行的策略，拿下一步一定执行的action来优化Q表格，Sarsa知道自己 下一步会跑到悬崖去，所以在这一步它会尽可能的离悬崖远一点，保证下一步即使是随机动作，也会在安全区域内。off-policy在学习的过程中，保留2种策略：1）希望学到的最佳的目标策略 （target policy），2）探索环境的策略(behavior policy)，大胆探索环境为了给目标学习，off-policy由于将目标与行为策略分

原创 强化学习——Sarsa

1.Sarsa:核心：拿下一步的Q值来更新这一步的Q值sample（） 输入的为状态，输出的为动作。再进行learn（）需要注意要先通过next_obs拿到next_action2.3.Sarsa与环境交互3.1Sarsa Agent 根据Q表格选动作3.2.更新Q表格...

原创 强化学习——强化概念

1.强化概念：巴浦洛夫的条件反射实验在不断的重复实验后，下一个状态的价值不断的强化影响上一个状态的价值。2.Temporal Differenct时序差分（TD单步更新）拿下一步的Q值更新这一步的Q值第一个为想要逼近的目标值，软更新的方式是每次更新一点点，在这个不断更新的过程中需要3.与环境交互...

原创 强化学习——MDP与Q表格

1.强化学习MDP四元组<S,A,P,R>为了方便理解，这里引入了人和熊的例子，当人碰到熊的时候为了生存，在某一时刻是赶紧跑还是躺下装死。状态转移概率仅取决于当前的状态和之前的状态都没有关系，此过程取决于智能体和环境的动作2.状态转移与序列决策3.Model-free试错探索针对环境是未知的或随机的4.Q表格根据长时间人与熊的活动总结出一个价值表格，这个表格即为Q表格举例说明：普通车闯红灯得到的reward是负数，而救护车闯红灯得到的rew

原创 强化学习——基础概念科普

本文的参考资料均来自飞桨PaddlePaddle的强化学习七日课程，这里仅做总结。强化学习的核心思想：智能体agent在环境environment中学习，根据环境的状态state，执行动作action，并根据环境的反馈奖励reward来指导更好的动作。两部分：agent 智能体、environment环境三要素：state状态/ observation观察值、action动作、reward奖励一个生动的例子来说明：强化学习的应用：1.小鸟游戏：小鸟作为agent，当前场景为sta

原创 硕士生活随笔

记录一下近期的生活感悟。在这样的一所高校中，时常容易沦落为泛泛之辈，永远不要忘记规划与拼搏，此处绝大多数人的水平仍需要提升，大象无形，大盈若冲。路走的越远，越可以发现，生活中存在的一些问题，许多人（也包括自己）都在为自己的懒惰找借口。一名和我同级的同学，生病后恢复状态，因为疫情的原因，在家可以说是待废了吧，除了完成毕业论文之外，工作或者今年的考研却间接性选择了放弃，距离考研还有40天不到，仍每天在社交平台上分享自己的动态，个人判断考上的机率太小。去年自己考研的时候，除了有些人搞事情之外，几乎断绝了和

原创 硕士生活随笔

毕业已3月有余，今日稍作记录。自7月以来，共为本科学校获得4项国家级立项，1项国家级竞赛奖励，3项省级竞赛奖励，3项软著，这应该是我最后可以带领实验室所能打下来的难关，此等收获其实并未想到。帮助学弟保研东北大学，也圆了我本科阶段保研的遗憾。泛珠赛，不出意外，这是我最后一次以湖科学子的身份代表母校了，身为湖科计算机物联网工程的学子，毕业后感觉到一丝骄傲，指导老师第一次陪我们参赛，也是最后一次。回首本科期间40多次省级国家级竞赛失利一次，10项专利软著，1篇SCI论文，6项国家级项目。若比赛结束

原创 大学生活随笔

今天看微信视频号的时候被学弟点赞的一个视频触动到了，小视频的背景音乐是“起风了”，视频的大概内容是从小学到工作的青春懵懂的点点滴滴，本来觉得平淡无奇，但是那一刻深深地触动了我，男生蹲在地上流泪，女生赶紧抱住他，安慰他。这一幕让我回想到了一年以前，她在开学前一天晚上和我提出了分手，本是一起去学校的高铁，但她却改签了，在原来的那趟长达5个小时的高铁上，自己一个人在高铁中的厕所泣不成声，还发了照片给她，但她却坚决不接电话，不回消息，到了湘潭站等了1个小时，终于等到她，但她看到我时感觉很诧异，一路跟着她，到了学校的

原创 软件设计大赛之git上传项目

上一次使用github还是在做那个道歉挽回网站，本想交给团队成员，但因时间问题，最后自己上手，所用的账号还是之前做按个道歉挽回的账号。流程如下：所采用的git的账号是由比赛方提供的，需要绑定自己账号的公钥生成SSH秘钥连接github（详细教程）github的SSH密钥如何在github上传本地项目代码（新手使用）git操作及fatal: Authentication fail...

原创 增长学习型情感分析整理

一、情侣间的分手与和好 近日身边状况层出不穷，在成功预测两对情侣分手，三对情侣分手后和好后有感而发，本无意更新，但无奈更新在朋友圈及空间不便，便记录下来，以待后日增长学习。 无论是分手还是和好，好像自从8月之后，自己有了一种“魔力”，预测的全部应验了。有时候可能是当局者迷？我通过他们其中一方的描述或对其社交动态的了解做出来的大胆的推测及判断。目前的准确率为100%，究其原因...

原创 CCF CSP 练习 2019 -03-01 大中小

课设划水来练习一下CCF，再过6天就是测试了，希望这次有一个好一点的成绩。#include <bits/stdc++.h>using namespace std;int a[100005];int main(void){ int n; scanf("%d", &n); for(int i = 0; i < n; i++) ...

原创 LED屏幕上轮流显示三色条纹、彩虹、四叶草（数组与内存映射的采用）

因其粤嵌的开发板的显示屏为800*480像素，显示三色条纹、彩虹、四叶草，故进行数学的基础计算，然后遍历800*480，赋值颜色数组法：构建一个480*800的二维数组，加上数学关系暴力。（代码的函数封装为0，因其不为我写的代码）#include <stdio.h>#include <sys/types.h>#include <sys/stat.h&gt...

原创 嵌入式开发——写一个简单的函数，在指定的位置能够显示一个指定颜色，指定大小的矩形

#include <stdio.h>#include <sys/types.h>#include <sys/stat.h>#include <fcntl.h>#include <unistd.h>#include <sys/mman.h>int main(){ int fd = open("/dev/f...

原创 物联网工程生产实习——粤嵌篇 第三天（色素点与映射）

LCD 屏幕的显示 LCD是什么？ 文件 打开 读写 关闭 LCD文件名：/dev/fb0 linux把LCD这种硬件设备一般抽象成 FrameBuffer 帧缓冲：能够显示一帧一帧的图像 打开屏幕设备： open("/dev/fb0",O_RDWR); ...

原创 物联网工程生产实习——粤嵌篇 第二天（嵌入式开发基础流程）

前言：在第一天完成了基础的环境搭建和准备工作后，第二天可以进行基础的嵌入式开发，主要在熟悉相关流程和基础的代码。linux系统常用命令：开发板上面自带一个linux系统 ls list 列举目录中所有的文件 ls + 目录名 如果没加目录名，就默认列举当前目录 cd change dir 切换路径 cd 不加任何东...

原创 计算从出生到今天，一共活了多少天。

思路1：利用时间线，可以选择遍历从出生+1 年到今天所在的年份-1年的每一年，判断是否闰年，加上365/366天数，然后出生那一年/今天所在的年份先进行闰年判断，再看是否闰月影响，然后计算总天数即可，时间复杂度O(N),(N记作出生年与所在年的年数差)。其中可以不断优化，优化月天数数组，年天数数组等小技巧。亦可直接进行数学规律计算，时间复杂度O(1)（实现相对麻烦一点点，但思路很简...

原创 物联网工程生产实习——粤嵌篇 第一天（环境搭建）

一、基础问题篇linux中怎么用gcc编译c文件VMware虚拟机如何设置共享文件夹二、笔记篇IP: 10.1.12.xxx (2~254)子网掩码： 255.255.255.0网关： 10.1.12.1 首先DNS: 218.75.247.245备选DNS: 211.67.208.1VNC：10.1.1...

原创 U盘再次中毒——U盘文件消失却占内存

https://pan.baidu.com/s/1Bl8-4ySJl9oOy03DUdFLsw#list/path=%2F提取码：aozn（来源：https://zhuanlan.zhihu.com/p/50001796）

原创 U盘exe病毒导致电脑中毒解决方案

U盘插在学校周围的打印店，很容易受到exe病毒的影响，使得U盘中的文件夹变成exe，若电脑中没有杀毒软件或者处于关闭状态的话，容易导致电脑中This computer is being attacked病毒，亲身经历。This computer is being attacked病毒的症状：1、电脑每隔几秒钟跳出一个“This Computer is being attacked”蓝...

原创 针对服务器访问人数过大，如何下载资源

方法一：使用迅雷下载，将需要下载的软件放到迅雷中的新建下载的链接中，例：下载Eclipse软件 、访问节能减排大赛官网的获奖情况（拿了一个国三，预料之中）还有其他的方法待提出补充，这里只做一个小技巧的记录...