- 博客(40)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 【PARL强化学习】环境搭建
PaddlePaddle前言1、创建虚拟环境2、安装库3、CUDA、cuDNN安装4、基础测试5、实例测试结语前言抢了半年显卡，终于5.1时在pdd买到了原价的rtx3050(买不起不是我的问题，是矿老板的)。不用来玩机器学习太浪费了，刚好对Reinforcement Learning很感兴趣，今天就费了半天功夫搭环境，做下记录。我准备搭建的环境构成如下：gym，模拟问题环境。PARL，搭建模型和训练Agent。PaddlePaddle-gpu，利用GPU训练。我个人的电脑环境如下：W
2022-05-05 17:43:12
2963
原创 想让VSCode识别自己的编程语言？立马安排
VSCode语法高亮插件前言一、安装Yeoman generator二、插件项目搭建三、项目结构四、Syntaxes4.1 $schema4.2 patterns4.3 repository五、安装插件结语前言大家好！最近我在做自己的毕业设计，简单来说需要自制一个编程语言，当然具体情况还要更复杂。现在语言本身已经有一定完成度了，但是在我测试的时候，看白底黑字的Notepad总是感觉差那么点意思。VSCode那多彩的高亮，自动补全括号真是用了就忘不掉，那有没有办法让我们自己的语言也能被VSCode高亮呢？
2021-11-14 19:04:55
4666
1
原创 【李宏毅机器学习笔记】BP算法
Backpropagation神经网络中，我们利用梯度下降法来对损失函数进行优化，这在神经元数量不多的时候很有效。但是深层神经网络中，有上百万的参数需要调整，单纯使用梯度下降法可以算，但几乎不可能算完。因此我们需要更有效的方法来优化损失函数，这也就引出了反向传播(backpropagation)链式法则下图是多层神经网络的一个模型，现在我们要对损失函数L进行优化，即对其中每个参数求偏导。以图中三角部分为例，展开：假设该部分的模型函数如下：z=w1x1+w2x2+bz=w_1x_1+w_2x_2+
2021-08-20 20:09:30
298
原创 Win10 免密登录Linux服务器
SSH免密登录前言Windows端Linux端前言SSH免密，其实是一个非常基础且简单的流程。然而百度搜索到的各种博客愣是能把一个简单的事情说得很复杂，我决定自己写一篇，以免每次查到博客把自己血压拉满。Windows端Windows端要做的就是生成公钥私钥，然后把公钥发给服务器，就这么简单，你需要打开Powershell，然后输入：ssh-keygen -t rsa之后一路回车即可，如下图：然后进入上图中它默认给的密钥存储位置，默认都是C:\Users\你的用户名\.ssh\Linux端
2021-07-08 10:18:41
644
原创 【Puppeteer】豆瓣爬虫示例
Puppeteer 豆瓣爬虫Puppeteer是谷歌在Chrome Headless的基础之上，开发出来的无界面操作与js接口套装，详细的介绍可以看官网。官网上有给出一些demo，比如打开网页并截取长图，模拟使用iPhone打开网页等等。不过利用Puppeteer实际上就是模拟用户与Chrome交互的特点，用来写爬虫是很方便的。下面我以豆瓣为例，写一个例子。1、模块引用虽说Puppeteer是谷歌针对Chrome设计的，但实际上Chromium核心的浏览器都可以使用，只需要指定启动位置即可，例如我使
2021-05-10 14:08:07
842
4
原创 各种数据类型在内存中的存储内容
一、前言这两天在复习计组第二章（数据的表示和运算），我快被这些破题搞吐了，你说很难吗？它也不难，它真的是那种很恶心的感觉。就你做一道浮点数让你转换成IEEE754你觉得还成，连着做30道真是想死的心无法阻挡。于是我一怒之下就写了个函数，毕竟没有人比计算机更懂计算机，爷不算了，你直接告诉我你自己存的是个什么玩意！二、代码不跟你多bb，直接上代码了#include <stdio.h>#include <iostream>using namespace std;templ
2021-01-29 19:48:03
213
1
原创 OpenGL实现基本的光线追踪
光线追踪NZL 21/1/13一、前言这是我图形学这门课的期末作业，我觉得还挺有意思的就写一篇博客记录一下。本身这门课学的技术都是四五十年前的了，相当于图形学的入门课程，所以用到的公式，方法可能都过时了。我只是按照老师教的方法，结合一些论文的辅助，把一个基本的光线追踪算法实现了而已，如果有图形学大佬那么尽可以对本文嗤之以鼻。二、项目结构由于实现光照渲染需要用到GLSL，而我又没有该方面基础，因此使用了一个模板：framework.h/cpp，它来源于国外一门课程的仓库。按照模板的说明，你不应该动其
2021-01-13 19:38:33
6724
5
原创 Win10 通过Java API远程操控HBase
Hbase Java API一、前言二、Hbase2.1 安装Hbase2.2 伪分布式配置2.3 修改主机名与ip映射2.3.1 修改主机名2.3.2 修改Linux中的hosts2.3.3 修改Windows中的hosts2.3.4 意义2.4 启动Hbase2.5 若创建表失败三、Eclipse编写Java3.1 新建项目，手动导包3.2 编写代码参考资料一、前言学习Hadoop时，了解一些有关NoSQL的知识，今天一个实验就有关Hbase。这部分不是重点，掌握Shell控制方法就足够了，不过我还
2020-10-27 22:01:19
765
原创 Win10 通过Java API对虚拟机中的HDFS进行读写操作
Win10 Hadoop开发一、前言二、虚拟机设置三、Windows Java配置3.1 JDK下载3.2 JAVA环境变量四、Windows Hadoop配置4.1 下载Hadoop4.2 Hadoop环境变量4.3 安装winutils.exe4.4 hadoop.dll五、Eclipse5.1 Eclipse hadoop插件安装如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也
2020-10-23 23:02:01
1393
1
原创 Deepin 20 外接显示器配置
Deepin 外接显示器配置一、前言二、Nvidia显卡驱动2.1 下载驱动2.2 卸载旧驱动2.3 禁用nouveau2.4 安装驱动三、显示器设置3.1 驱动检查3.2 显示器设置2020.9.12一、前言最近电脑上的Win10出了不少bug，莫名其妙的网速被限制在10Mbps，排查了半天也没解决，心想重置一下算了，但是重装一堆环境毕竟麻烦，恰逢最近上课经常和Linux打交道，就想装一个Deepin双系统凑活用用。我的工作环境是笔记本用dp组菊花链外接两个屏幕，结果Deepin装完之后我发现只有
2020-09-12 20:13:38
6919
11
原创 MySQL分布式集群配置—07 MySQL Server安装验证
MySQL Server安装验证2020.9.11一、登录MySQL为了验证 MySQL Cluster正确安装，登陆 Cluster Manager/SQL Server节点（本指南为192.168.50.129）。打开MySQL 客户端连接到root 账号:mysql -u root -p 输入password(123456)并回车，如果配置正确终端应该变为mysql>的形式运行指令：SHOW ENGINE NDB STATUS \G，这将打印NDB引擎的相关信息。一般来讲原生分辨
2020-09-11 16:15:42
365
原创 MySQL分布式集群配置—06 MySQL Server和Client安装
MySQL Server和Client安装2020.9.9一、MySQL Cluster依赖包cd installsudo dpkg -i mysql-common_8.0.19-1ubuntu16.04_amd64.debsudo dpkg –I mysql-cluster-community-client-core_8.0.19-1ubuntu16.04_amd64.debsudo dpkg -i mysql-cluster-community-client_8.0.19-1ubunt
2020-09-11 16:15:04
500
原创 MySQL分布式集群配置—05 Ubuntu配置数据结点
Ubuntu配置数据结点2020.9.11192.168.50.128 IP的虚拟机只需要完成该步骤即可（需要129先完成所有步骤）。一、安装与配置# 依赖环境sudo apt-get –f install sudo apt install libclass-methodmaker-perl# 数据节点包sudo dpkg -i mysql-cluster-community-data-node_8.0.19-1ubuntu18.04_amd64.deb# 数据节点将从固定位
2020-09-11 16:13:49
553
原创 MySQL分布式集群配置—04 Ubuntu安装MySQL Cluster
Ubuntu安装MySQL Cluster2020.9.11一、创建Mysql用户如无特殊说明，之后的所有操作均应以mysql用户进行。adduser mysql usermod -aG sudo mysql二、从共享文件夹中拷贝cd /mnt/hgfs/ShareFilesudo cp -r mysql-cluster_8.0.19-1ubuntu16.04_amd64.deb-bundle.tar.tar /home/mysql三、解压缩解压缩cd /home/mysql
2020-09-11 16:12:57
1112
原创 MySQL分布式集群配置—03 Ubuntu与主机共享文件
Ubuntu与主机共享文件2020.9.11一、VMware tools安装在Ubuntu 14.04以上的版本需要连网安装VMware Tools：sudo apt-get updatesudo apt-get install open-vm-tools open-vm-tools-desktop open-vm-tools-dkms open-vm-tools-dev -ysudo reboot二、设置共享文件夹VMware软件中点击“虚拟机”——“设置”——“选项”——“共享文件夹
2020-09-11 16:11:02
463
原创 MySQL分布式集群配置—02 Ubuntu Server 配置静态IP
Ubuntu Server 配置静态IP2020.9.11一、VMware配置在"虚拟网络编辑器"中，找到NAT网络，取消勾选“使用本地DHCP服务将IP地址分配给虚拟机”修改子网IP为：192.168.50.0，子网掩码：255.255.255.0点击NAT设置，修改网关IP：192.168.50.2确定保存二、Ubuntu设置打开网络配置文件sudo vim /etc/network/interfaces安装时应该是默认配置了动态IP，因此其文件内容应该如下：# This
2020-09-11 16:09:27
555
原创 MySQL分布式集群配置—01 Ubuntu换源
MySQL分布式集群配置2020.9.11一、前言此处是对专业选修课“高级数据库”的实验内容《2台机器搭建MySQL集群环境》的记录。老师发的指南已经算是傻瓜式的了，不过做起来也还是遇到了一些问题，整理了一下搭建流程，也包含了一些VMware的常用设置，希望对以后有帮助。由于搭建流程较长，如果写在一篇文章中阅读时间会很长，因此我会按步骤将其分开，在每一篇的文末会有下一篇的传送门。二、ubuntu16.04更换国内源如果不进行换源，那么所有关于apt-get的命令运行时间都会过长，因此换源是有必要
2020-09-11 16:07:24
406
原创 Superset部署与Mapbox配置
Superset部署一、前言二、部署2.1 Linux2.1.1 安装Docker2.1.2 部署superset镜像2.2 Windows2.2.1 系统依赖2.2.2 虚拟环境2.2.3 安装工具2.2.4 superset安装三、数据库连接四、可视化4.1 Mapbox一、前言暑期实习倒数第三个工作日，实在是看不下去源码了，一周从头开始做一个可视化工具然后给人家留个烂尾项目也不现实。pgAdmin4对于PostgreSQL的支持很完美，包括备份与还原都支持，但是实在是没有二次开发的教程。昨晚看到一
2020-08-27 16:42:48
1843
原创 pgAdmin4 CentOS7部署
pgAdmin4 CentOS7部署一、前言二、安装流程2.1 安装pgAdmin42.2 配置Apache服务器2.3 建立数据保存路径2.4 修改config_local.py2.5 创建pgadmin登录用户2.6 SElinux配置2.7 防火墙通行2.8 运行三、常见错误3.1 setup.py依赖错误3.2 运行问题一、前言实习老板要求我开发一个PostgreSQL的数据库管理工具，要求是B/S型。我当场疑惑，这不是安装的时候就自带一个pgAdmin4，而且完美符合他的要求吗？一问之下才发现
2020-08-25 14:20:04
1317
原创 QGIS 插件开发模板
QGIS插件模板生成虽然我的工作不是做QGIS中带有图形界面的插件开发，但是自学的时候也了解了一下，整个流程不是很困难，分享一下，万一哪天我真的得做呢。一、安装生成模板插件在QGIS中，插件-管理并安装插件，搜索Plugin Builder，安装结束后即可在：插件-Plugin Builder中新建一个规范化的插件模板。这里建议再安装一个Plugin Reloader，方便我们更新插件后重置，否则每次都需要重启QGIS第一个弹出的窗口中需要填写以下信息：Class name：即在Python中
2020-07-24 10:08:21
797
原创 PyCharm QGIS环境配置
Pycharm环境配置QGIS的脚本开发实际上有两种，一种是直接在QGIS自己的Python Console中写代码并运行，这样的最大好处是没有任何的环境配置要求，而且你可以用iface这个万能API。但是一方面用惯了IDE看着丑陋的编辑器很别扭，另一方面，也就是另一种脚本开发，QGIS脚本实际上是脱离QGIS软件本身的，我们只是需要调用QGIS的一些包来完成目标操作，如果你去Google查，这种叫做standalone script两种方式使Pycharm可以识别QGIS包1、设置解释器方式首先请
2020-07-24 10:00:57
2388
原创 PostGIS数据库搭建与gdb数据导入
PostGIS数据库PostGIS数据库搭建一、PostGIS安装1.1 PostgreSQL安装1.2 PostGIS安装1.3 PgAdmin二、一键导入.gdb数据2.1 OSGeo4w安装GDAL2.2 验证安装2.3 一键导入三、QGIS连接PostGIS数据库四、常见问题4.1 OSGeo4w换源4.2 一键导入报错PostGIS数据库搭建暑期接了一个实习的活，主要是关于QGIS这个软件的一些功能开发（说是开发其实是批处理）。不过得先会走才能跑，这个软件本身还没搞明白就想着开发是不行的。同事
2020-07-24 09:38:33
5409
8
原创 【学习机器学习】实验——聚类算法性能度量
聚类算法性能度量前言一、实验目的二、实验内容1、变量a，b，c，d2、Jaccard系数3、闵可夫斯基距离4、avg，diam，dmin，dcen，DB指数4.1 avg（C）4.2 diam（C）4.3 dmin(C1,C2)4.4 dcen(C1,C2)4.5 DB指数5-1、VDM，无序属性处理5-2、MinkovDM，混合属性处理6、归一化三、实验结果1、abcd和Jaccard系数2、avg，diam，dmin，dcen，DB指数2.1 avg（C）2.2 diam（C）2.3 dmin(C1,C
2020-06-12 13:02:36
1709
原创 【学习机器学习】实验——神经网络
matlab实现神经网络前言一、实验目的二、实验内容1、导入数据2、划分训练集与测试集3、构建神经网络3.1 函数参数分析3.2 输入、输出矩阵3.3 调用newff()4、BP训练算法5、网络仿真三、实验结果四、拓展实验五、实验总结前言越难的理论往往有着最简单的实践，因为老师也知道我们的水平真要写至少也得给一个月时间，所以干脆允许你们使用内建函数了哈。神经网络就是最典型的例子，三个函数，正确调用即可，代码实在没什么可写的所以我把函数的参数意义比较完整的写了出来。代码的部分参考了这篇博客一、实验目的
2020-05-29 11:27:50
3719
3
原创 【学习图像处理】编码优化
预测编码前言编码优化1、无损预测编码2、有损预测编码代码实现结语前言这次只是对之前两次编码实验的一个小小的补充，没有很多的内容。而且临近期末了，我也不是很想去写一些很复杂的优化策略了，只用最最简单的线性预测来进行编码优化。经测试赫夫曼编码的压缩效率提高了很多，LZW依旧取决于图像，但是不会出现反向压缩的问题了。编码优化上次在进行LZW编解码时我提到过有反向压缩的问题，给出了一种很麻烦的解决方法，就是用变长的码表来逐一试，最终试出效果最好的那个。然而你要是全自动的试也就算了，bitset还只能手动编译
2020-05-26 18:22:08
1137
1
原创 【学习图像处理】之实验四——图像编码之LZW编码
LZW编解码前言LZW编码1、简介2、原理3、两个问题一、实验内容二、代码实现与分析1、编写函数，获得赫夫曼编码表2、根据赫夫曼编码，将像素数据用编码表示3、将编码后的图片数据写入文件4、读取压缩后的图像文件和赫夫曼编码表4.1 读取赫夫曼编码表4.2 读取图像数据5、利用赫夫曼编码表还原图像文件结语前言这应该是本学期图像处理的最后一次实验内容了，虽然还有选做的算数编码，那个我还在研究中，目前的进度是卡在如何解决运算量过大导致的运行时间过长问题。LZW编码看起来简单，实际上遇到的问题还是不少，踩了很多
2020-05-24 14:34:58
2882
原创 【学习机器学习】实验——线性模型实现
决策树前言一、实验目的二、实验内容1、导入数据2、划分训练集与测试集3、多元线性回归3.1 多元线性回归系数矩阵3.2 多元线性回归可视化3.3 测试集检验4、线性判别分析4.1 编写线性判别分析4.2 线性判别分析可视化4.3 测试集检验三、实验总结PS：对数几率回归前言上周五机器学习的实验课内容，由于图像处理占用了大量时间（即便现在还在研究），所以腾不出时间写博客了。而且机器学习部分的实验内容多数要求调用matlab自带函数，因此也没有什么可讲的变成部分。下面的部分，我直接使用了实验报告的内容。一
2020-05-22 10:53:04
3645
原创 【学习机器学习】实验——决策树
决策树前言一、实验目的二、实验内容1、导入数据2、将数据分为训练集与测试集3、采用训练集建立决策树三、实验结果1、Cart算法绘制决策树后记前言五一假期跳过了一次实验课，结果这周五上实验课老师竟然直接跳过了决策树的实验，虽然说我也不能算是白写了，毕竟算是锻炼自己，不过总还是有点难受的~哼。恕我懒得再去调整格式了，下面的内容直接是实验报告的原封内容。一、实验目的编程实现两种决策树算法，即ID3算法（以信息增益为特征）和Cart算法（以基尼指数为特征），使用Matlab自带函数。二、实验内容1、导
2020-05-17 14:03:06
4230
原创 【学习图像处理】之实验三——图像编码之赫夫曼编码
//@TOC图像编码写在前面，这一次的实验相当有难度，完全自己写体会很深刻，把C/C++对于文件读写部分的内容相当全面的覆盖到了，并且也对算法的设计有较高要求。按照惯例我们还是先说说为什么要对图像进行编码。现在4K逐渐开始普及了，8K的产品也开始销售了，但是这些超高清背后的数据量，你有考虑过嘛？我们拿现在已经不算稀奇的FullHD（1080p）来做一笔计算：一幅（帧）图像的字节数：1920∗1080∗3=6.22M1920*1080*3=6.22M1920∗1080∗3=6.22M120分钟的电
2020-05-13 17:25:27
6661
9
原创 【学习图像处理】空域滤波增强
空域滤波增强一、空域滤波增强1、原理介绍2、代码实现二、平滑滤波1、滤波器特点2、代码实现3、效果展示三、锐化滤波1、滤波器特点2、代码实现3、效果展示三、中值滤波1、滤波器特点2、代码实现3、效果展示结语一、空域滤波增强1、原理介绍空域滤波，即在空间上对图像进行滤波处理，其目的往往在于消除图像噪声，锐化突出边缘部分等，总之使得处理后的图像在某些方面比原图像更适合当前应用。相比于频域滤波，...
2020-04-28 15:20:18
1995
原创 【学习机器学习】线性模型相关方程求解
前言机器学习已经学到线性模型了，今天课上讲了两个方法，一个是对单一属性线性回归使用的最小二乘法，一个是对多元回归使用的极大似然法。老师过的太快了没有怎么搞明白，尤其是其中的推导，大量的“易证”，实际上还是需要些步骤的。因此今天我就来把这两个方法中的一些解方程的步骤写一下1. 单一属性线性回归——最小二乘法中ω\omegaω和b求解方程组：∂E(ω,b)∂ω=2(ω∑i=1mxi2−∑i=1...
2020-04-17 20:59:30
807
2
原创 【学习图像处理】之实验二——灰度图像直方图规定化
灰度图像直方图规定化图像增强一、实验内容二、灰度直方图1、什么是灰度直方图？2、直方图均衡化3、直方图规定化三、代码实现与分析0、辅助功能实现1、绘制原图像直方图SH2、绘制均衡直方图SQH ，给出均衡图象QI3、绘出目标均衡直方图EQH4、绘制规定化变换函数T，给出最终增强图象DI及其直方图DH结语图像增强上一回我们通过进行图像反白、调整调色板取值和彩图变灰图的实验对bmp图像的数据格式有了...
2020-04-14 19:39:59
5749
1
原创 【学习机器学习】模型评估与选择——matlab版
周五实验课，基本可以说是不出所料的完成不了，因为之前用python写的时候就觉得内容太多了，好在老师先教matlab基本用法，后进行实验只要求做一个留出法就好。下面，我们使用鸢尾花(iris)数据集，先把数据划分的部分做了。...
2020-04-05 09:38:59
2494
1
原创 【学习机器学习】实验——模型评估与选择
【学习机器学习】模型评估与选择这学期的课很多都要实验啊，不过机器学习真的可以算其中比较离谱的了，不说当堂上交，就这个任务量也属实有点多。其实要到4月3号才是我们班做，提前找其他班同学要到了先用python写写，到时候可能还要用matlab重新实现。。。0、实验总览Ⅰ、编程实现训练数据集与测试数据集Ⅱ、编程实现性能度量Ⅲ、编程实现假设检验（不太会）一、任务一1.1 留出法留出法原理很...
2020-03-30 14:41:57
1551
1
原创 【学习图像处理】之实验一——处理BMP图片
BMP格式bmp是一种常见的未压缩图像格式，也是大多数图像处理入门课会用到的一种引路格式。具体的BMP图像格式解析请见：BMP图像格式详解实验内容反白图像改变调色板的颜色值，看对图像的影响将彩色图像变为灰度图像将一灰度图像数据变为文本格式存入bmp.txt中，txt文件的一行对应图像文件的一行。将bmp.txt导入到excel中，并用至少三种可视化工具将其图形化显示。老师已经给出...
2020-03-24 09:43:32
3359
1
原创 【学习数据结构】线性表——1、顺序表，含C语言实现
前言第一次写个人博客，这一切还要从一只蝙蝠说起…在家闲着也是无聊，回顾一下上学期刚学完的数据结构，就当做是一个总结和查漏补缺，主要还是写给自己看，不过我把完整的头文件代码贴在最后，如果大家有需要可以直接使用。1、什么是线性表？线性表是n个数据元素（结点）a1, a2, …an组成的有序序列。其中数据元素的个数n定义为表的长度，当n=0时成为空表，非空的线性表(n>0)记作:(a1,...
2020-02-12 16:47:47
618
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人