不甘平凡的码农

原创 Transformer从零详细解读(可能是你见过最通俗易懂的讲解)

Transformer是2017年火起来的。

原创 卷积神经网络

在深度学习中，深度学习，深度学习，用更深的网络去提取原始数据当中的特征，是这么理解的吧，那应该是层数越多越好吧，是这样的一个事儿吗。因为在实验当中发现一个事儿，这个事儿挺奇怪的，就是16层的网络要比30层网络，继续堆叠就是重复的加这些卷积和池化，16层的时候比30效果好。边缘填充（padding）：越往边界的点，能够计算的次数越少，越接近中间的点，计算次数越多，为了使得边界的点计算次数多，引入padding，弥补边界信息缺失的问题（边界提取特征不充分问题），使得网络能够更加公平的对待边界特征。

原创 机器学习——主成成分分析PCA

如上图所示，一共有4个属性，身高（ m为单位），身高（cm）,时速（每小时公里），时速（每小时里），身高的两个属性是相关的，时速的两个属性也是相关的，我们把四组具有相关性的变量转换成了两组不相关的变量，我们把转换后的这2组变量称为它的主成分。说白了，就是这两组变量能够代表这个人的身高特征和骑自行车的特征。在实际的数据中，用肉眼可能看不出这些数字的相关性，所以 要通过算法找出哪些特征和哪些特征是线性相关的，这就是主成分要做的事儿。换一种说法，找到一条直线，使得所有点到直线的距离的平方和最短。

原创 过拟合和欠拟合

训练误差会随着模型容量增加，训练误差开始下降；泛化误差会下降，降低到某一个点的时候，开始上升。模型足够复杂，通过各种手段控制模型容量，使得最后泛化误差往下降。通过控制这两个属性来控制模型的复杂度。第一个模型过于简单，第二个过于拟合。我们更多的关注泛化误差。

原创 感知机、多层感知机、激活函数sigmoid

和做内积加上一个偏置常熟b，让其做一个函数，以前回归输出的是实数，softmax回归输出的是概率。

原创 最小二乘法，极大似然估计，交叉熵

我们在训练神经网络的时候，其实就是用神经网络中的各种模型去和人脑中的这个模型去匹配，匹配的方式就是调整图像尽量和它重合。我们想用神经网络的模型去逼近人脑中的概率模型，和这个极大似然估计的过程就非常像。左边是人脑模型，右边是神经网络模型，人脑模型我们对猫有一个明显的识别边界，神经网络中总会有些偏差，我们想让神经网络的模型和我们人脑中的模型尽量一致。极大似然估计，本质上就是在计算神经网络里面的概率模型的似然值，找到那个极大似然值，这个就应该是最接近现实情况的那个概率模型。比较两种概率模型的差距的方法。

原创 机器学习简答题

有监督学习是指训练数据中包含了输入和输出的标签信息，目标是通过已知输入和输出来预测新数据的标签。无监督学习是指训练数据中只有输入特征，没有输出标签，目标是根据数据的内在结构、分布或相似性进行聚类、降维等操作。具体例子：假设我们有一组包含房屋面积和销售价格的数据。如果我们要根据已有数据预测新房屋的销售价格，这就是一个有监督学习的问题。而如果我们只有房屋面积的数据，但没有任何关于价格的信息，我们可以使用聚类算法将相似大小的房屋分组，这是一个无监督学习的问题。

原创 机器学习计算题——朴素贝叶斯

例题1例题2例题3

原创 机器学习计算题——svm支持向量机

引入一点高中的线性规划，我在接下来的题目确实可以用这种思想计算，并且非常快得到答案。

原创 五分钟学完朴素贝叶斯算法

个人感觉如下链接讲的比较好。

转载 五分钟学完决策树用于回归

本文来源于：本文仅为记录。

原创 五分钟学完决策树ID3算法

由于涉及到数学符号不好打字，放几张基础概念图。如果你是小白，你不要被下面的公式迷惑。这其实很简单，你看不懂可以先略过，结合后面的实例来理解这个公式，等看完实例你就懂了。不过下面关于这个公式的描述可以说非常具体了，阅读体验还是不错的。

原创 五分钟学完k-means

聚类算法有很多种，是聚类算法中的最常用的一种，算法最大的特点是简单，好理解，运算速度快，但是只能应用于连续型的数据，并且一定要在聚类前需要手工指定要分成几类。

原创 五分钟学完DBSCAN算法

如果P为核心点，Q在P的R邻域内，那么称P到Q密度直达。任何核心点到其自身密度直达，密度直达不具有对称性，如果P到Q密度直达，那么Q到P不一定密度直达。密度可达：如果存在核心点P2，P3，……，Pn，且P1到P2密度直达，P2到P3密度直达，……，P(n-1)到Pn密度直达，Pn到Q密度直达，则P1到Q密度可达。密度可达也不具有对称性。其中Q为非核心点。解释：p1密度直达p2,p2直达p(n),红色点都是核心点，但是Q是非核心点，所以p1密度直达Q。

原创 线性回归中的似然函数、最大似然估计、最小二乘法怎么来的（让你彻底懂原理）收官之篇

如图4，最小二乘法是我们通过误差表达式化简得到的，化简后的表达式一共分为两部分，一个是常数，另一个就是去掉系数后的最小二乘法表达式，规定这个表达式即为最小二乘法。当我们进行求解的时候，对于机器来说，加法比较容易求解，对于乘法求解比较复杂，所以引入对数似然。参数要和所有的数据进行组合，不能仅满足一些样本，要满足所有的样本，要进行整体的一个考虑，要看所有的样本能不能进行一个满足。有些复杂的损失函数，我们很难用数学的方法，求出损失函数的全局最小值以及对应的参数值，这就是为什么需要梯度下降算法的原因。

原创 可能是全网最详细的线性回归原理讲解！！！

所用到的两个矩阵求导公式参考于知乎：https://zhuanlan.zhihu.com/p/273729929，里面有公式的详细证明 梯度下降法参考于知乎 马同学：https://www.zhihu.com/question/305638940/answer/1639782992，个人觉得是讲梯度下降中最直观的一个回答。ps：此处的特征向量有别于线性代数中的特征向量，准确来讲这里的特征向量是一个样本的所有属性值。可以结合视频来学习，本文是一个图片教程，有错误欢迎大家指正，多多交流！

原创 本地电脑如何连接使用腾讯云服务器

连接上后显示的就是一台Windows的电脑，和操作自己的电脑一样用，没什么两样，简单得很。

原创 conda常用命令

pip install -i https://pypi.mirrors.ustc.edu.cn/simple/ labelimg 使用labelimg，这个组件可以使用pip安装，安装指令。出现的原因就是你当前设定的镜像源已经不支持该包了，所以需要重新设定，删除已经设定好滴默认镜像源，执行下面的命令后就恢复了原来的源。阿里云开源镜像站：https://mirrors.aliyun.com/pypi/simple/豆瓣：https://pypi.douban.com/simple/

原创 torch.cuda.is_available()=false的原因

3、命令行cmd输入nvidia-smi（中间没有空格），查看显卡信息，cuda9.2版本只支持Driver Version>396.26；如果小于这个值，那么你就需要更新显卡驱动，可以通过各种的软件管家更新，或者通过英伟达的官网。下图是个提示，提示你安装cuda的时候，不是看这里的cuda,这个cuda仅仅是你电脑支持的最大的cuda的版本。2驱动程序安装成功后，记得再次检查命令行检查nvidia-smi的显卡驱动版本有没有变化。1、检查是否为nvidia显卡；2、检查GPU是否支持cuda;

原创 pytoch安装指定版本教程&pytorch1.3安装笔记

2、然后进入到以下界面，点击torch，这里会有更多的torch版本以及torchvision版本。如果电脑里安装了其他的torch版本，另外生成一个环境可以防止原先torch版本被替换掉。返回图4界面，点击torchvision进入以下界面，找到我所要的版本啦啦啦。但我安装的是cuda9.2版的torch，安装就没有这么方便了。4、在anconda终端需要联网安装，不支持提供包安装，如下图。3、终于找到了torch1.3，于是点击链接，下载安装。以上仅为个人学习笔记，如有错误，请不吝赐教，不胜感激！

原创 数据库复习——闭包

先列出X(0)的非空子集，即AB的非空子集为{A，B，AB}。然后扫描F集合，寻找{A，B，AB}可能存在的函数依 赖，就可以得到：AB→C，B→D。然后判断X(0)如果等于X(1)就结束，所求即为答案，如果X(0)不等于X(1)就继续计算。同第二步求X(1)得非空真子集，然后在F中一次寻找函数依赖，可以得到：AB→C，B→D，C→E，AC→B。【例】关系模式R<U，F>，其中U={A，B，C，D，E}，F={AB→C，B→D，C→E，EC→B，AC→B}，求（AB)+第一步，令X(0)=AB。

原创 操作系统之微内核架构

然而，需要注意的是，微内核架构在某些方面具有优势，例如更好的可维护性和可扩展性，以及更高的系统稳定性。更高的性能优化机会：宏内核通常具有更大的内核空间，允许进行更多的性能优化，如内核函数之间更高效的调用和数据共享。微内核架构是不能够提供什么实际功能的，而内存管理、进程管理、设备管理和文件管理服务等，都被做成一个个服务进程，它们和用户进程一样，只是它们能够提供宏内核里边提供的功能。优化的系统调用：在宏内核中，系统调用通常更加高效，因为它们直接调用内核中的功能，而微内核的系统调用通常需要更多的层级。

原创 软件开发生命周期模型

每一次迭代过程由需求、设计、编码、测试和集成等阶段组成，为整个系统增加一个可定义的、可管理的子集。也可将该模型看做是重复执行的多个“瀑布模型”。“迭代”意味着模型中的开发活动常常需要多次重复，每次重复都会增加或明确一些目标系统的性质，但却不是对先前工作结果的本质性改动。是一种将系统按软件生命周期划分为制定计划、需求分析、软件设计、程序编写、软件测试和运行维护等6个基本活动，并且规定了它们自上而下、相互衔接的固定次序的系统开发方法。是瀑布模型的一种演变模型，将测试和分析与设计关联进行，加强分析与设计的验证。

原创 用例图包含关系、扩展关系、泛化关系解析（最全总结，非常详细）

一般用户有很多功能，其中包括各种信息的查看，这时可以建立一个查询信息这一个用例，然后下面在包含查看余额、查看上机记录、查看充值记录这三个小用例。

原创 java网络编程

java网络编程1、软件体系结构2、网络通信协议1、软件体系结构C/S架构B/S架构两种架构各有优势，但是都离不开网络的支持。网络编程，就是在一定的协议下，实现两台计算机的通信程序。2、网络通信协议TCP/IP协议： 传输控制协议/因特网互联协议( Transmission Control Protocol/Internet Protocol)，是 Internet最基本、最广泛的协...

原创 请说明一下JAVA虚拟机的作用是什么?

Java虚拟机能够将class字节码解释成可执行的机器码。Java与平台无关其实是Java字节码与平台无关，Java源文件被编译成class字节码文件，class字节码在Java虚拟机中被解释成机器码，所以在不同的平台，只要有Java环境，那么就可以把字节码解释成对应平台的机器码，即Java被称作“与平台无关的编程语言”；...

原创 数据结构——时间复杂度的计算各类题型

转载 KMP模式匹配

转载 如何解决Xshell连接VMware中centos 失败？

如何解决Xshell连接VMware中centos 失败？CentOS安装好了后,在Linux中操作都是使用命令行,虽然CentOS可以输入命令行,但是,并不好用,这时我们可以选择第三方命令行工具比较好用的命令行工具有:– Putty– Xshell– SecureCRT当然,并不止这些,还有很多,我只选择这几个,用得比较多的就是:Xshell如何获...

转载 IDEA下运行web项目 页面出现中文乱码解决方案

一、说明：出现页面乱码的原因有多种，这里我的项目配置文件以及html文件都配置了字符集为UTF-8；所以文件配置错误的可能性较小；上网查了可能是tomcat或者idea本身配置有问题，这里重新配置tomcat后问题解决了，下面给出tomcat的解决方案；二、解决方案：1、tomcat---->Edit Configurations2、选择Startup/Connection---...

原创 三层架构与SSM框架的对应关系

三层架构与SSM框架的对应关系一、什么是框架二、三层架构与SSM框架的对应关系三、持久层技术解决方案1.JDBC技术2.Spring的JdbcTemplate3.Apache的DBUtils一、什么是框架框架是软件开发中的一套解决方案，不同的框架解决的是不同的问题。使用框架的好处：①框架封装了很多细节，可以使开发者提高效率。②低耦合，高内聚。代码的健壮性和可扩展性增强。二、三层架构与SSM...

转载 Java向上下转型的理解

一开始学习 Java 时不重视向下转型。一直搞不清楚向下转型的意义和用途，不清楚其实就是不会，那开发的过程肯定也想不到用向下转型。其实向上转型和向下转型都是很重要的，可能我们平时见向上转型多一点，向上转型也比较好理解。但是向下转型，会不会觉得很傻，我是要用子类实例对象，先是生成子类实例赋值给父类引用，在将父类引用向下强转给子类引用，这不是多此一举吗？我不向上转型也不向下转型，直接用子类实例就行...

转载 Java对象为啥要实现Serializable接口？

我在一个IBM工程师的博客里面看到一个说法，我感觉对于我理解序列化很有帮助，他说序列化的过程，就是一个“freeze”的过程，它将一个对象freeze住，然后进行存储，等到再次需要的时候，再将这个对象de-freeze就可以立即使用。客户端访问了某个能开启会话功能的资源， web服务器就会创建一个与该客户端对应的HttpSession对象，每个HttpSession对象都要站用一定的内存空间。如...

转载 idea2019--创建和配置javaweb项目

idea2019--创建和配置javaweb项目 原创 ...

设计模式（单例模式、）

单例模式是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例类的特殊类。通过单例模式可以保证系统中一个类只有一个实例而且该实例易于外界访问，从而方便对实例个数的控制并节约系统资源。如果希望在系统中某个类的对象只能存在一个，单例模式是最好的解决方案。【采用单例模式动机、原因】对于系统中的某些类来说，只有一个实例很重要，例如，一个系统中可以存在多个打印任务，但是只能有一个正在工作的任务；...

原创 C语言编译遇到的错误提示总结

C语言编译遇到的错误提示总结error1:expected ‘=’, ‘,’, ‘;’, ‘asm’ or ‘__attribute__’ before ‘{’ tokenerror1:expected ‘=’, ‘,’, ‘;’, ‘asm’ or ‘attribute’ before ‘{’ token解决方案：很有可能是你定义了函数却忘记了声明。我遇到的情况是定义了函数，其中声明函数...

转载 结构体定义 typedef struct 用法详解和用法小结

typedef可以声明新的类型名来代替已有的类型名，但却不能增加新的类型。　　typedef为C语言的关键字，作用是为一种数据类型定义一个新名字。这里的数据类型包括内部数据类型（int,char等）和自定义的数据类型（struct等）。　　在编程中使用typedef目的一般有两个，一个是给变量提供一个易记且意义明确的新名字（类型有新别名，方便变量的定义），另一个是简化一些比较复杂的类型声明。...

原创 linux守护进程设置开机自启动的两种方式

linux守护进程设置开机自启动的两种方式前期准备第一种方式第二种方式前期准备首先，我们创建一个守护进程1、守护进程初始化程序init.c文件如下：#include<unistd.h>#include<signal.h>#include<sys/param.h>#include<sys/types.h>#include<sys/...

转载 进程间的5种通信方式详细介绍

进程间的5种通信方式详细介绍一、管道无名管道进程间通信（IPC，InterProcess Communication）是指在不同进程之间传播或交换信息。IPC的方式通常有管道（包括无名管道和命名管道）、消息队列、信号量、共享存储、Socket、Streams等。其中 Socket和Streams支持不同主机上的两个进程IPC。一、管道无名管道特点：半双工通信，即数据流只能在一个方向上...

转载 Linux下条件编译

#if 的用法#if 用法的一般格式为：#if 整型常量表达式1 程序段1#elif 整型常量表达式2 程序段2#elif 整型常量表达式3 程序段3#else 程序段4#endif它的意思是：如常“表达式1”的值为真（非0），就对“程序段1”进行编译，否则就计算“表达式2”，结果为真的话就对“程序段2”进行编译，为假的话就继续往下匹配，直到遇到值为...