- 博客(64)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 SVM原理和SOM算法总结
1 原问题约定：Data=(xi,yi)i=1N,xi∈Rp, yi∈{1,−1}{(x_i,y_i)}_{i=1}^N,\quad x_i\in R^p,\ y_i\in \{1,-1\}(xi,yi)i=1N,xi∈Rp, yi∈{1,−1},则SVM变为如下的最优化问题：(1){min12wTws.t.yi(wTxi+b)≥1⟺1−yi(wTxi+b)≤0\left\{\begin{array}{l}min \frac{1}{2}w^T w \\s.t. y_i
2020-05-15 12:40:12
1257
转载 EM算法
期望最大期望最大算法的目的是解决具有隐变量的混合模型的参数估计（极大似然估计）。MLE 对 p(x∣θ)p(x|\theta)p(x∣θ) 参数的估计记为：θMLE=argmaxθlogp(x∣θ)\theta_{MLE}=\mathop{argmax}\limits_\theta\log p(x|\theta)θMLE=θargmaxlogp(x∣θ)。EM 算法对这个问题的解决方法是采...
2020-04-28 02:21:51
412
原创 shuxuemoxing_iris visilization
玩转鸾尾花Iris 鸢尾花数据集是一个经典数据集，在统计学习和机器学习领域都经常被用作示例。\quad数据集内包含 3 类共 150 条记录，每类各 50 个数据，\quad每条记录都有 4 项特征：花萼长度、花萼宽度、花瓣长度、花瓣宽度，可以通过这4个特征预测鸢尾花卉属于（iris-setosa, iris-versicolour, iris-virginica）中的哪一品种。\qua...
2020-03-11 00:47:26
442
原创 shuxuemoxing_knn
一 案例1(Ⅱ 肿瘤预测案例)【案例】给定10组肿瘤相关数据的特征值[3.3935, 2.3312], [3.1101, 1.7815], [1.3438, 3.3684], [3.5823, 4.6792], [2.2804, 2.8670], [7.4234, 4.6965], [5.7451, 3.5340], [9.1722, ...
2020-03-10 22:50:01
258
转载 python讲稿5 迭代器,可迭代对象,生成器
本文部分参考：Python迭代器，生成器–精华中的精华 https://www.cnblogs.com/deeper/p/7565571.html一 迭代器和可迭代对象迭代器是访问集合元素的一种方式。。迭代器只能往前不会后退。迭代器的一大优点是不要求事先准备好整个迭代过程中所有的元素，仅仅在迭代到某个元素时才计算该元素，而在这之前或之后，元素可以不存在或者被销毁。这个特点使得它特别适合用于遍...
2020-03-10 22:07:51
279
2
原创 python讲稿4_2 类2 单下划线,双下划线
Python 用下划线作为变量前缀和后缀指定特殊变量分三种:单下划线开始的变量,如_xxx,表示不能用’from module import *'导入双下划线开始的变量,如__xxx,表示类中的私有变量名前后各有双下划线的变量,如__xxx__,表示系统定义名字,也叫magic variable(魔术变量)class Student: def __init__(self,...
2020-03-10 22:06:35
195
原创 python讲稿4_1 类1 属性绑定和引用
1 python类1.1 python类定义class Employee: '所有员工的基类' empCount = 0 def __init__(self, name, salary): self.name = name self.salary = salary Employee.empCount += 1 def di...
2020-03-10 22:05:48
394
原创 python讲稿3 函数定义和函数参数
在Python中，定义一个函数要使用def语句,python强制要求格式1 定义我们以自定义一个求绝对值的my_abs函数为例：def my_abs(x): if x >= 0: return x else: return -x调用my_abs(x)如下:print(my_abs(-9))1.1 空函数def nop(): ...
2020-03-10 22:05:03
636
原创 python讲稿1(list,tuple,dict)
python变量类型python变量不需要类型声明.基本类型counter = 100 # 赋值整型变量miles = 1000.0 # 浮点型name = "John" # 字符串字符串s='runnoob'字符串的索引有2中顺序:从左到右索引默认0开始的从右到左索引默认-1开始的[头下标:尾下标] 获取的子字符串包含头下标的字符，但不包含尾下标的字符。...
2020-03-03 16:46:11
635
原创 python讲稿2 while,for循环
if else语句1.1 if elseif 判断条件： 执行语句……else： 执行语句……# 例1：if 基本用法 score=65if score<60: result='不及格'else result='及格'1.2 if elif elseif 判断条件1: 执行语句1……elif 判断条件2: 执行...
2020-03-03 16:44:38
881
转载 c++(ege)32位
1 安装带mingw的codeblocks.2 下载EGE图形库并解压注意：EGE图形库主站链接是:http://xege.org/，不要在主页上下载，主页上默认下载是64位的，大家可以百度一下ege，下载一个12.xx的版本即可。3 安装图形库步骤如下：4 配置codeblocks以实现编译EGE项目(一定要在自己的项目上右键选择build options,然后设置上面的各种配...
2019-05-20 11:48:29
665
1
转载 python讲稿7 Bernoulli naive bayes
from numpy import *import jiebaimport stringdef loadDataSet(): postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'd...
2019-05-14 09:20:53
724
转载 python讲稿6 Multinomial naive bayes
'''Created on Oct 19, 2010@author: Peter'''from numpy import *import jiebaimport stringdef loadDataSet(): postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ...
2019-05-14 09:20:20
508
转载 python9讲稿 bayes多分类(3类)
import pdb,jieba,string#pdb.set_trace()import os,sysimport numpy as np#1 函数定义部分def textParse2(bigString): stop_f=open('d:/email/stopwords.txt',encoding='utf8') stopwords=list() for li...
2019-05-14 09:19:41
317
转载 python10讲稿 bayes多分类(10类)
import pdb,jieba,string#pdb.set_trace()import os,sysimport numpy as np#1 函数定义部分def textParse2(bigString): stop_f=open('d:/email/stopwords.txt',encoding='utf8') stopwords=list() for li...
2019-05-14 09:19:02
268
转载 python13讲稿 knn
一 . K-近邻算法（KNN）概述\quad最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢，其次就是存在一个测试对象同时与多个训练对象匹配，导致一个训练对象被分到了多个类的问题，基于这些问题呢，就产生了KNN。\quadKNN是通过测量不同特征值之间的距离...
2019-05-14 09:18:18
285
转载 python11讲稿 bayes+tfidf多分类(2类)
import pdb,jieba,string#pdb.set_trace()import os,sysimport numpy as np#1 函数定义部分def textParse2(bigString): stop_f=open('d:/email/stopwords.txt',encoding='utf8') stopwords=list() for li...
2019-05-14 09:17:46
370
转载 python12讲稿 bayes+tfidf多分类(3类)及总结对比
1 语料准备和加载模型import pdb,jieba,string#pdb.set_trace()import os,sysimport numpy as np#1 函数定义部分def textParse2(bigString): stop_f=open('d:/email/stopwords.txt',encoding='utf8') stopwords=list(...
2019-05-14 09:14:09
525
转载 python EM算法1
原文:https://blog.csdn.net/hx14301009/article/details/81228692https://blog.csdn.net/zouxy09/article/details/8537620假设我们需要调查我们学校的男生和女生的身高分布。在校园里随便地活捉了100个男生和100个女生，他们共200个人（也就是200个身高的样本数据）。一 高斯模型你开始喊...
2019-05-14 00:23:11
612
转载 python EM算法2
1硬币问题先看一个抛硬币问题，如果我们有A和B两个不均匀硬币，选择任意一个硬币抛10次(这里我们知道选择是的哪一个硬币)，共计选择5次。正面记为H，背面记为T。记录实验结果，求A和B再抛正面向上的概率？使用极大似然估计(Maximum likelihood)来算：统计出每次实验，正反面的次数多次实验结果相加相除得到结果，P(A)=0.8,P(B)=0.45但是在实际过程中，很有可能...
2019-05-13 20:12:46
412
转载 EM算法双硬币模型的python实现
1 双硬币模型$\quad`假设有两枚硬币A、B，以相同的概率随机选择一个硬币，进行如下的抛硬币实验：共做5次实验，每次实验独立的抛10次，结果如图中a所示，例如某次实验产生了H、T、T、T、H、H、T、H、T、H，H代表正面朝上。假设试验数据记录员可能是实习生，业务不一定熟悉，造成下面两种情况 ：$\quad`a) 表示实习生记录了详细的试验数据，我们可以观测到试验数据中每次选择的是A还是...
2019-05-13 20:12:13
1901
转载 python kmeans图像分割
原文：https://blog.csdn.net/google19890102/article/details/52911835一、理论准备1.1、图像分割图像分割是图像处理中的一种方法，图像分割是指将一幅图像分解成若干互不相交区域的集合，其实质可以看成是一种像素的聚类过程。通常使用到的图像分割的方法可以分为：基于边缘的技术基于区域的技术基于聚类算法的图像分割属于基于区域的技术。...
2019-05-13 20:11:32
13795
5
转载 K-means聚类算法及python代码实现
转载自https://www.cnblogs.com/ahu-lichang/p/7161613.htmlK-means聚类算法（事先数据并没有类别之分！所有的数据都是一样的）1、概述K-means算法是集简单和经典于一身的基于距离的聚类算法,采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为类簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标...
2019-05-13 20:10:49
5925
转载 python讲稿8 Gaussian bayes
高斯模型1. 通过一个例子来说明下面是一组人类身体特征的统计资料。当特征是连续变量的时候，运用多项式模型就会导致很多（不做平滑的情况下），此时即使做平滑，所得到的条件概率也难以描述真实情况。所以处理连续的特征变量，应该采用高斯模型。性别身高（英尺）体重（磅）脚掌（英寸）男618012男5.9219011男5.5817012男5....
2019-05-13 20:09:25
504
转载 python EM算法3(IRIS数据集)
1 代码1原理大致思路就是把数据建立成k个高斯分布，EM迭代N次。最后看每个点在哪个高斯分布的概率最高，就分到那个分布。computeOmega函数，用来算第i个样本属于第j个分类的概率$\omega_j^{(i)}$$,其中ωj(i)\omega_j^{(i)}ωj(i)`计算如下: ωj(i)=Qi(z(i)=j)=p(z(i)=j∣x(i);ϕ,μ,Σ)\...
2019-05-13 20:08:31
2188
转载 python EM算法4(身高体重数据集)
1 处理数据import numpy as np# 预处理数据def loadData(filename): dataSet = [] fr = open(filename) for line in fr.readlines(): curLine = line.strip('\n').split('\t') fltLine = list...
2019-05-13 20:07:37
3259
2
转载 EM算法系列-三硬币问题
来自https://www.jianshu.com/p/f4ff48025c52https://blog.csdn.net/wendaomudong_l2d4/article/details/790054611、引言概率模型有时既含有观测变量，又含有隐变量或潜在变量，如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或贝叶斯估计法估计模型参数，但是，当模型中含有隐变量时...
2019-05-13 20:04:12
1093
转载 感知器
学习率$\eta$学习率($0<\eta<1$)学习率太大，容易造成权值调整不稳定学习率太小，权值调整太慢，迭代次数太多收敛条件1 误差小于某个预先设定的较小的值2 两次迭代之间的权值变化已经很小3 设定最大迭代次数，当迭代超过最大次数就停止题目：假设平面坐标系上有三个点，(3,3),(4,3)这两个点的标签是1，(1,1)这个点的标签是-1.构建神经网络。思...
2019-05-13 20:00:56
285
转载 线性神经网络
线性神经网络(激活函数为y=x)import numpy as npimport matplotlib.pyplot as plt#输入数据X=np.array([[1,3,3], [1,4,3], [1,1,1]])#标签Y=np.array([1,1,-1])#权值初始化,1行3列，取值范围-1到1W=(np.random.random(3)-0....
2019-05-13 19:52:59
194
转载 cmd command2 cmd if条件 条件判断
一、批处理if书写格式if 条件表达式 (语句1) else (语句2)，它的含义是：如果条件表达式成立，那么，就执行语句1，否则，将执行语句2。二、四种批处理if的用法1、判断驱动器、文件或文件夹是否存在，用 if exist 语句例如：if exist c:\xue51com.txt (echo c盘下有xue51com.txt存在) else (echo c盘下不存在xue51com...
2019-05-09 10:28:51
2042
转载 cmd command1
echo命令1 echo.输出空行即相当于输入一个回车，echo后面的点要紧挨一起，中间不能有空格，后面的点可以用，：；／[ \ ]＋等任一符号替代。即：下面的命令都是输出空行：echo.echo,echo:echo;echo/echo\echo[echo]echo+2 函数：函数以一个标签开始，并以goto:eof结束函数的调用以call开始,以goto:eof结束...
2019-05-09 10:28:07
1440
转载 linear regression1
一元线性回归是数据挖掘的基础模型，其中包含了非常重要的数学回归的概念，是学习多元回归，广义线性回归的基础。本文主要讲解1）基础原理2）数学推导3）R语言演示，来介绍一元线性回归。整体思路：根据已知点求一条直线，希望直线与各个点距离之和为最小，根据最小二乘法算出最小时直线的参数。一、基础原理例1 假设你想计算匹萨的价格。虽然看看菜单就知道了，不过也可以用机器学习方法建一个线性回归模型，通过...
2019-05-09 10:27:05
264
转载 linear regression2
1 多元线性回归的矩阵解法令J(θ)=12M∑i=1n(yi−(a+bxi))2=12M(y−xθ)T(y−xθ)J(\theta)=\frac{1}{2M}\sum\limits_{i=1}^n(y_i-(a+bx_i))^2=\frac{1}{2M}(y-x\theta)^T(y-x\theta)J(θ)=2M1i=1∑n(yi−(a+bxi))2=2M1(y−xθ)T(y−xθ)...
2019-05-09 10:26:29
183
转载 c和python版本快速排序算法
快速排序由于排序效率在同为O(N*logN)的几种排序方法中效率较高，因此经常被采用，再加上快速排序思想----分治法也确实实用，因此很多软件公司的笔试面试，包括像腾讯，微软等知名IT公司都喜欢考这个，还有大大小的程序方面的考试如软考，考研中也常常出现快速排序的身影。快速排序是C.R.A.Hoare于1962年提出的一种划分交换排序。它采用了一种分治的策略，通常称其为分治法(Divide-and...
2019-05-09 10:25:28
130
转载 c和python版本冒泡排序算法比较,python调用c(c++)
c语言版冒泡排序#include <iostream>#include <sstream>#include <string.h>#include <stdio.h>#include <stdlib.h>#include <time.h>using namespace std;void bubble(int *a...
2019-05-09 10:24:52
244
转载 c,c++链接库
平时我们写程序都必须 include 很多头文件，因为可以避免重复造轮子，软件大厦可不是单靠一个人就能完成的。但是你是否知道引用的那些头文件中的函数是怎么被执行的呢？这就要牵扯到链接库了！库有两种，一种是 静态链接库，一种是 动态链接库，不管是哪一种库，要使用它们，都要在程序中包含相应的 include 头文件。我们先来回顾一下程序编译的过程。如下图：1. 静态链接库什么是静态链接呢？即在链...
2019-05-09 10:24:13
3141
转载 Logistic回归
假设现在有一些数据点，我们用一条直线对这些点进行拟合（该直线称为最佳拟合直线），这个拟合的过程就称为回归。利用Logistic（逻辑斯蒂）回归是一个分类模型而不回归模型。其进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归”一词源于最佳拟合，表示要找到最佳拟合参数。而最佳拟合参数就是在训练分类器时，通过最优化算法获得。首先，逻辑斯蒂回归是一种线性分类器，针对...
2019-05-09 10:23:16
270
转载 softmax详细的梯度求导
参考原文:https://blog.csdn.net/wfei101/article/details/80807749https://blog.csdn.net/fsdfasfawre/article/details/80586123本文通过一个简单的例子来看softmax的梯度求导过程.1 softmax函数softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可...
2019-05-09 10:22:24
15446
7
转载 GLM
原文地址：http://www.cnblogs.com/sumai/p/5240170.htmlhttp://www.cnblogs.com/BYRans/https://blog.csdn.net/tudaodiaozhale/article/details/804325520 准备知识：多项式分布多项式分布是二项分布的推广。二项分布（也叫伯努利分布）的典型例子是扔硬币，硬币正面朝上概率...
2019-05-09 10:18:18
1341
转载 实现一个range
作者：酱油哥 链接：https://www.zhihu.com/question/20829330/answer/286837159 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。class MyRange(collections.Iterator): def __init__(self, bound): self.cur = -...
2018-05-15 01:16:12
549
Computational Intelligence Based on Lattice Theory.pdf
2019-08-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人