ivy_reny-CSDN博客

转载机器学习之集成学习（七）随机森林scikit-learn库

一、scikit-learn随机森林类库概述在scikit-learn中，RF的分类类是RandomForestClassifier，回归类是RandomForestRegressor。RF的变种Extra Trees也有分类类ExtraTreesClassifier，回归类ExtraTreesRegressor。由于RF和Extra Trees的区别较小，调参方法基本相同，本文...

2018-02-09 10:32:12 2690 1

转载机器学习之集成学习（六）Bagging与随机森林

集成学习有两个系列，一个是boosting系列，它的特点是各个弱学习器之间有依赖关系。另一个是bagging系列，它的特点是各个弱学习器之间没有依赖关系，可以并行拟合。本文就对集成学习中Bagging与随机森林算法做一个总结。随机森林是集成学习中可以和梯度提升树GBDT分庭抗礼的算法，尤其是它可以很方便的并行训练，在如今大数据大样本的的时代很有诱惑力。一、Bagging原理

2018-02-08 18:56:13 1370

转载机器学习之集成学习（五）GBDT算法scikit-learn库

参考：http://www.cnblogs.com/pinard/p/6143927.html一、GBDT类库概述在scikit-learn中，GradientBoostingClassifier为GBDT的分类类，而GradientBoostingRegressor为GBDT的回归类。两者的参数类型完全相同，当然有些参数比如损失函数loss的可选择项并不相同。这些参

2018-02-08 18:15:29 1457

原创机器学习之集成学习（四）GBDT

一、概述 GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在提出之初就和SVM一起被认为是泛化能力（generalization）较强的算法。GBDT的思想使其具有天然优势可以发现多种有

2018-02-08 17:09:38 2194

转载机器学习之集成学习（三）AdaBoost算法scikit-learn库

参考：https://www.cnblogs.com/pinard/p/6136914.html一、AdaBoost类库概述 scikit-learn中AdaBoost类库比较直接，就是AdaBoostClassifier和AdaBoostRegressor两个，从名字就可以看出AdaBoostClassifier用于分类，AdaBoostRegressor用于回归。

2018-01-24 18:15:52 2378 1

原创机器学习之集成学习（二）AdaBoost算法

一、boosting算法的基本原理集成学习器根据个体学习器的生成是否存在依赖关系，可以分为两类：个体学习器间存在强依赖关系，必须串行生成，代表算法是boosting系列算法；个体学习器之间不存在强依赖关系，可以并行生成，代表算法是bagging和随机森林系列算法。在boosting系列算法中，AdaBoost是最著名的算法之一。AdaBoost既可以用作分类，也可以用作回归。

2018-01-24 16:29:07 4940 1

原创机器学习之集成学习（一）Ensemble Learning

一、集成学习概述集成学习通过构建并结合多个学习器来完成学习任务。通过将多个学习器结合，常可以获得比单一学习器显著优越的泛化性能，达到博采众长的目的。集成学习有两个主要的问题需要解决：1、如何训练每个学习器？2、如何融合各个学习器？二、个体学习器要获得好的学习器，个体学习器应“好而不同”，即个体学习器要有一定的准确性，并且

2018-01-23 18:39:56 750

转载机器学习之朴素贝叶斯Naïve Bayes (二) scikit-learn算法库

参考：http://www.cnblogs.com/pinard/p/6074222.html一、scikit-learn 朴素贝叶斯类库概述朴素贝叶斯是一类比较简单的算法，scikit-learn中朴素贝叶斯类库的使用也比较简单。相对于决策树、KNN之类的算法，朴素贝叶斯需要关注的参数是比较少的，这样也比较容易掌握。在scikit-learn中，一共有三个朴素

2018-01-23 10:52:40 1366

原创机器学习之朴素贝叶斯Naïve Bayes (一)

一、贝叶斯定理贝叶斯分类是一类分类算法的总称，这类算法以贝叶斯定理为基础，故统称为贝叶斯分类。贝叶斯定理解决了现实生活中经常遇到的问题：已知某条件概率，如何得到事件交换后的概率，即在已知P(A|B)的情况下求得P(B|A)。条件概率P(A|B)表示事件B已经发生的前提下，事件A发生的概率，叫做事件B条件下发生事件A的条件概率。其基本求解公式为：P(A|B)=P(AB)/P(B)

2018-01-22 18:56:12 1727

转载机器学习之支持向量机SVM Support Vector Machine (六) 高斯核调参

参考：http://www.cnblogs.com/pinard/p/6126077.html 在支持向量机（以下简称SVM）的核函数中，高斯核（以下简称RBF）是最常用的，理论上 RBF一定不比线性核函数差，但是在实际应用中，却面临几个重要超参数的调优问题。如果调的不好，可能比线性核函数还要差。所以实际应用中，能用线性核函数得到较好效果的都会选择线性核函数。如果线性核效

2017-12-22 14:40:49 2781

转载机器学习之支持向量机SVM Support Vector Machine (五) scikit-learn算法库

参考：http://www.cnblogs.com/pinard/p/6117515.html一、scikit-learn SVM算法库概述 scikit-learn中SVM的算法库分为两类，一类是分类算法库，包括SVC、 NuSVC和LinearSVC三个类。另一类是回归算法库，包括SVR、NuSVR和LinearSVR三个类。相关的类都包裹在sklearn.s

2017-12-22 10:06:12 1131

原创机器学习之支持向量机SVM Support Vector Machine (四) SMO算法

基本思想序列最小最优化算法（Sequential Minimal Optimization, SMO）。优化目标函数：min┬a⁡〖1/2 ∑_(i=1)^m▒∑_(j=1)^m▒〖a_i a_j y_i y_j K(x_i,x_j ) 〗-〗 ∑_(i=1)^m▒a_i s.t.∑_(i=1)^m▒〖a_i y_i=0〗〖0≤a〗_i≤C， i=1,2,…m解需要满足的KKT

2017-12-21 11:44:44 533

原创机器学习之支持向量机 (三) SVM回归模型Support Vector Regression (SVR)

SVM回归模型的损失函数SVM不仅可以用于分类模型，也可以用于回归模型。回顾SVM分类模型，目标函数是1/2 ‖w‖^2最小，同时让训练集的数据点尽量远离自己类别一边的支持向量，即y_i (w∙ϕ(x_i )+b)≥1。如果加入松弛变量ξ_i≥0，则目标函数是1/2 ‖w‖^2+C∑_(i=1)^m▒ξ_i ，对应的约束条件是y_i (w∙ϕ(x_i )+b)≥1-ξ_i回归模型的优化目标

2017-12-21 11:43:22 10482

原创机器学习之支持向量机SVM Support Vector Machine (二) 非线性SVM模型与核函数

求解线性分类问题，线性SVM是一种非常有效的方法，但是有时分类问题是非线性的，这时可以使用非线性SVM。非线性问题往往不好求解，希望能用解线性分类问题的方法解决这个问题，可以采用非线性变换，将非线性问题变换为线性问题，通过解决变换后的线性问题的方法求解原来的非线性问题。在线性回归中，可以将多项式回归转化为线性回归。比如一个只有两个特征的p次多项式回归模型：h_θ (x_1,x_2 )=θ_

2017-12-21 11:41:36 1013

原创机器学习之支持向量机SVM Support Vector Machine (一) 线性SVM模型与软硬间隔

一、简介 SVM是一种二类分类模型，它的目标是利用训练数据集的间隔最大化找到最优分离超平面。SVM还包括核技巧，使它成为非线性分类器。 SVM学习方法包含由简至繁的模型：线性可分SVM（硬间隔SVM）、线性SVM（软间隔SVM）、非线性SVM。二、间隔与支持向量给定训练样本集，分类学习的目标是基于训练集D在样本空间找到一个分离超平面，将不

2017-12-15 18:07:39 1436

转载机器学习之线性回归 Linear Regression（三）scikit-learn算法库

参考http://www.cnblogs.com/pinard/p/6026343.html scikit-learn对于线性回归提供了比较多的类库，这些类库都可以用来做线性回归分析，本文就对这些类库的使用做一个总结，重点讲述这些线性回归算法库的不同和各自的使用场景。线性回归的目的是要得到输出向量Y和输入特征X之间的线性关系，求出线性回归系数θ，也就是

2017-12-11 11:32:54 5042

转载机器学习之逻辑回归 Logistic Regression（三）scikit-learn算法库

参考http://www.cnblogs.com/pinard/p/6035872.html1、概述在scikit-learn中，与逻辑回归有关的主要是这3个类。LogisticRegression， LogisticRegressionCV 和logistic_regression_path。其中LogisticRegression和LogisticRegress

2017-12-11 09:38:33 4091

转载机器学习之决策树 Decision Tree（三）scikit-learn算法库

参考http://www.cnblogs.com/pinard/p/6056319.html1、scikit-learn决策树算法类库介绍 scikit-learn决策树算法类库内部实现是使用了调优过的CART树算法，既可以做分类，又可以做回归。分类决策树的类对应的是DecisionTreeClassifier，而回归决策树的类对应的是DecisionTreeRegres

2017-12-08 17:32:03 5744 1

原创机器学习之决策树 Decision Tree（二）Python实现

计算给定数据集的熵from math import log# 计算给定数据集的熵def calcShannonEnt(dataSet): numEntries = len(dataSet) labelCounts = {} for featVec in dataSet: # 为所有可能分类创建字典 currentLabel = featVec[-1] # 最后一列数据为键值

2017-12-08 14:01:04 794

原创机器学习之决策树 Decision Tree（一）

一、决策树决策树是一个树结构（可以是二叉树或非二叉树），每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，按照其值选择输出分支，直到到达叶节点，将叶节点存放的类别作为决策结果。二、决策树的构造构造决策树的关键步骤是在某个节点处

2017-12-07 17:15:44 2006

原创机器学习之逻辑回归 Logistic Regression（二）Python实现

参考http://blog.csdn.net/han_xiaoyang/article/details/49123419 在一组数据上做逻辑回归，数据格式如下：先来看数据分布，代码如下：from numpy import loadtxt, wherefrom pylab import scatter, show, legend, xla

2017-12-04 17:23:10 626

原创机器学习之逻辑回归 Logistic Regression（一）

参考http://blog.csdn.net/han_xiaoyang/article/details/49123419一、逻辑回归逻辑回归是一个应用非常广泛的机器学习分类算法，它将数据拟合到一个logit函数中，从而完成对事件发生概率的预测。线性回归对连续值进行预测，现实生活中常见的另一类问题是分类问题。最直接的想法是，用线性回归预测出连续值结果，根据结果设定一个阈值进行

2017-11-24 14:07:00 5552

原创机器学习之线性回归 Linear Regression（二）Python实现

一元线性回归假设你想计算匹萨的价格。虽然看看菜单就知道了，不过也可以用机器学习方法建一个线性回归模型，通过分析匹萨的直径与价格的线性关系，来预测任意直径匹萨的价格。假设我们查到了部分匹萨的直径与价格的数据，这就构成了训练数据，如下表所示：import matplotlib.pyplot as pltdef runplt(): plt.figure() p

2017-11-22 10:59:55 30181

原创机器学习之线性回归 Linear Regression（一）

一、线性回归线性回归一般用来做连续值的预测，预测结果为一个连续值。因为训练时学习样本不仅要提供学习的特征向量X，还要提供样本的实际结果，所以它是一种有监督学习。表示数据矩阵，其中表示一个n维长的数据样本，表示数据标记。线性回归需要学习得到一个映射关系，当给定新的待预测样本时，可以通过这个映射关系得到一个测试样本X的预测值y。线性回归的数学

2017-11-22 10:40:40 2199

转载 IC设计流程概述

芯片设计分为前端设计和后端设计，前端设计（也称逻辑设计）和后端设计（也称物理设计）并没有统一严格的界限，涉及到与工艺有关的设计就是后端设计。1. 规格制定芯片规格，也就像功能列表一样，是客户向芯片设计公司（称为Fabless，无晶圆设计公司）提出的设计要求，包括芯片需要达到的具体功能和性能方面的要求。2. 详细设计 Fabless根据客户提

2017-10-23 18:07:38 4701

转载一个合格数字IC设计工程师的知识结构

原文地址：http://kellen.wang/zh/the-knowledge-base-of-a-qualified-ic-design-engineer/I. 技能清单作为一个真正合格的数字IC设计工程师，你永远都需要去不断学习更加先进的知识和技术。因此，这里列出来的技能永远都不会是完整的。我尽量每年都对这个列表进行一次更新。如果你觉得这个清单不全面，可以在本

2017-10-23 11:23:36 8222

转载 IC设计经典书籍

1. 《Verilog HDL高级数字设计》中文版和原著。这本书本人以为是讲Verilog方面的最好的一本书，看完此书后，相信大家的code水平会有很大提高。书中例子极其丰富，涵盖了RISC、UART、异步FIFO、数字信号处理、乘法器和触发器，其中一章讲一个简单RISC的部分尤其值得仔细揣摩，可以令大家受益匪浅。书中很好的贯穿了code风格与综合电路的关系，以及状态机的写法。

2017-10-23 09:53:37 9593 2

转载正则表达式30分钟入门教程

本文目标 30分钟内让你明白正则表达式是什么，并对它有一些基本的了解，让你可以在自己的程序或网页里使用它。如何使用本教程最重要的是——请给我30分钟，如果你没有使用正则表达式的经验，请不要试图在30秒内入门——除非你是超人 :) 别被下面那些复杂的表达式吓倒，只要跟着我一步一步来，你会发现正则表达式其实并没有你想像中的那么困难。当然，如果

2017-10-16 14:08:14 339

1. 简介Vim（Vi[Improved]）编辑器是功能强大的跨平台文本文件编辑工具，继承自Unix系统的Vi编辑器，支持Linux/Mac OS X/Windows系统，利用它可以建立、修改文本文件。进入Vim编辑程序，可以在终端输入下面的命令：$vim [filename]其中filename是要编辑的文件路径名。如果文件不存在，它将为你建立一个新文件。Vim编辑程序有三种操作模式，分别称为编辑

2017-10-13 18:13:24 457

转载 I2C总线

一、概述 I2C是Inter-integrated circuit的缩写，两条双向的线，一条SDA (Serial Data Line)，另一条SCL (Serial Clock)。SCL：上升沿将数据输入到每个EEPROM器件中，下降沿驱动EEPROM器件输出数据（边沿触发）。SDA：双向数据线，为OD门，与其它任意数量的OD与OC门成“线与”关系。速率：普通模

2017-10-13 11:21:52 1038

原创 UART

概述 UART（Universal Asynchronous Receiver and Transmitter）通用异步收发器，从硬件角度看，实物表现为独立的模块化芯片，或作为集成于微处理器中的周边设备，在开发板设计和测试阶段用来控制CPU与其余部分的信息传送，将数据在串行传输与并行传输间进行转换。UART作为软件协议来看，是异步串口通信协议的缩写，包括了RS232、RS499、

2017-10-11 11:27:16 826

原创 SPI总线协议

一、概述 SPI（Serial Peripheral Interface，串行外围设备接口），是Motorola公司提出的一种同步串行接口技术，是一种高速、全双工、同步通信总线，在芯片中只占用四根管脚用来控制及数据传输，节约了芯片pin的数目，同时为PCB在布局上节省了空间。正是由于这种简单易用的特性，现在越来越多的芯片上都集成了SPI技术。SPI主要用于EEPROM、Fla

2017-10-10 09:36:04 17965

原创 AHB总线协议

1. 简介 AHB总线规范是AMBA总线规范的一部分，AMBA总线规范是ARM公司提出的总线规范，被大多数SoC设计采用，它规定了AHB (Advanced High-performance Bus)、ASB (Advanced System Bus)、APB (Advanced Peripheral Bus)。AHB用于高性能、高时钟频率的系统结构，典型的应用如ARM核与系统内

2017-09-30 18:36:00 78550 17

原创汉明码和扩展汉明码

纠错编码的基本原理　　3位二进制数字构成的码组，共有8种不同的组合。任一码组在传输中若发生一个或多个错码，将变成另一信息码组，此时无法发现错误。若如下所示，使用部分码字，则接收端在某一位发生错误时，可以发现一个错码。但是这种码不能发现两个错码，因为发生两个错码后产生的是许用码字。该码只能检测错误，不能纠正错误，当收到的码组为禁用码字100时，无法判断时哪一位码发生了错误，如000、101、110都可

2017-09-29 15:36:10 17717 3

转载 DC简明教程

1.1 什么是DC? DC(Design Compiler)是Synopsys的logical synthesis优化工具，它根据design description和constraints自动综合出一个优化了的门级电路。它可以接受多种输入格式，如硬件描述语言、原理图和netlist等，并产生多种性能报告，在缩短设计时间的同时提高读者设计性能。1.2 DC能接受多少种输入格式

2017-09-18 16:07:40 2836

转载 Synopsys全系列工具简介

Synopsys的产品线覆盖了整个IC设计流程，使客户从设计规范到芯片生产都能用到完备的最高水平设计工具。公司主要开发和支持基于两个主要平台的产品， Galaxy设计平台和Discovery验证平台。这些平台为客户实现先进的集成电路设计和验证提供了整套综合性的工具。 Synopsys解决方案包括：　　· System Creation(系统生成)　　· System Ve

2017-09-18 15:29:07 13693

转载 ASIC/SoC验证

Mentor ASIC/FPGA验证平台介绍 ASIC/FPGA设计验证流程是一个复杂的过程，它由多个工作环节组成，对于工程师团队来说哪一个环节没有把握好都有可能会引入严重的设计问题，我们推荐的ASIC/FPGA设计验证流程如下图所示。图1 – ASIC/FPGA开发流程设计团队和验证团队从对产品规格书的需求分析开始，将工作分解为各个流程块，

2017-09-18 11:35:23 9041

转载 ASIC/SoC设计

IP/ASIC/SoC设计流程与环境平台下图是目前行业主流的IP/ASIC/SoC设计流程以及行业认可的EDA技术平台，其中整合了Synopsys、Mentor Graphics以及Cadence公司的相关技术和产品，构成完整的设计流程和方法学。如上图所示，在大规模复杂的ASIC和SoC设计领域，Mentor Graphics公司的仿真验证技术、低功耗优化技术、软硬件协同验证技术、DF

2017-09-18 09:35:27 10233

转载 NandFlash ECC 校验算法原理与实现

ECC的全称是Error Checking and Correction，是一种用于Nand的差错检测和修正算法。如果操作时序和电路稳定性不存在问题的话，NAND Flash出错的时候一般不会造成整个Block或是Page不能读取或是全部出错，而是整个Page（例如512Bytes）中只有一个或几个bit出错。ECC能纠正1个比特错误和检测2个比特错误，而且计算速度很快，但对1比特以上的错误无法纠

2017-05-15 19:02:01 10142 6

翻译每个程序员都应该了解的内存知识3——虚拟内存

英文原文：http://lwn.net/Articles/253361/

2017-03-23 09:44:46 515

空空如也

空空如也