- 博客(131)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 PyCharm Process finished with exit code -1073741819 (0xC0000005)
错误如下 Process finished with exit code -1073741819 (0xC0000005)1. h5py这个坑之前使用TensorFlow好好的，为了装cv2不小心装了一个h5py包，之后死活报上面的错误，解决方案是卸载该包：C:\Users\XXX>pip uninstall h5pyUninstalling h5py-2.7.0: Woul...
2018-09-19 16:10:56
6419
2
原创 pip报错
使用pip时报如下错误Exception:Traceback (most recent call last): File "E:\Anaconda3\lib\site-packages\pip\basecommand.py", line 215, in main status = self.run(options, args) File "E:\Anaconda3\lib\s...
2018-09-09 22:33:33
710
原创 crontab
crontab用于创建定时任务。# crontab –e# 在每天早上5点运行 /root/bin/backup.sh0 5 * * * /root/bin/backup.sh语法{minute} {hour} {day-of-month} {month} {day-of-week} {full-path-to-shell-script} minute: 区间为 0 – 59 ...
2018-08-01 16:31:03
797
原创 Pycharm安装cv2 [python3.6]
python解释器为Anaconda的3.6版本下载在这里选择对应的版本进行下载，其中参数分别为3.4.2（opencv3.4.2）、cp36（python3.6）、win_amd64（windows64位系统），根据自己的实际情况进行调整。安装将下载的文件拷贝至E:\Anaconda3\Lib\site-packages目录下，并打开命令窗口cd 至该目录下输入如下命...
2018-07-29 16:47:32
15868
1
原创 Hive执行脚本时传参
使用-hiveconf传参测试脚本-- test.sqlselect 'Start Testing ...';select ${hiveconf:day}, '${hiveconf:url}';select 'Test End!';命令行hive -hiveconf day=20180716 -hiveconf url='www.baidu.com' -S -f t...
2018-07-19 10:38:26
5349
原创 SQL常用管理命令
启动停止服务net start mysqlnet stop mysql登录mysql -uroot -ppassword: ****(输入密码)
2018-07-09 16:53:11
214
原创 SEMMDL
模型构建minP,B,S,<W,b>s.t.   ||PX−BS||2F+λ1||S||22+λ2||X−PTPX||2F+2λ3∑c=1CL(S,yc,wc,bc)PPT=I,∑i=1rB2i,j≤1,∀j=1,...,
2018-06-06 10:18:48
201
原创 主成分分析PCA
部分内容转至知乎，具体细节待整理。线性降维给定d维的原始数据X∈Rd×nX∈Rd×nX\in R^{d \times n}，选择一个r<dr<drfX(⋅)fX(·)f_X( · )可以得到一个投影矩阵P∈Rr×dP∈Rr×dP\in R^{r \times d}，最终可以得到Y=PX∈Rr×nY=PX∈Rr×nY=PX\in R^{r \times n}为降维后的数据。P...
2018-02-09 13:58:37
435
原创 高效稀疏编码公式理解
问题描述先上原文如下，要使用拉格朗日对偶求解字典，原文在《Efficient sparse coding algorithms》。基础预备关于矩阵求导的基础可以参考我的上一篇博客。开始推导上述（7）式后面一项，可以知道算出来就是一个实值，可以换做trace(BTBΛ−cΛ)" role="presentation" style="p
2018-01-29 16:34:56
446
原创 矩阵求导基础
[1] 矩阵导数定义需要用到矩阵的一些求导技术，假设对于一个大小为m×n" role="presentation" style="position: relative;">m×nm×nm×n的矩阵A" role="presentation" style="position: relative;">AAA，我们存在这样的一个映射f" role="presentation" style=
2018-01-29 12:24:53
1293
原创 test_Train_DL(SPAMS)
子函数（评估模型）function [ res,obj ] = evaluateModel( X,D,param,printResult )fprintf('模型评估中...\n');%% 求解lasso问题alpha = mexLasso(X,D,param); % 求解稀疏编码系数obj
2018-01-15 19:17:48
945
3
原创 Repmat
功能介绍这是一个处理大矩阵且内容有重复时使用，其功能是以A的内容堆叠在（MxN）的矩阵B中，B矩阵的大小由MxN及A矩阵的内容决定，如果A是一个3x4x5的矩阵，有B = repmat(A,2,3)则最后的矩阵是6x12x5。%% 输入一个矩阵A = [1,2,3;4,5,6;7,8,9];%% 将矩阵作为大矩阵的一个元素B = repmat(A,1,1);C = repmat(
2018-01-12 15:46:18
474
原创 Reshape
功能简介1.就是变换成特定维数的矩阵2.是按照列的顺序进行转换的，也就是第一列读完，读第二列，下面请看具体例子：代码%% 输入一个矩阵A = [1,2,3,4;5,6,7,8;9,10,11,12];A = A';%% 按列扫描元素进行变换B = reshape(A,2,6);C = reshape(A,3,[]);D = reshape(A,[],2);%% 输出结果A,B,C,D结果
2018-01-12 15:32:01
481
1
转载 如何防止过拟合
原文参考 http://blog.csdn.net/heyongluoyao8/article/details/49429629Early stopping通过迭代次数截断的方法来防止过拟合，即在模型对训练数据集迭代收敛之前停止迭代来防止过拟合。 具体做法是，在每一个Epoch结束时（一个Epoch集为对所有的训练数据的一轮遍历）计算validation data的accuracy，当accurac
2017-10-21 11:39:13
497
转载 Batch Normalization
本文转至http://blog.csdn.net/shuzfan/article/details/50723877#2-normalization-via-mini-batch-statistics。什么是BNBatch Normalization是一种网络变换层，它能使数据具有0均值、单位方差、弱相关等特性，改善数据分布，加快网络训练速度。为何做BN网络训练过程中参数不断改变导致后续每一层输入的分
2017-10-12 16:48:52
301
原创 求水的容积（锐明科技）
输入一个数组表示积木的高度，求其能容纳的水的容积是多少？输入：// 数组的长度n，以及每个元素的值nums[i]110 1 0 2 1 0 1 3 1 0 2输出：// 能容纳的水的容积8解题代码#include <iostream>#include <vector>#include <string>#include <algorithm>using namespace std;int
2017-10-10 19:31:09
688
原创 EM算法
EM是什么指期望最大化算法（Expectation Maximization Algorithm），是一种迭代算法，用于含有隐变量（latent variable）的概率参数模型的最大似然估计或极大后验概率估计，也就是用于函有隐变量概率参数模型的参数估计。在介绍EM算法之前，先补充如下几点基础知识。正定矩阵设M是nn阶实系数对称矩阵，若对任何非零向量 X=(x1,...xn)X=(x_1,...x_
2017-10-10 11:53:34
556
原创 联合/先验/后验概率、似然函数
这是一个由联合概率引发的一连串有趣的故事。联合概率p(x)p(x)表示xx发生的概率，p(y)p(y)表示yy发生的概率，则x，yx，y同时发生的概率为：p(x,y)=p(x|y)p(y)=p(y|x)p(x)p(x,y)=p(x|y)p(y)=p(y|x)p(x)特别的，当x，yx，y独立时，上式可以写作： p(x,y)=p(x)p(y)p(x,y)=p(x)p(y) 原因在于，当x，
2017-10-06 18:02:16
4508
1
转载 EM算法
本文转载至http://blog.csdn.net/yzheately/article/details/51164441。 参考http://blog.csdn.net/zouxy09/article/details/8537620 参考 http://www.cnblogs.com/jerrylead 之前介绍了EM算法在混合高斯模型中的应用，现在让我们来看看问什
2017-10-05 17:18:53
426
原创 拉格朗日 & KKT条件
有什么用拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。（前提：只有当目标函数为凸函数时，使用这两种方法才保证求得的是最优解。）拉格朗日乘子法如上所述，拉格朗日乘子法可以将等式约束优化问题转换为无约束优化问题，即将问题：(
2017-09-29 16:01:32
1352
转载 梯度下降
版权声明：本文转载至http://blog.csdn.net/programmer_wei/article/details/51941358梯度下降算法是一个很基本的算法，在机器学习和优化中有着非常重要的作用，本文首先介绍了梯度下降的基本概念，然后使用python实现了一个基本的梯度下降算法。梯度下降有很多的变种，本文只介绍最基础的梯度下降，也就是批梯度下降。实际应用例子就不详细说了，网上关于梯度下
2017-09-20 22:16:06
252
转载 逻辑回归
版权声明：本文为原创文章：http://blog.csdn.net/programmer_wei/article/details/52072939Logistic Regression（逻辑回归）是机器学习中一个非常非常常见的模型，在实际生产环境中也常常被使用，是一种经典的分类模型（不是回归模型）。本文主要介绍了Logistic Regression（逻辑回归）模型的原理以及参数估计、公式推导方法。
2017-09-20 21:21:57
301
转载 SVM常见问题
本文转至blog.csdn.net/szlcw1应聘数据挖掘工程师或机器学习工程师，面试官经常会考量面试者对SVM的理解。以下是我自己在准备面试过程中，基于个人理解，总结的一些SVM面试常考问题（想到会再更新），如有错漏，请批评指正。（大神请忽视）转载请注明出处：blog.csdn.net/szlcw1SVM的原理是什么？SVM是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分
2017-09-19 23:33:21
2588
转载 OpenCV优化：图像的遍历4种方式
我们在实际应用中对图像进行的操作，往往并不是将图像作为一个整体进行操作，而是对图像中的所有点或特殊点进行运算，所以遍历图像就显得很重要，如何高效的遍历图像是一个很值得探讨的问题。一、遍历图像的4种方式：at<typename>(i,j)Mat类提供了一个at的方法用于取得图像上的点，它是一个模板函数，可以取到任何类型的图像上的点。下面我们通过一个图像处理中的实际来说明它的用法。在实际应用中，我
2017-09-13 21:07:54
247
转载 ID3算法
关于ID3算法这里有一篇文章写的很通俗，本文转载至http://blog.csdn.net/acdreamers/article/details/44661149，原文内容大致如下。今天，我来讲解的是决策树。对于决策树来说，主要有两种算法：ID3算法和C4.5算法。C4.5算法是对ID3算法的改进。今天主要先讲ID3算法，之后会讲C4.5算法和随机森林等。 Contents 1. 决策树的
2017-09-08 15:58:46
917
原创 朴素贝叶斯
贝叶斯定理贝叶斯能干什么？求逆向概率问题，也就是已知P(A|B)P(A|B)的情况下，求解P(B|A)P(B|A)的问题。通常P(A|B)P(A|B)很容易由统计特性得出，P(B|A)P(B|A)则很难知道。P(B|A)=P(A|B)P(B)P(A)P(B|A)=\frac {P(A|B)P(B)}{P(A)}朴素贝叶斯为何称朴素？叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素，朴素贝叶斯的思
2017-09-08 10:54:46
356
原创 常用分类&聚类方法
什么是分类分类任务就是明确对象属于哪个预定义的目标类。其中预定义的目标类是离散时为分类，连续时为回归。有哪些分类方法常用的分类算法有决策树，基于规则的分类算法，神经网络，支持向量机和朴素贝叶斯分类法等。（参考常用分类算法总结）决策树基于规则的分类算法朴素贝叶斯 杂货铺最近邻分类器贝叶斯信念网络（BBN）人工神经网络支持向量机的特征（SVM）什么是聚类聚类就是按照某个特定标准(如距离准
2017-09-08 10:03:42
2114
原创 LDA（Fisher判别）
核心思想现在要找一个直线，如何将这两个类最大限度的分开，直观的如果找一个投影法相，就像下面两个图，右边的结果更好：它阐述了一个怎样的准则： 类间最大，类内最小！类内最小在一个类中来说，每一个样本要尽可能地靠近类地中心，类的中心在哪？mi=1Ni∑xj∈Xixjm_i=\frac 1 N_i \sum_{x_j \in X_i} x_j怎样表示类内最小？使用类内离散度矩阵表示：Si=∑xj∈Xi(xj
2017-09-07 20:35:59
737
原创 SecondNamenode
什么是Namenode相当于一个领导者，负责调度 比如你需要存一个640m的文件 如果按照64m分块 那么namenode就会把这10个块（这里不考虑副本）分配到集群中的datanode上 并记录对于关系 。当你要下载这个文件的时候namenode就知道在那些节点上给你取这些数据了，它主要维护两个map： 一个是文件到块的对应关系 一个是块到节点的对应关系。什么是SecondNamenodeSeco
2017-09-07 17:54:12
932
原创 Hive
是什么hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive可以直接使用SQL语句进行相关操作？ （×）Hive 定义了简单的类 S
2017-09-07 17:09:12
654
原创 异或运算
异或性质任何一个数字异或其自身都等于0，也就是，如果我们从头到尾依次异或数组中的每一个数字，那么最终的结果刚好是那个只出现一次的数字，因为那些出现两次的数字全部在异或中抵消掉了。例子：从N个数（每个数范围为1→N+11 \rightarrow N+1，这个N个数没有排好序）中，找出第一个miss的数。#include <iostream>#include <vector>using namespa
2017-09-07 11:54:30
329
原创 最长数字串
在一个字符串中找出最长的数字串，并把长度返回，如果存在长度相同的连续数字串，返回最后一个连续数字串。#include <iostream>#include <string>using namespace std;int test(){ string str; cin >> str; string max_str; int max = 0; int i = 0;
2017-09-06 21:26:27
218
原创 报数
n个人围成一个圈循环报数，数到interval的出圈，求报数序列。#include <iostream>#include <vector>using namespace std;int test(){ int n, interval; // 编号1..n，数到interval的退出 cin >> n >> interval; vector<bool> exit(n + 1, fa
2017-09-06 20:57:41
319
原创 最长的回文子串
Catcher 是MCA国的情报员，他工作时发现敌国会用一些对称的密码进行通信，比如像这些ABBA，ABA，A，123321，但是他们有时会在开始或结束时加入一些无关的字符以防止别国破解。比如进行下列变化 ABBA->12ABBA,ABA->ABAKK,123321->51233214 。因为截获的串太长了，而且存在多种可能的情况（abaaab可看作是aba,或baaab的加密形式），Cathcer
2017-09-05 13:26:09
222
原创 美图2017A卷第一题
时间限制：C/C++语言 1000MS；其他语言 3000MS内存限制：C/C++语言 65536KB；其他语言 589824KB题目描述：若[i,j]和[i’,j’]是矩阵的两个位置, 他们的距离定义为max(|i-i’|, |j-j’|)。已知： 1. 整数 n > r >= 0; 2. F为 n * n 的矩阵, 矩阵内元素属于集合{0, 1}; 3. 矩阵第i列第j行的元素用F
2017-09-04 21:23:28
378
原创 k-medoids聚类
什么是k-medoidsk-means受异常值或极端值的影响比较大，因此，针对k-means在离群噪声点表现出的不够鲁棒，提出了改进的k-medoids聚类方法，其核心思想在于“中心”，也就是说算法计算出的聚类中心一定是出现在样本中的点。与k-means有何不同不一样的地方在于中心点的选取，K-means中，我们将中心点取为当前cluster中所有数据点的平均值K-medoids中，我们将从当前
2017-09-03 22:16:08
1084
原创 K-Means聚类
什么是K-Means一种最简单的无监督聚类算法。步骤1. 初始化聚类中心最简单的确定初始类簇中心点的方法是随机选择K个点作为初始的类簇中心点，如下面k为要聚成几类，dataCount为数据量。for (int i = 0; i<k; i++){ centroidx[i] = x[rand() % dataCount]; centroidy[i] = y[rand() % dataCo
2017-09-03 18:13:52
381
原创 利用查找表的顺序性
c++实现了lower_bound，即一个数的ceil操作，可以用来实现一个范围的查找问题，需要注意的是lower_bound(v)，返回会的是查找数v的ceil的迭代器（指针），返回的这个ceil的值就是set中大于v的最小的那个数。void example(){ int v = 0; set<int> record; // 一个set // 在set中查找大于v的最小的值
2017-09-03 14:58:08
218
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人