- 博客(35)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Elasticsearch health red, unassigned shard
Elasticsearch 分多个node，在不同node上放shard，有primary shard，还有replica shard，数据放不同shard上为了保证高可用性。最近接到一份elasticsearch的环境，打开就是无法使用。1. 查看健康状态为red，unassigned_shards 是4
2022-06-01 20:37:17
241
转载 广义线性模型GLM
本文转自GLM(广义线性模型) 与 LR(逻辑回归) 详解（原作者：爱学习的段哥哥）GLM的内容，本应该较早之前就总结的，但一直觉得这种教科书上的基础知识不值得专门花时间copy到博客里来。直到某一天看到一篇不错的总结，在征求作者同意后，转载于此（本人比较懒啦）（然而公式重新排版竟然花了1个多小时TT）。原文如下George Box said: “All models are wrong, some are useful”1. 始于 Linear Model作为 GLM 的基础，本节 .
2020-09-28 09:27:17
1467
转载 【甘道夫】HBase基本数据操作详解【完整版，绝对精品】
引言之前详细写了一篇HBase过滤器的文章，今天把基础的表和数据相关操作补上。本文档参考最新（截止2014年7月16日）的官方Ref Guide、Developer API编写。所有代码均基于“hbase 0.96.2-hadoop2”版本编写，均实测通过。欢迎转载，请注明来源：http://blog.csdn.net/u010967382/article/det...
2020-06-15 14:13:59
142
转载 【甘道夫】HBase基本数据操作详解【完整版，绝对精品】
引言之前详细写了一篇HBase过滤器的文章，今天把基础的表和数据相关操作补上。本文档参考最新（截止2014年7月16日）的官方Ref Guide、Developer API编写。所有代码均基于“hbase0.96.2-hadoop2”版本编写，均实测通过。欢迎转载，请注明来源：http://blog.csdn.net/u010967382/article/details/37878701概述对于建表，和RDBMS类似，HBase也有namespace的概念，可以指定表空间创建表，也可以直接创.
2020-06-15 14:06:31
284
转载 HDFS技术原理
HDFS概述及应用场景 HDFS在FusionInsight产品的位置 HDFS系统架构 关键特性介绍HDFS概述及应用场景举例HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发，运行在通用硬件上的分布式文件系统。其除具备其它分布式文件系统相同特性外，还有自己特有的特性： 高容错性：认为硬件总是不可靠的 高吞吐量：为大量数据访问的应用提供高吞吐量支持 大文件存储：支持存储TB-PB级别的数据HDFS适合做什么？大文件存储
2020-06-14 15:33:37
340
转载 浅谈协方差矩阵
原文地址：http://bbs.pinggu.org/thread-3237192-1-1.html统计学的基本概念学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合X={X1,……Xn}，依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧，一带而过。 很显然，均值描述的是样本集合的中间点，它告诉我
2015-09-23 12:36:49
785
原创 mysql 备份数据迁移，出错的处理
mysqldump -u root -p[password] db_sth > db_sth.sql报错：mysqldump: Got error: 1286: Unknown table engine 'InnoDB' when using LOCK TABLESmysql -u root -p[password]use db_sth;show tables;
2015-04-15 17:47:16
1089
转载 地理空间距离计算优化
原文地址：http://tech.meituan.com/lucene-distance.html1 地理空间距离计算面临的挑战打开美团app，不管是筛选团购还是筛选商家，默认的排序项都是“离我最近”或者“智能排序”（如下图所示）。不管是“离我最近”还是“智能排序”，都涉及到计算用户位置与各个团购单子或者商家的距离（注：在智能排序中距离作为一个重要的参数参与
2015-02-05 11:56:40
784
转载 数据挖掘学习札记：ID3算法
原文地址：http://blog.csdn.net/zhaoyl03/article/details/8665663参考：1. Wiki上的 ID3 algorithm2. 百度文库里的一个PPT，有算例， 决策树ID3算法 3. 百度文库，PPT，很多算例，开始有信息理论，极力推荐阅读，ID3算法4. 用Python实现ID3和C4.5 决策树ID3和C4
2015-01-29 14:47:43
890
原创 Postgresql 数据在一张表中存在，另一张表不满足完整性的查找
有两张表T1，T2，表结构和数据如下：create table t1 ( id int);create table t2 ( id int, finished int);insert into t1 values (1);insert into t1 values (2);insert into t1 values (3);insert into t1 value
2015-01-07 12:12:38
2818
转载 gevent 小结
最近用了 gevent，做个小结，理理对 gevent 的认识。什么是 gevent?简介 (摘自 官网)gevent is a coroutine-based Python networking library that uses greenlet to provide a high-level synchronous API on top of th
2015-01-04 22:44:07
2859
1
原创 如何一步步用D3画多曲线
Bar Chart: http://bl.ocks.org/mbostock/3885304这是一个画柱状图的基本形式。Axis是数轴；tickets是数轴上的标尺，tickets第二个参数% 可以使[0, 1]的数以百分比显示；rangeRoundBands 在[0, width] 上按区间划分，正好适合柱状图，rangePoints 在[0, width] 上按点位划分；t
2014-12-17 17:11:14
3620
原创 hadoop2.3.0单点伪分布与多点分布的配置
机器mac book，virtualbox4.3.6，virtualbox安装ubunt13.10，在多点分布环境中，配置好一个机器后，clone出另外2个，一共三台机器。1. Configure the EnvironmentBash语言: sudo apt-get install -y openjdk-7-jdk openssh-serversudo add
2014-03-19 17:04:52
2530
2
原创 viterbi算法实现
文章由 http://huangjian.info/blog/232/viterbi/ 整理获得。Viterbi以它发明者的名字命名。Viterbi算法：给出一个观测序列o1,o2,o3 …，我们希望找到观测序列背后的隐藏状态序列s1, s2, s3, …；这样一种由动态规划的方法来寻找出现概率最大的隐藏状态序列（被称为Viterbi路径）的方法。隐藏状态序列被成为：隐马可
2012-05-12 00:54:40
1733
2
原创 高楼扔鸡蛋
100层楼2个鸡蛋，如何得知鸡蛋能承受几层的撞击。没太明白题意，google之。1. 你有2个一摸一样的鸡蛋(所有性质相同)。 2. 有一幢100层的楼。注意即使是一楼和地面也有距离的。 3. 鸡蛋可能很硬也可能很软, 意思是有可能从一楼扔下来就碎了, 也有可能从100楼扔下来还不碎。 4. 你必须,是*必须*搞清楚最高从几楼扔下来鸡蛋是不会碎的。 5. 此过程中你被允许打破这
2012-05-11 12:34:16
2870
4
原创 Google code jam 2012 番外篇：巨款的人民币面值组合
据说是google 2011年秋季校园面试题目： 如果你手上有100000000块钱，而人民币的面值有100，50，20，10，5，1，求这些钱共有>多少种组合可以得到你手上的钱。我想到的方法是把所有情况遍历一遍，每次计数器加1：#几种面值都可以被总价整出，所以问题变得简单，一种非elegant的代码。amount = 100000000nominal = [100, 5
2012-05-11 11:58:42
2190
原创 Google Code Jam 2012 资格赛3
A，B 是位数相同的两个数，给定A，B 求满足 A ≤ n m ≤ B 的(n, m) 对的数目。 n 左移的若干位数，补到右边得到m ，比如： 1234 可以得到的 2341，3412，4123。-------------------------------------------------------------------------------- 题目描述相当简单
2012-05-06 22:57:00
980
原创 Google Code Jam 2012 资格赛2
第二题叙述冗长，编程同时考察阅读能力，不认真看描述，可能就写不对程序。 题目大意：在[0, 30] 的数中，把任意一数拆成一个triplet，使得triplet中三个数之和等于这个数，同时这三个数必须在[0, 10]范围内。这三个数中任意两个数差的绝对值等于0或者1的叫做normal，等于2的叫做surprising，大于2的不允许出现。 示例：(8, 8, 8) and (7,
2012-05-06 22:52:00
622
原创 Google Code Jam 2012 资格赛1
参加了2012年的GCJ ，感觉自己比去年有进步或者google比去年有放水，总之我是过了资格赛。 第一题相对简单，根据已经给出的例子，拿程序跑一遍得出26个字母+空格对应的密文的相应字母，看看结果是否符合题目说明： google = ['y qee ejp mysljylc kd kxveddknmc re jsicpdrysi', 'rbcpc
2012-05-06 22:49:44
781
原创 智能汽车如何寻找路径
通过一个二维数组表示障碍物与通畅，简陋的模拟对智能车寻找路径的算法。 第一次做虚拟化，感觉很有挑战，也挺好玩。1.广度优先搜索法（search_breadth_first_1D函数），由起点找到终点。trick：一个点的下一结点有若干个，而上一结点只有一个。2.这里没有写A*算法的程序。A*程序是有一个启发式heuristics的“地图”，上面标注了当前点到终点的距离，通过比较“
2012-03-31 22:04:11
2039
原创 debian6安转盘恢复grub2
grub升级grub2后，在双系统时恢复grub2总有麻烦，每次都是XP和Debian一起重装，偶然间找到了好方法。 重装XP后，插入Debian安装盘，选择rescure mode。恢复步骤如下： 1.退出语言选择，直接 Load installer components from CD 2.进入 Detect disks 选择手动分区，把 / 分区挂载上，不要format（如
2012-03-30 16:56:33
1234
原创 一个分布式的负载设计
<!--@page {margin:0.79in}p {margin-bottom:0.08in}-->要求：对于saas这种服务一个用户名，同一段时间只能有一次登录系统。因为用户数量大，所以对于用户的登录，需要能够在多个server上做负载均衡。Hash 潜在冲突检测模块节点检测模块上线用户连接发现与维持模块各个节点
2012-03-30 16:49:26
861
转载 复活节闲扯：一场激动人心的数学公开挑战赛
文章来源：http://www.guokr.com/article/22018/本文发表于果壳网 - guokr.com, 转载请注明出处. 商业使用请联系果壳网.最速降线问题“想象一个小球，仅受重力，从点 A 出发沿着一条没有摩擦的斜坡滚至点 B。怎样设计这条斜坡，才能让小球在最短的时间内到达点 B？”这个在数学史上被称为“最速降线”的知名问题，最早是由著名的意大
2012-01-13 21:24:48
1007
转载 献给业余数学之王：澄清对费马原理的误解
文章来源：http://www.guokr.com/article/59377/今天是费马诞辰。作为一名业余玩家，费马的学术成就却不亚于任何一位数学家。除了光芒四射的费马大定理，最为人所熟知的就要数费马原理了。然而人们对这个原理的理解却存在着很多偏差，死理性派在今天这个有纪念意义的日子，特此撰文，做出澄清。2011年8月17日，是费马（Pierre de Fermat）诞辰41
2012-01-13 21:22:18
1719
转载 动态规划算法
文章来源：http://www.cppblog.com/Fox/archive/2008/05/07/Dynamic_programming.html以前在学习非数值算法的时候，曾经了解过动态规划算法（Dynamic programming），以下是对Wikipedia上动态规划的翻译，图也是Wikipedia上的，仓促行文，不到之处，请方家指正。这篇文章的术语实在是太多了，所以我在文
2012-01-13 16:45:25
1045
转载 Hidden Markov Models
source: http://www.comp.leeds.ac.uk/roger/HiddenMarkovModels/html_dev/main.htmlIntroductionOften we are interested in finding patterns which appear over a space of time. These patterns occur
2012-01-11 12:24:28
1360
转载 梯度下降(Gradient Descent)，一句代码，一个式子
文章来源：http://www.zhizhihu.com/html/y2011/3632.html一直以来，总是觉得国外的PhD们的教育以及课程的安排很好很强大，虽然是说很累作业多工作量大，但是功率大了，效果好点儿，浪费的时间也少，年轻人哪有怕苦怕累的。比比身边好多每天睡超过12小时的研究生们，不知道是谁更幸福一点儿。我也经常拿我所在的大学的研究生博士跟自己所了解的美国那边的phd比比
2012-01-03 17:53:49
2094
2
转载 协方差矩阵的详细说明
文章来源：http://blog.csdn.net/faceRec/article/details/1697362协方差矩阵的详细说明黄叶权 整理于2007-7-18 在做人脸识别的时候经常与协方差矩阵打交道，但一直也只是知道其形式，而对其意义却比较模糊，现在我根据单变量的协方差给出协方差矩阵的详细推导以及在不同应用背景下的不同形式。 变量说明：设为一组随机变量，
2011-12-22 16:26:39
828
原创 Visual studio 2010 上搭建opencv2.3.1
opencv（open source computer vision library）是一个基于C/C++语言的开源图像函数处理库。它的主要模块包括：cv —— 核心函数库cvaux —— 辅助函数库cxcore —— 数据结构与线性代数库highgui —— GUI函数库ml —— 机器学习函数库opencv是跨平台的，支持包括windows、unix以及android等平台。下
2011-12-13 15:37:05
1411
转载 特征向量的意义
文章来源：http://www.win7soft.com/doucontorl/?p=247因为l是常数，所以lx与x的方向相同。即，一个变换的特征向量是这样一种向量，它经过这种特定的变换后保持方向不变，只是进行长度上的伸缩而已。下图是从wikipedia的《特征向量》一文中引用的。通过这个图可以对变与不变有一个进一步的了解。图1. 在这个错切变换中，蒙娜丽莎的图像被变形，但是
2011-12-08 13:57:09
785
转载 关于协方差矩阵的概念及意义
文章来源：http://blog.sina.com.cn/s/blog_672c5a470100miqq.html在做幻觉脸时用PCA，好不容易搞明白了原理，却发现溜掉了为什么计算协方差矩阵前要去均值(其实很简单，不要笑我脑残哈)，和同学讨论啊讨论啊，讨论结果只是证明了我们把曾经学过的概率之类的忘的不胜什么了，所有就问了一下Google，很幸运找到了一位很敬业的小伙写的文章，贴出来警示
2011-12-07 14:17:18
1715
转载 周末轻松话卷积(上)
文章来源：http://blog.sciencenet.cn/home.php?mod=space&uid=44001&do=blog&id=274697最近总是和卷积打交道,工作需要，每天都要碰到它好几次,不胜烦恼,因为在大学时候学信号与系统的时候就没学会，我于是心想一定要把卷积完全搞明白。正好同办公室的同学也问我什么是卷积,师姐昨天也告诉我说:“我也早就想把这个问题搞明白了！”经过一段
2011-12-06 15:20:19
559
转载 趣题：老鼠与毒药问题的推广
文章来源：http://www.matrix67.com/blog/archives/4361 今天的趣题来源于 IBM Ponder This 三月份的谜题。 大家应该都听说过这个老题目：有 1000 个一模一样的瓶子，其中有 999 瓶是普通的水，有一瓶是毒药。任何喝下毒药的生物都会在一星期之后死亡。现在，你只有 10 只小白鼠和一星期的时间，如何检验出哪个瓶子里
2011-06-09 00:05:00
1581
转载 GDB调试演示
文章来源：http://www.rainsts.net/article.asp?id=863作为内置和最常用的调试器，GDB 显然有着无可辩驳的地位。熟练使用 GDB，就好像所有 Linux 下的开发人员建议你用 VIM 一样，是个很 "奇怪" 的情节。测试用源代码。#include int test(int a, int b){ int c = a + b; return c;}int main(int argc, char* argv[]){ i
2011-03-04 10:11:00
797
转载 一个Quicksort究竟可以写到多么短
一个Quicksort究竟可以写到多么短一个Quicksort究竟可以写到多么短说实话，我从来没有能一次写对一个快速排序，总是有各种各样的错误。快排麻烦就麻烦在，没办法去调试它，因为它是生成递归的，只能去静态调试，或者是不断的打印数组的状态以推测错误的可能性。然而快排的基本思想却是极其简单的：接收一个数组，挑一个数，然后把比它小的那一摊数放在它的左边，把比它大的那一摊数放在它的右边，然后再对这个数左右两摊数递归的执行快排过程，直到子数组只剩一个数为止。下面我先用最常用的C语言来写一个快速排序：首先可
2011-03-04 10:09:00
644
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人