hljlzc2007-CSDN博客

转载 Linux ssh升级后无法登陆

无法3个不支持的选项，我们在ssh_config和sshd_config中注视掉就好了GSSAPIAuthenticationGSSAPICleanupCredentialsUnsupported option UsePAM5.在升级的时候，发生了一个意外升级完成之后，一切正常，但是通过虚拟机的控制台可以访问，但是无法通过sert，和putty之类的工具进行访问提醒密码错误

2015-02-09 18:00:32 7301

转载定时调度与管理

没有JobCenter时我们要面对的：电商业务链条很长，业务逻辑也较为复杂，需要成百上千种定时任务。窝窝的大多数定时任务其实调用的是本地或远端 Java/PHP/Python Web Service。如果没有一个统一的调度和报警，在集群环境下，我们会：不知道哪一个定时任务执行失败或超时，不见得能第一时间知道——直到最终用户投诉反馈过来；要求每一个定时任务输出统一格式

2015-01-23 11:15:27 3066

转载 HBase宕机的多种场景

异常导致的退出会通过接口Abortable定义的abort()方法实现，Abortable实现类如下：由以上类图可以看出HBaseAdmin的abort由于是client的访问，因此终止服务只需抛出异常即可，HConnection也是用于client，因此只需关闭连接，如果是zk的异常会在后续的使用中重新连接zk而不用关闭连接，其中重点的是HMaster、HRegionServer和

2015-01-08 16:13:09 1916

转载 mysql主从复制

mysql主从复制（超简单）怎么安装mysql数据库，这里不说了，只说它的主从复制，步骤如下：1、主从服务器分别作以下操作： 1.1、版本一致 1.2、初始化表，并在后台启动mysql 1.3、修改root的密码2、修改主服务器master: #vi /etc/my.cnf [mysqld] log-bin=my

2014-11-13 16:45:39 999

转载 Ntp时间同步

今有一小型项目，完全自主弄，原来以为很简单的NTP服务，我给折腾了2个多小时才整撑头（以前都是运维搞，没太注意，所以这技术的东西，在简单都需要亲尝啊），这里记录为以后别再浪费时间。目标环境，5台linux centos 6.3，一台作为NTPD服务与外部公共NTP服务同步时间，同时作为内网的NTPD服务器，其他机器与这台服务做时间同步。服务器I

2014-10-29 13:53:46 4523

转载规则引擎介绍

1.1 现状在很多行业应用中比如银行、保险领域，业务规则往往非常复杂，并且规则处于不断更新变化中，而现有很多系统做法基本上都是将业务规则绑定在程序代码中。1.2 问题主要存在的问题有以下几个方面：1）当业务规则变更时，对应的代码也得跟着更改，每次即使是小的变更都需要经历开发、测试验证上线等过程，变更成本比较大。2）长时间系统变得越来越难以维护。3

2014-10-09 15:21:07 4446

原创 Splunk - 海量日志搜索的先驱

在大数据时代，电信、金融、互联网等各行各业都面临大数据的考验。如何在海量、无规则的数据中发现价值，给企业创造长期利润，已经成为当前最热门的话题。2014 SplunkLive在北京举行，主要分享Splunk如何管理大数据，以及其他行业使用Splunk的成功案例。会议的议题主要包括：ü Splunk概览与演示ü 大数据与商业创新ü 浦发银行应用案例ü 中海油应用案例目

2014-09-29 14:52:12 2941

原创 Redis使用技巧

在使用Redis的时候，经常遇到connection refuse的错误

2014-09-16 20:07:32 1264

原创神奇的HttpClient

httpclient调用rest服务，获取不到结果，jian'hua代码如下：

2014-09-16 20:06:36 1527

原创 too many open files解决办法

在/etc/security/limit.conf 最后加上如下两行：root soft nofile 32000root hard nofile 32000

2014-09-11 15:01:43 5105 16

转载工作与价值观

感觉这篇文章很好，经常看看。工作与价值观你工作是为了什么？这个问题看起来很哲学，但其实每个人心中都有答案。钱。我曾有个台湾同事，很活泼、可爱的小姑娘。她的爱好就是环球旅游。她说，工作对她的意义就在于，工作所带来的收入能让她在这个城市自给自足，想呆多久就呆多久。等觉得够了，就换下一个城市。她的护照在全球大多数国家都免签，她这种生活让我们很羡慕。

2014-08-14 13:26:51 714

转载关于httpclient 请求https （如何绕过证书验证）

第一种方法，适用于httpclient4.X 里边有get和post两种方法供你发送请求使用。导入证书发送请求的在这里就不说了，网上到处都是import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;

2014-08-12 10:11:02 1444

转载 HttpClient入门

HttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。本文首先介绍 HTTPClient，然后根据作者实际工作经验给出了一些常见问题的解决方法。HttpClient简介HTTP 协议可能是现在 Internet 上使用得最多、最重要的

2014-07-25 11:13:26 952

转载效忠一家公司超过两年，还不跳槽你就亏大了

美国有个最糟糕的秘密，在同一家公司年资两年以上的员工，平均年薪都会较低。在同一家公司待两年的人，一辈子的薪水平均会少 50%。50 % 已经是最保守估计的数字。减少 50% 代表着您一生只工作十年。您工作的时间越长，一生薪水的差异会更剧烈。为什么会这样子呢？原因有上百万个，但让我们先聚焦在可以控制的部分。　　换工作的论点2014 年美国平均员工可以期待的薪水增加幅度是 3%

2014-07-04 10:51:16 2041

原创 linux监控http包

tcpdump -i bonds tcp port 8080

2014-07-03 19:31:55 790

转载 storm源代码编译及lein用法

storm号称是实时领域的hadoop，作为一个平台型系统，他提供了实时计算，线性扩展，ack机制，事务型Tom，DRPC，Trident等等强大的服务，应用场景也非常广泛，作为一个storm的爱好者，第一步肯定是迫不及待的想编译一下源代码，下面简单的介绍一下storm的在线编译过程，离线编译过程稍微有点复杂（有需求的可以单独联系）。 1.编译storm源代码之前需要先安装好以下软件：

2014-07-03 09:54:43 2911

转载云计算是什么？

技术人员怎么也讲不清楚的云计算，咱们的高级总监曾经就是这样和政府领导普及云计算和智慧城市知识的，却都听懂了：你娶了一个老婆，这叫传统IT架构。你觉得一个老婆不够，这叫传统企业CIO的困境。你又娶了一个老婆，这叫双活数据中心。你在外地又娶了一个小老婆，这叫两地三中心容灾。你娶了很多风格气质各异的小老婆，以至于形成了后宫，这叫私有云。你的后宫就叫计算资源池。

2014-06-17 14:40:52 983

原创使用iptables保障Linux服务器

iptables是linux下IPV4的管理工具，下面主要基于我们设置Linux访问策略做一个简单的介绍需求：设置一组IP端口可以访问该Linux机器，其他的机器不能访问。步骤：1.禁上除本机IP外的其他地址都不能访问该机器iptables -t filter -I INPUT ! -s 192.168.1.0/24 -j DROP这块要使用！，有的系统可以将！放到-s后边

2014-02-24 14:51:18 1064 1

原创 HTTP是长连接还是短连接

今天和同事在争论一个问题，HTTP是长连接还是短连接具体解释如下：在HTTP/1.0中，默认使用的是短连接。也就是说，浏览器和服务器每进行一次HTTP操作，就建立一次连接，但任务结束就中断连接。如果客户端浏览器访问的某个HTML或其他类型的 Web页中包含有其他的Web资源，如JavaScript文件、图像文件、CSS文件等；当浏览器每遇到这样一个Web资源，就会建立一个HTTP会

2014-02-19 17:10:38 7600

转载正则表达式30分钟入门教程 - 这篇文章写的真不错，我看了一下午，以为我的智商不够。。在结尾看到作者说到30分钟是骗人的～在标题里写出来，只是想提醒读者

正则表达式30分钟入门教程版本：v2.33 (2013-1-10) 作者：deerchao 转载请注明来源目录跳过目录本文目标如何使用本教程正则表达式到底是什么东西？入门测试正则表达式元字符字符转义重复字符类分枝条件反义分组后向引用零宽断言负向零宽断言注释贪婪与懒惰处理选项平衡组/递归匹配还有些什么东西没提到联系作者网上的资源及本文参考文献更新纪录本文目标

2014-02-19 15:49:28 2370

原创使用String.split拆分多个空格的问题

当用String.split拆分字符串时，如果连着有两个或多个空格，那么得到的String数据就会包含一个空格，这样是不对的，使用如下方法可以解决：String.split("\\s{1,}");

2014-02-18 10:18:34 4075

转载 YUM源讲解

什么是repo文件？repo文件是Fedora中yum源（软件仓库）的配置文件，通常一个repo文件定义了一个或者多个软件仓库的细节内容，例如我们将从哪里下载需要安装或者升级的软件包，repo文件中的设置内容将被yum读取和应用！我们以一份系统自带的repo文件做为实例来探讨（#号后面是我加的注释）：[fedora] #方括号里面的是软件源的名称，将被yum取得并识别

2014-02-12 14:15:34 893

转载从yum安装Cloudera CDH集群

记录使用yum通过rpm方式安装Cloudera CDH中的hadoop、yarn、HBase，需要注意初始化namenode之前需要手动创建一些目录并设置权限。0.环境准备1.设置hosts 临时设置hostname，以node1为例 sudo hostname node1确保/etc/hosts中包含ip和FQDN，如果你在使用DNS，保存这些信息到/et

2014-01-23 15:29:25 7790

转载在elasticsearch里如何高效的使用filter [性能优化必看]

这里有一篇很好的文章，很不错，翻译和整理了一下，英文不错的，建议直接看原文：http://euphonious-intuition.com/2013/05/all-about-elasticsearch-filter-bitsets/elasticsearch里面有BOOL filter、AND、OR、NOT filter，这几个看起来很相似，都有什么区别呢？什么时候用boolfilter

2014-01-20 10:44:26 7599

转载互联网思维是个什么玩意

互联网思维到底是一种什么样的思维?文章作者总结了以下三点，认为是互联网思维的核心:1. 数据驱动运营;2. 基础功能免费，增值服务收费;3. 微创新，快速迭代。　　我没有任何反对的意思，比较认同其总结的3点内容，也予以了转发。这三点其实是互联网思维经营模式上的总结，这里我再从自己理解的角度上解读一下:　　第一条和第三条有点重复，有些类似控制论反馈机制中的递归模型，原型设计尽快上线，

2013-12-23 14:44:13 1025 1

Flume NG (Next Generation) is a huge departure from Flume OG (Original Generation) in its implementation although many of the original concepts are the same. If you're already familiar with Flume, her

2013-12-20 11:41:04 1271

转载分布式日志收集系统- Cloudera Flume 介绍

Flume是Cloudera提供的日志收集系统，具有分布式、高可靠、高可用性等特点,对海量日志采集、聚合和传输, Flume支持在日志系统中定制各类数据发送方，同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力. Flume 部署结构 flume架构简单，可靠，灵活, 数据流(data flow）是flume中最主要的抽象,data flow描述了数据从

2013-12-19 10:33:43 8439

转载日志记录组件

常在服务器端处理用户请求时.特别是针对Web应用程序.当出现异常是可以根据日志操作记录还原异常出现时操作步骤.而记录异常堆栈信息判断问题出现问题位置. 为了跟踪和记录服务器行为.特别是针对出现异常时构建简单、统一的异常处理模式就显得尤为重要.如果有一个基础的架构用来记录服务器端中日志和事件.那么对于调试和在问题的解决就变得更加简单直接.针对日志记录.可能针对大部分开发人员.首先表现明显就是

2013-12-18 13:46:24 1732

原创日志文件监控利器 - logstash

最近在使用logstash进行日志搜集，很方便的一个开源软件软件，开包即用，使用JRuby来开发的，呵呵，我一看到不是java开发的开源项目，就有一种莫名其妙的抵触情绪，怪哉怪哉，不过我去它们的jira系统，发现里边还是很活跃的，jira地址：https://logstash.jira.com/secure/Dashboard.jspa。在这里先讲一下logstash的用法吧， so easy

2013-12-18 12:07:15 33446 2

原创 Oracle错误小记

昨天接到个任务，迁移数据库表，领导给了我一个新的Oracle数据库，用sqlplus登录的时候，遇到如下错误：ERROR:ORA-01034: ORACLE not availableORA-27101: shared memory realm does not existLinux Error: 2: No such file or directory解决方案：1. 查看

2013-12-17 10:00:05 1608

转载常见数据库设计 — 树形结构数据

1 概述树形数据，主要关注的是：1> 如何将数据高效地以树形的形式展现给用户2> 通过某个节点找到所有的父节点。3> 获取某个节点的所有的后继节点（包括子节点的子节点）至于添加、修改、删除和通过一个父节点获取对应的子节点，都是可以很容易的实现。2 邻接模型2.1业务：文件存放位置，在档案管理中，需要为文件的存放位置建模，文件存在抽屉，然后抽屉在某个柜子中，柜子在某个房间

2013-12-12 15:43:34 3494

转载 java用户角色权限设计

实现业务系统中的用户权限管理--设计篇　　B/S系统中的权限比C/S中的更显的重要，C/S系统因为具有特殊的客户端，所以访问用户的权限检测可以通过客户端实现或通过客户端+服务器检测实现，而B/S中，浏览器是每一台计算机都已具备的，如果不建立一个完整的权限检测，那么一个“非法用户”很可能就能通过浏览器轻易访问到B/S系统中的所有功能。因此B/S业务系统都需要有一个或多个权限系统来实现访问

2013-12-11 09:54:10 952

原创大数据技术大会总结 - 6号

未完

2013-12-10 10:11:22 1943

原创大数据技术大会总结 - 5号

2013年12月5日-6日参加了为期两天的2013中国大数据技术大会(Big Data TechnologyConference, BDTC2013)，本期会议主题是：“应用驱动的架构与技术 ”。会议分为全体会议和7个的“大数据架构与系统”、“大数据技术”、“大数据应用”、“大数据研究与发展”、“大数据基准测试”“智能交通与大数据”以及“传统行业如何驾驭大数据”主题论坛。1. 中科院计算所

2013-12-10 09:58:29 2695 1

原创 java下载地址

找起来蛋疼的下载地址啊http://www.oracle.com/technetwork/java/javase/downloads/index.html

2013-11-27 11:00:31 754

原创最火爆的开源流式系统Storm vs 新星Samza

最火爆的开源流式系统Storm vs 新星Samza

2013-11-24 23:17:45 9116 2

原创 Storm集群环境安装部署

1. 准备工作搭建Strom集群，需要以下软件：l Zookeeperl Pythonl Zeromql Storm l JDKl JZMQ2. 安装JDKl 下载jdk-6u45-linux-x64-rpm.binl 安装JDKrpm –ivh jdk-6u45-linux-x64-rpm.binl 配置环境变量

2013-11-22 10:15:18 2777

原创 Postgresql 安装与配置

1. 下载Postgres SQL下载地址为：http://www.postgresql.org/ftp/source2. 安装Postgres SQLl tar xvzf postgresql-8.4.0.tar.gzl ./configure --prefix=/pgsqll makel make installl su – postg

2013-11-22 10:07:54 1374

原创 Maven库

json-lib是需要区分jdk版本的，pom.xml中的配置应加上标签，如用jdk15： net.sf.json-lib json-lib 2.2.3 jdk15 总之，以上标签是必须的，如果还是Missing，可能是因为网络原因导致下载失败。请查看本地仓库net\sf\json-lib\json-lib\2.2

2013-11-18 19:58:05 2114

转载 Centralized Logging Architecture

In Centralized Logging, I covered a few tools that help with the problem of centralized logging. Many of these tools address only a portion of the problem which means you need to use several of them

2013-11-08 13:15:09 1593

AI基础：简易数学入门

只需要了解高等数学、线性代数、概率论及数理统计就可以学习，轻松入门AI数据，面向工程师，产品经理等多元化人才，快到碗里来只需要了解高等数学、线性代数、概率论及数理统计就可以学习，轻松入门AI数据，面向工程师，产品经理等多元化人才，快到碗里来

2020-10-15

AI基础：特征工程-数字特征处理

特征处理最好的文档，简单易学，非常划算的下载，内置好多链接，供你学习机器算法，AI，智能化等等特征处理最好的文档，简单易学，非常划算的下载，内置好多链接，供你学习机器算法，AI，智能化等等特征处理最好的文档，简单易学，非常划算的下载，内置好多链接，供你学习机器算法，AI，智能化等等

2020-10-11

AI基础：机器学习的损失函数

AI 基础：简易数学入门 AI 基础：Python开发环境设置和小技巧 AI 基础：Python 简易入门 AI 基础：Numpy 简易入门 AI 基础：Pandas 简易入门 AI 基础：Scipy(科学计算库) 简易入门 AI基础：数据可视化简易入门（matplotlib和seaborn） AI基础：机器学习库Scikit-learn的使用 AI基础：机器学习简易入门 AI基础：特征工程-类别特征 AI基础：特征工程-数字特征处理

2020-10-11

rest 客户端

rest 客户端利器，有了它，调用rest协议不在是梦，方便你、我、他

2013-01-24

osgi发布http服务的各种bundle，各种jar包，全全全～

osgi发布http服务的各种bundle，各种jar包，全全全～非常好用的技术包包括：org.eclipse.equinox.http_1.0.0.v20060601a.jar org.eclipse.equinox.ds_1.0.0.v20060601a.jar org.eclipse.equinox.servlet.api_1.0.0.v20060601.jar 还一大坨，我就不列了，只有你想不到，没有******

2012-09-07