LinkEdu-CSDN博客

原创小白日记：机器学习算法之决策树算法

决策树算法是一种基本的分类和回归算法，是一种基于监督机器学习算法，这里就需要解释一下什么是基于监督的，什么是非监督的，非常好理解，基于监督就是训练集里面包含样本特征属性，也包含每个样本的类别标签，也就是基于这些已经分好类的数据进行训练得出一种能够对大量的样本数据进行分类的模型，将预测数据输入该模型就可以得出类别；非监督就是只有样本的特征属性，不能根据单个样本得到该样本对应的类别标签，需要对这些训练

2017-03-14 23:48:12 498

原创 zabbix跨网使用钉钉报警

最近由于短信平台的原因，需要将zabbix的报警信息实时的发送到钉钉群里面，这就需要使用到钉钉自带的小机器人，需要在需要发送信息的群里面添加一个小机器人，具体添加方式可以看钉钉官方文档。总共有5组zabbix集群，需要将5组的报警信息发送到钉钉，并且这5组均不能连接互联网，故直接将信息发送到钉钉是不行的，需要一台连接互联网的集群，发送报警信息。具体架构： 1.在zabbix ser

2017-03-02 16:31:55 2539

原创 Sark Sql读取hive数据

1、将hadoop的配置文件:hdfs-site.xml,core-site.html文件拷贝到spark的配置文件conf下2、将hive的配置文件：hive-site.xml拷贝到spark的配置文件conf下3、将连接hive元数据的mysql的jar包拷贝到spark的lib目录下4、运行spark-shell命令，进入命令行,指定集群的地址，运行内存，

2016-11-14 17:56:41 2190

原创 spark streaming读取HDFS

今天跑第一spark streaming程序读取HDFS文件，碰到很多坑：1.HDFS配置的是高可用，在spark程序内设置HDFS文件路径的时候指向的是某个Namenode的地址，会报异常org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException意思就是访问的standby的NM节点，应该访问A

2016-11-11 09:52:40 4778 1

原创 jQuery选择器

基本选择器基本选择器是 jQuery 中最常用的选择器, 也是最简单的选择器, 它通过元素 id, class 和标签名来查找 DOM 元素(在网页中 id 只能使用一次, class 允许重复使用).1、#id 用法: $(”#myDiv”); 返回值单个元素的组成的集合说明: 这个就是直接选择html中的id=”myDiv”2、Element 用法

2016-04-07 22:03:12 1022

原创分布式存储

单台计算机的存储和硬件是有限制的，可以利用多台机器的硬盘来存储数据，可以利用多台计算机的cpu或其他的一些硬件资源去读写数据，这样就可以提升一些性能。分片分布式存储：分片是指将数据才分，将其分散存储在不同的机器上的过程。有事也用分区来表示这个概念。将数据分散到不同的机器上，不需要概念强大的大型计算机可以存储更多的数据，处理更多的负载。MongoDB分片的基本思想就是将集合拆分成

2016-04-03 15:49:18 818

原创副本集

副本集就是有自动故障恢复功能的主从集群主存集群和副本集最大的区别是副本集没有固定的主节点；整个集群会选出一个主节点，当其挂掉后，又在剩下的从节点中选择其他节点为主节点，副本集总有一个活跃点和一个或多个备份节点。例子：启动节点1：mongod --dbpath D:\node1 --logpath D:\logs\node1\logs.txt --logappend

2016-04-03 15:48:18 397

原创主从复制-集群

单台计算机性能不过，对外的并发有限，可以利用多台计算机对外提供服务，因为多台计算机对外提供服务的时候我们能够在处理客户端的时候他的这样的一个并发数能达到比较均衡的这样的需求。主从复制非常灵活，可用于备份，故障恢复，读扩展等；最基本的设置方式是建立一个主节点和一个或者多个从节点，每个从节点要知道主节点的地址，运行mongod --dbpath= -port=端口号 -- master

2016-04-03 15:47:16 336

原创固定集合

固定集合的概念：在创建集合的时候指定集合的大小（多少数据；多少文档），事先创建而且大小固定的集合。固定集合的特性：固定集合项环形队列，如果空间不足，最早的文档就会被删除，为新的文档腾出空间。一般来说，固定集合适用于任何想要自动淘汰过期属性的场景，没有太多的操作限制。创建固定集合使用命令：db.createCollection("collectionName",{capped:true,

2016-04-03 15:46:30 505

原创数据分区

一分片一分区一分片多分区：当一个块变得越来越大时，MongoDB会自动将其分割成两个较小的块，如果分片区间比例失调，则MongoDB会通过迁移块来确保均衡。平衡器：平衡器的目标不仅是要保持数据均匀分布，还要最小化被移动的数据量。要触发一轮平衡，一个分片必须必块最少的分片多出至少9个块，到那时，块就被迁移出拥挤的分片，知道与其他分片平衡为止。一般每个块的大小是200M

2016-04-03 15:45:59 447

原创安全和权限

每个MongoDB实例的数据库都可以有许多用户。如果开启了安全性检查，则只有数据库认证用户才能执行读写操作。在认证的上下文中，MongoDB会将普通的数据作为admin数据库处理。admin数据库中的用户被视为超级用户（即管理员）。在认证之后，管理员可以读写所有的数据库，执行特定的管理命令，如listDatabases和shutdown。在开启安全检查之前，一定要至少有一个管理员账号。1、

2016-04-03 15:45:13 323

原创索引与备份恢复

索引就是用来加速查询的。数据库索引与书籍索引类似：有了索引就不需要翻遍整本书，数据库则可以直接在索引中查找，是的查找速度提高几个数量级，在索引中找到条目之后，就可以直接跳转到目标文档的位置。db.cs.find({age:100}).explain();//可以打印出查找详情db.cs.ensureIndex({age:1})//对age创建索引db.c3.dr

2016-04-03 15:43:40 1291

原创 MongoDB简介

关系型数据库：MySql，oracle，SqlServerNosql：非关系型数据库关系型数据库中的表都是存储一些结构化的数据，每条记录的字段的组成都一样，即使不是每条记录都需要所有的字段，但数据库会为每条数据分配所有的字段，而关系型数据库以键值对存储，它的结果不固定，每条记录可以有不一样的键，每条记录可以根据需要增加一些自己的键值对，这样就不会局限于固定的结果，所

2016-04-03 15:42:25 358

转载神经网络入门

游戏编程中的人工智能技术 . (连载之一)用平常语言介绍神经网络(Neural Networks in Plain English)因为我们没有能够很好了解大脑，我们经常试图用最新的技术作为一种模型来解释它。在我童年的时候，我们都坚信大脑是一部电话交换机。(否则它还能是什么呢？) 我当时还看到英国著名神

2015-12-13 09:43:16 3373

转载 ClassCastException深入分析

ClassCastException是JVM在检测到两个类型间转换不兼容时引发的运行时异常。此类错误通常会终止用户请求。在执行任何子系统的应用程序代码时都有可能发生ClassCastException异常。通过转换，可以指示Java编译器将给定类型的变量作为另一种变量来处理。对基础类型和用户定义类型都可以转换。Java语言规范定义了允许的转换，其中大多数可在编译时进行验证。不过，某些转换还需要运行

2015-12-03 09:44:29 401

转载 SYBASE常用函数

Sybase字符串函数 datalength(char_expr) 在char_expr中返回字符的长度值，忽略尾空 substring(expression,start,length) 返回部分字符串 right(char_expr,int_expr) 返回char_expr右边的int_expr字符基本字符串运算 upper(char_exp

2015-09-16 14:34:46 832

转载 Zabbix之配置文件详解

zabbix的配置文件一般有三种：zabbixserver的配置文件zabbix_server.confzabbixproxy的配置文件zabbix_proxy.confzabbix_agentd的配置文件zabbix_agentd.conf1.zabbixserver的配置文件：NodeID=0 #分布式节点id号，0代表是独立服务器，默认是被注释掉的，不强制配置

2015-07-31 09:32:18 1941

翻译防火墙的注意事项

防火墙的注意事项你可以配置并且限制涉及防火墙端口的使用状况。例如：客户端与服务器，服务器与服务器之间的连接。防护墙和连接注意连接存在的问题可能是运行在机器上的防火墙引起的。Pivotal Gemfire是一个以网络为中心的分布式系统，所有如果有一个防火墙运行在机器上，将会导致连接问题。例如：防火墙限制地方入站或者出站权限，连接就有可能失败。你需要修改防火墙的配置来允许运行在机器上的

2015-07-21 10:01:20 2044

翻译加载Pivotal Gemfire配置文件

加载Pivotal Gemfire配置文件你可以部署Pivotal Gemfire配置文件到系统目录结构或者jars文件中，你确定你想要部署的文件，并且对它们进行相应的配置。注意：如果你使用Gemfire集群配置服务来新建和管理Gemfire集群配置，因为gemfire自动的管理集群成员中的分布式的配置文件和jar文件，所以这一节也就没有必要详细描述程序。你可以使用本节描述的程序来分配

2015-07-20 16:11:51 1294

翻译 Pivotal Gemfire server进程的描述

Pivotal Gemfire server进程作为一个长期运行的，可配置的分布式系统的成员。Gemfire Server主要被用来托管长期的数据区域，或者在客户端/服务器配置中作为服务器运行标准的Gemfire进程，可以使用下面的方法来启动或者停止server。最简单的方法就是使用gfsh工具中的命令行。也可以通过com.gemstone.gemfire.distributed.Se

2015-07-20 14:55:27 1429

翻译 Pivotal Gemfire Locator进程描述

Pivotal Gemfire Locator进程描述Locator是Pivotal Locator的一个进程，它告诉新的连接的成员，正在运行的成员的位置，以及为服务器的使用提供负载平衡。你可以将locator作为对等的locators或者服务器locator或者两者兼顾进行运行。对等的locator将加入成员的连接信息传送给正运行在locator的分布式系统的成员。服务器lo

2015-07-20 14:53:23 1742

翻译管理Pivotal Gemfire的系统输出文件

管理Pivotal Gemfire的系统输出文件Gemfire的输出文件是可选择的，非常大。当使用系统管理员的身份工作的时候，去决定如何放置它们，以免它们影响其他的系统活动。Gemfire包括集中可选的输出文件，描述如下：日志文件：全面的日志信息可以帮助你确认系统配置，在配置和代码中排错。在Gemfire.properties中配置日志文件的行为，可以查看416页。统计归档文件：可

2015-07-20 14:45:04 732

原创 Hadoop HDFS笔记

怎样设计一个分布式分布式系统？将200M的文件写入到HDFS中的过程，一个NameNode，四个DataNode。存储数据的意思就是client将某个数据放到某个dataNode里面。client先于NameNode联系，通知NameNode要上传数据，NameNode查看本身记录的数据存储的信息，确定可以将数据存放到那个dataNode里面，然后将这个信息传递给client，再由clien

2015-07-20 10:51:54 461

翻译训练：用gfsh执行常见的任务

训练：用gfsh执行常见的任务启动gfsh之后，执行一系列典型的任务队列。第一步：创建一个工作目录，并进入这个目录，例如：第二步：启动gfsh 第三步：启动一个locator 在文件系统中，检查你执行gfsh命令的文件的位置，注意，start locator命令会自动创建一个文件夹（名字就是locator的名字），在这个工作目录下，会创建一个日志文件，一个状态文件

2015-07-13 15:32:46 2677

翻译 Pivotal Gemfire gfsh shell的使用（2）

Pivotal Gemfire gfsh shell的使用（2）Gfsh的shell变量的使用你可以在脚本中嵌入gfsh的shell变量。你也可以使用set variable命令去修改shell行为或者定义自己的shll变量。可以使用下面的命令查看一些列gfsh的shell变量和他们当前的值。echo --string=$* 要获得当前存在的变量的值，可以使用下

2015-07-13 13:54:34 1865

翻译 Pivotal Gemfire gfsh shell的使用（1）

Pivotal Gemfire gfsh shell的使用Pivotal Gemfire gfsh提供了一个简单的，强大的命令行接口。可以启动，管理，监控Pivotal Gemfire进程，数据和应用。使用gfsh可以做什么？Gfsh支持管理，调制（排除故障），部署Pivotal Gemfire进程和应用。使用gfsh可以：启动或者停止一个Pivotal Gemfire进

2015-07-10 16:29:39 3285

翻译启动或者关闭系统

启动或者关闭系统引入启动和关闭为了启动和关闭系统可以设计更好的程序，从而可以更快速的启动系统和保护数据。你需要启动和停止的一些过程，包括服务器和定位器，以及一些gemfire应用（包括客户端）。你使用的这些程序依靠系统的部分配置信息和系统进程之间的依赖性。使用下面的指南去创建启动和关闭的程序或者手稿，他们的一些指令需要参考143页的shell命令解析。启动系统启动系统

2015-07-10 10:22:52 746

原创 gemfire说明

这段时间一直在学习gemfire内存数据库，网上资料太少，只有一个官方提供的帮助文档，为了方便大家学习，我会将文档翻译过来，并且将实验步骤也写出来，但本人英文能力确实有限，可能在翻译的过程中有很多错误，希望大家指出来，方便修改。

2015-07-09 16:49:46 1091 1

翻译 Gemfire集群配置服务的一些操作

使用成员组Pivotl Gemfire允许你组织分布式系统中的成员成为逻辑成员组。在Pivotl Gemfire中使用逻辑成员组是可选择的，使用逻辑成员组的好处是:基于逻辑成员组，有能力去协调在一些成员组中的特定操作。例如，通过定义和使用成员组你可以：为一个特定的成员或者特定的多个成员改变配置属性的子集。通过一个成员组可以执行特定从磁盘操作，例如：磁盘存储压缩。通过成员组的所有

2015-07-09 16:20:01 2754

翻译部署一个JARS应用到Pivotal Gemfire成员中

部署一个JARS应用到Pivotal Gemfire成员中：可以动态的在分布式系统中指定成员或者全部成员上部署一个JAR文件应用，Gemfire自动跟踪JAR文件的版本，自动加载部署的JAR文件到CLASSPATH，自动这侧JAR文件包含的所有方法。在Pivotal Gemfire中部署和卸载一个JAR文件应用，用gfsh命令工具中的deploy和undeploy命令进行操作，你可以部署一

2015-07-09 10:39:17 769

翻译训练：建立和使用一个集群配置

训练：建立和使用一个集群配置下面是一个简短的训练：是简单的描述一下通过gfsh为一个Pivotal Gemfire集群建立一个集群配置。注意：这个训练需要你的机器上安装了Gemfire，该训练是在一台计算机上演示的。Gfsh命令行工具允许你去建立和启动一个Pivotal Gemfire集群。这个集群配置服务使用Pivotal GemFire locators在组级，集群级存储配置和服务

2015-07-08 15:49:41 1668 1

翻译 Gemfire集群配置服务的概述

Gemfire集群的配置：用gfsh命令行的功能配置gemfire集群，集群配置服务存在集群配置和分发配置集群成员，也有一些额外的方法配置集群。用gfsh去配置rigions，磁盘存储，网关发送器和接收器，以及其他的一些Gemfire对象。也可以用gfsh去开启或者停止定位器，服务器，网关发送器和网关接收器。当你执行这些命令,继续配置的集群配置服务。当一个新的结点加入到集群的时候，这个

2015-07-08 10:32:05 1971

转载 CDN（内容分发网络）技术原理

1. 前言　　Internet的高速发展，给人们的工作和生活带来了极大的便利，对Internet的服务品质和访问速度要求越来越高，虽然带宽不断增加，用户数量也在不断增加，受Web服务器的负荷和传输距离等因数的影响，响应速度慢还是经常抱怨和困扰。解决方案就是在网络传输上利用缓存技术使得Web服务数据流能就近访问，是优化网络数据传输非常有效的技术，从而获得高速的体验和品质保证。　　网络

2015-06-29 11:15:15 588

原创 ssh 配置免密码登陆

SSH 为 Secure Shell 的缩写，由 IETF 的网络工作小组（Network Working Group）所制定；SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是UNIX系统上的一个程序，后来又迅速扩展到其他操作平台。SSH在正确使用时可弥补网

2015-06-21 08:39:36 3420

转载 MySQL存储过程详解 mysql 存储过程

mysql存储过程详解1.存储过程简介我们常用的操作数据库语言SQL语句在执行的时候需要要先编译，然后执行，而存储过程（Stored Procedure）是一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，用户通过指定存储过程的名字并给定参数（如果该存储过程带有参数）来调用执行它。一个存储过程是一个可编程的函数，它在数据库中创建并保存。它可以有SQL语句和一些特殊的控制

2015-06-09 16:57:44 398

转载 SQLServer游标(Cursor)简介和使用说明

游标（Cursor）是处理数据的一种方法，为了查看或者处理结果集中的数据，游标提供了在结果集中一次以行或者多行前进或向后浏览数据的能力。我们可以把游标当作一个指针，它可以指定结果中的任何位置，然后允许用户对指定位置的数据进行处理。 1.游标的组成游标包含两个部分：一个是游标结果集、一个是游标位置。游标结果集：定义该游标得SELECT语句返回

2015-06-09 09:04:10 666

转载使用 shell 脚本对 Linux 系统和进程资源进行监控

Shell 简介Shell 语言对于接触 LINUX 的人来说都比较熟悉，它是系统的用户界面，提供了用户与内核进行交互操作的一种接口。它接收用户输入的命令并把它送入内核去执行。实际上 Shell 是一个命令解释器，它解释由用户输入的命令并且把它们送到内核。它没有一般编程语言的“编译 - 链接 - 运行”过程。不仅如此，Shell 有自己的编程语言用于对命令的编辑，它允许用户编写由 shel

2015-06-05 16:32:53 553

原创对linux进程实时进行监控的方法

刚刚实习，今天就给了个任务是：一个服务器上面的一个进程FGC太大，要求时刻监控该进程的FGC，当FGC大于3000的时候，将这个进程杀死，然后重启这个进程。具体流程如下：首先编写shll脚本，脚本如下#!/bin/bashpid=`ps aux|grep java | grep 进程的名字 |awk '{print $2}'`FGC=`jstat -gcutil ${pi

2015-06-05 16:23:02 1770

转载 sql常用函数分析

一旦成功地从表中检索出数据，就需要进一步操纵这些数据，以获得有用或有意义的结果。这些要求包括：执行计算与数学运算、转换数据、解析数值、组合值和聚合一个范围内的值等。下表给出了T-SQL函数的类别和描述。函数类别作用聚合函数执行的操作是将多个值合并为一个值。例如 COUNT、SUM、MIN 和 MAX。配置函数

2015-06-04 10:29:04 5940

转载 crontab命令

一、crond简介crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，与windows下的计划任务类似，当安装完成操作系统后，默认会安装此服务工具，并且会自动启动crond进程，crond进程每分钟会定期检查是否有要执行的任务，如果有要执行的任务，则自动执行该任务。Linux下的任务调度分为两类，系统任务调度和用户任务调度。系统任务调度：系统周

2015-06-04 10:25:51 315

空空如也

空空如也