yuke_yuki-CSDN博客

原创 ElasticSearch查询时候过滤_source字段

进行DSL查询过程有个需求，需要将_source数据当中key小于10的字段取出来，过滤掉大于等于10的。所以就用了es的script，需要在elasticsearch.yml的配置里加入这几个：script.engine.groovy.inline.aggs: truescript.engine.groovy.inline.update: falsescript.engine.gro

2018-01-03 16:55:26 8962

原创 Shell获取标准错误并赋值给变量

今天在写shell的过程中遇到个问题，用 XXX=$(ln -s XXX XXX) 想在运行软链接时候把错误输出赋值给一个变量，却怎么也赋值不了，最后发现应该是标准输出和标准错误的问题。一般来说$()只会得到命令的标准输出，而我们要拿到的是标准错误。因此想了下面两个方法，都是可行的。方法一： ln -s XXX XXX 2>log var=$(cat log) echo $va

2017-11-21 14:29:59 6737

原创 Logstash使用ruby和正则进行字符串处理

在接ip-guard的数据时候，有一项MAC地址，需要在得到的MAC地址字段把每两个字符中间加上"-"；由于使用Logstash接的，所以我在filter段直接使用ruby将

2017-10-11 10:45:01 6732

原创 SecureCRT的Session编码全局设置

在用SecureCRT连接Linux服务器时候，对于每一次的连接，Session的Character encoding都是Default，导致每次连接都得去修改为UTF-8，如下图：因此需要修改他创建连接的参数默认值，我去查找了SecureCRT的安装目录，发现在“\config data\Sessions”目录下有“Default.ini“文件，其中有关编码的配置如下所示：

2017-10-10 17:13:32 4823 4

原创 ElasticSearch2.3.1使用delete-by-query插件

在ElasticSearch2.3.1这个版本中没有默认的delete-by-query（其实在ES2.0就没有了），因此我们需要额外安装这个插件。按照官方的提示，你可以在ES的根目录下运行该命令进行插件安装。但有时候由于网络的原因，很难下载安装下来，因此我在这里给这个插件包的百度云链接：https://pan.baidu.com/s/1sldkHul，下载后是delete-by-

2017-08-03 14:25:35 4364

转载 FIO使用

fio1. 安装wget http://freecode.com/urls/3aa21b8c106cab742bf1f20d60629e3ftar xf fio-2.1.10.tar.gzcd fio-2.1.10yum -y install libaio-devel #必须提前安装makemake install 2. 用法随机读：fio -filen

2017-08-03 09:07:10 1023

原创 Bash监控Logstash写入HDFS性能脚本

我们通过这五个方面来进行监控：写入HDFS文件的大小、CPU使用率、内存使用率、NameNode进程的CPU、内存使用率和DataNode进程的CPU、内存使用率。（1）HDFS文件大小：#!/bin/bash##获取写入文件的大小（单位为B）path='XXXXXX'size=`hadoop fs -count ${path} | awk '{print $3}'`（2）CP

2017-07-26 13:22:45 971

转载百度云大文件使用迅雷下载

百度云上大文件使用迅雷等下载器下载的方法：1. 安装Tampermonkey插件（基于Chromium的浏览器）下载地址：https://pan.baidu.com/s/1dFsOHcH下载好后安装到浏览器2. https://greasyfork.org/zh-CN/下载脚本，在网站搜索“百度云”后，点击“解决百度云大文件下载限制”并安装此脚本；3. 若安装不成功，则可直接复

2017-07-26 09:39:14 2002

原创树莓派控制五线四相步进电机

同样是大二时候的坑......就不明白了当初为什么不把代码也给贴上去，现在就贴出代码。#include#include#include //提供GPIO控制函数#include //提供sleep()函数void DelayMs(int n){ usleep(n*1000);}//使树莓派停止void Step_Stop(int* Ins){ int i; for(

2017-07-25 13:48:28 3969 1

原创树莓派控制超声波传感器

看到大二的时候有写过关于树莓派控制HC-SR04超声波测距模块的教程，当时并未给出代码（也不知道是什么原因，估计初写博客并不熟悉吧），所以在三年后的今天贴代码出来，给大家参考下。//树莓派控制超声波传感器//若连续进行，测量周期应该在60ms以上//通过发射信号到收到回响信号的时间间隔可计算得到距离#include #include #include //提供控制GPIO接口函数

2017-07-25 13:43:03 3931 2

原创 Java使用ElasticSearch API设置Mapping

最近一个项目要接PLC下位机的数据存放到ElasticSearch，数据都是double的数值类型，因此在接的时候需要进行Mapping："rEva_Photo_x2": { "type": "double" }, "AlarmbAlignConvInverter": { "type": "double" }, "AlarmbAlignConvLoseErr": {

2017-07-25 10:59:00 5613

原创 Python自动上京东抢手机

上次抢荣耀V9，被京东给恶心到了，所以就写了个简单的Python来自动抢V9。虽然用的是比较蠢的方法，但觉得还是有可以学习的地方。所以在这里把代码贴出来给大家看看。# -*- coding: UTF-8 -*-from splinter.browser import Browserimport timedef login(b): b.click_link_by_text("账户登

2017-07-18 11:52:53 12729 2

原创从头开始学ElasticSearch

修改配置 /etc/elasticsearch/elasticsearch.yml进行集群配置：################################### Cluster ################################### # 代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的. # ES的一个概

2017-07-18 11:46:32 213

原创从头开始学kafka

###安装部署1. kafka核心在于集群，所以在此不讲解单节点配置,需先配置好zookeeper环境，详见zookeeper配置文档2. 以三台虚拟机为例，详细配置过程如下：a.进入kafka目录下，vim config/server.properties 修改brokerid：这个每个server（broker）必须唯一，写数字修改hostname：这个也是唯一的，I

2017-07-18 11:43:32 355

原创 32位浮点数转十进制

32位浮点数一般的表示方法如下：1）S为1位数符，为0时表示正数，为1时表示负数；2）阶码为8位，以2为底，阶码 = 阶码真值 + 127；3）尾数为23位，采用隐含尾数最高位1的表示方法，实际尾数为24位，尾数真值 = 尾数 + 1因此可以给出公式：Java代码如下： double result; //存放结果 String sign = binaryString.

2017-07-06 09:58:18 17033 8

原创 ModbusRTU协议的Java Socket

昨天郭柯发过来一个WinTcpS7_1K.dll文件，在VB代码里跑并发数据到Modbus Slave，发现当Modbus Slave选择用“Modbus RTU over TCP/IP”连接时有数据传输过来，因此可以确定VB代码使用该DLL跟下位机进行通信时用的是ModbusRTU协议。因此我就去模拟了直接用socket跟Modbus Slave进行ModbusRTU的通信，先给出Modbu

2017-07-04 14:41:07 11733 4

原创 ModbusTcp协议的Java Socket

模拟了直接发送Socket套接字（上位机）跟Modbus Slave软件（下位机）进行通信，代码如下： Socket socket = new Socket("192.1.1.4",9600); InputStream is=socket.getInputStream(); OutputStream os=socket.getOutputStr

2017-06-30 16:03:10 19360 10

原创 FinsTCP协议的Java Socket

在网上并无找到关于欧姆龙的FinsTcp协议的调试工具和仿真软件，但找到的一部分资料有使用一些Tcp/UdpSocket调试工具跟下位机PLC进行网络通信，因此个人认为上位机可以使用Java编写程序，通过Socket发送相关指令给下位机，进行握手连接和数据获取。下位机的默认端口是9600，上位机通过该端口与下位机相连。下面给出模拟数据，其中上位机ip假设为1

2017-06-30 14:22:48 6545 3

首先来介绍所用的超声波测距模块。我们所用的是HC-SR04超声波测距模块，其上端一共有四个引脚（Vcc引脚接5V电源，Gnd引脚接地，Trig引脚触发控制信号输入，Echo引脚为回响信号输出）。其工作时，若提供一个 10uS 以上脉冲触发信号，该模块内部将发出 8 个 40kHz 周期电平并检测回波。一旦检测到有回波信号则输出回响信号，并且回响信号的脉冲宽度与所测的距离成正比。因此我们可以通过从发

2014-03-29 13:51:31 1611

原创一个菜鸟初学树莓派(1)

这里先列举出研究这个树莓派需要的一些知识点，当然，只是说到让树莓派控制步进电机转动而已。首先就是先熟悉树莓派，最好的办法就是将树莓派外接到显示器上。树莓派上的视频接口是HDMI，可以通过HDMI to VGA转换器接到显示器上。给树莓派通电的最适电源配置是5V，2A（如果电流小于2A，在接入到显示器可能会造成黑屏之类的结果，用老师给的电源还有三星的USB接线就可以）。接上显示器后，给树莓派

2014-03-28 23:30:53 1188

yuke的专栏