自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(864)
  • 资源 (649)
  • 收藏
  • 关注

原创 微软AI系列 C#中实现相似度计算涉及到加载图像、使用预训练的模型提取特征以及计算相似度

在C#中实现相似度计算涉及到加载图像、使用预训练的模型提取特征以及计算相似度。你可以使用.NET中的深度学习库如TensorFlow.NET来加载预训练模型,提取特征,并进行相似度计算

2024-03-19 15:55:40 261 1

原创 微软AI系列 如何使用微软及相关产品来实现 文字转语音

通过Speech SDK,你可以访问Azure的语音服务,并使用其中的语音合成功能进行AI配音。:Azure还提供了自定义语音服务,可以让用户创建自己的语音合成模型,从而实现更加个性化和自然的语音合成。你可以通过Azure平台上的自定义语音服务来训练自己的模型,然后将其集成到你的应用程序中。:Microsoft也提供了直接使用的文本转语音API,你可以通过调用这些API来实现文本到语音的转换。记得在实际使用时,遵循 Azure 认知服务的使用条款,并注意保护你的密钥和数据。在这个示例中,你需要替换。

2024-03-14 08:18:36 566

原创 如何使用OpenAI进行embedding句子后,输入新句子比较

如何使用OpenAI进行embedding句子后,输入新句子比较

2023-05-26 00:14:49 1420

原创 JS调用MetaMask调用启动转账

1 、代码必须跑在nginx下,否则没有eth对象。2、可以下载ganache来单跑个私服,然后安装谷歌metamask浏览器插件来实验3、账户1:0xFA387e41FA471172cC729167EBD4862aA7020D91 账户2:0x818DF62ff0bE3B28AE8be25e2e848E10138018B74、1000000000000000 为金额

2022-11-16 23:40:29 1333 2

转载 Docker安装Confluence

参考链接: https://my.oschina.net/u/2289161/blog/1648587 https://hub.docker.com/r/cptactionhank/atlassian-confluence/dockerfile https://my.oschina.net/u/2289161/blog/1647061 https://my.oschina.net/u/2289161/blog/838218 https://hub.docker.com/r/cptactionhan

2022-07-16 20:11:00 2072 1

转载 Python cv2 图片的几何变形

import cv2 as cvimport numpy as npfrom matplotlib import pyplot as pltimg = cv.imread('sudoku.png')rows,cols,ch = img.shapepts1 = np.float32([[56,65], [368,52], [28,387], [389,390]])pts2 = np.float32([[0,0], [300,0], [0,300], [300,300]])M ...

2021-11-19 23:48:28 876 1

转载 windows docker 空出C盘 迁移到其他盘

下面是操作方法: 首先关闭docker 关闭所有发行版:wsl --shutdown 将docker-desktop-data导出到D:\SoftwareData\wsl\docker-desktop-data\docker-desktop-data.tar(注意,原有的docker images不会一起导出)wsl --export docker-desktop-data D:\SoftwareData\wsl\docker-desktop-data\docker-desktop

2021-11-13 22:01:21 963

转载 Docker kafka

阅读目录一、下载镜像 二、先启动zookeeper 三、启动kafka 四、创建一个topic(使用代码次步可省略) 五、kafka设置分区数量 六、python代码回到顶部一、下载镜像docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka回到顶部二、先启动zookeeper#单机方式docker run -d --name zookeeper -p 2181:2181 -t wurst

2021-10-17 22:22:20 339

转载 openshift for linux

安装openshift1、下载地址:https://github.com/openshift/origin/releases3.11下载:https://github.com/openshift/origin/releases/tag/v3.11.02、上传到/opt目录mv openshift-origin-server-v3.11.0-0cbc58b-linux-64bit.tar.gz /opt1.3、解压cd /opttar -zxvf openshift-origi...

2021-10-17 20:25:30 299

原创 K8S常用命令

https://kubernetes.io/docs/reference/(cmd rest web) apiserver 调用方法->etcd 数据库 -> schedule 决策用哪个Nodes资源 -> controller 最终一致性-ns--nodes---deploy----replicaset-----podskubectl get nodes 获取物理机节点kubectl get ns 获取命名空间kubectl get pods 获取pod资源 默认.

2021-09-18 13:31:51 267

原创 Java lamda表达式快速分组

public class ProductDto { private long month; private String cate; private double count;}Map<String,List<ProductDto>> categoryMap = alllist.getValue().stream().collect(Collectors.groupingBy(ProductDto::getCate));

2021-08-24 15:00:19 786

转载 Spark Windows

 本文主要是讲解Spark在Windows环境是如何搭建的一、JDK的安装1、1 下载JDK  首先需要安装JDK,并且将环境变量配置好,如果已经安装了的老司机可以忽略。JDK(全称是JavaTM Platform Standard Edition Development Kit)的安装,去Oracle官网下载,下载地址是Java SE Downloads。  上图中两个用红色标记的地方都是可以点击的,点击进去之后可以看到这个最新版本的一些更为详细的信息,如下图所示:  下载完.

2021-08-07 16:52:01 250

转载 fastjson反序列化漏洞原理及利用

重要漏洞利用poc及版本我是从github上的参考中直接copy的exp,这个类就是要注入的类import java.lang.Runtime; import java.lang.Process; public class Exploit { public Exploit() { try{ // 要执行的命令 String commands = "calc.exe"; Process pc = Runtime.getRuntime().exec(commands); pc.waitFor()

2021-07-01 13:55:49 3394 1

转载 利用 Docker 搭建单机的 Cloudera CDH 以及使用实践

利用 Docker 搭建单机的 Cloudera CDH 以及使用实践想用 CDH 大礼包,于是先在 Mac 上和 Centos7.4 上分别搞个了单机的测试用。其实操作的流和使用到的命令差不多就一并说了:首先前往官方下载包:https://www.cloudera.com/downloads/quickstart_vms/5-13.html如果使用 mac 并且安装 docker。 我们可以很轻松的使用 kitematic 来获取最新版本的 cloudera docker 镜像。只需要搜

2021-05-21 10:28:25 1396

原创 zookeeper+kafka+logstash+elasticsearc+kibana

研究背景1、之所以选用kafka是因为量起来的话单台logstash的抗压能力比较差2、为了解决整个链路查询的问题,多个Feign传层的话,可以按照一个ID进行穿层,所以采用logback的MDC进行对唯一标识存储并且在Feign的调用链放在Header里,这里命名为TID下载地址:ZK+Kafkahttps://mirrors.bfsu.edu.cn/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgzhttps://mirrors.bfsu.edu.cn

2021-05-14 21:06:32 413

转载 logstash windows

最新在研究elastic stack (elk) :logstash 安装,下载最新版本的logstash:点击打开链接解压到磁盘根目录下:在logstash>bin1、目录下创建:logstash.conf2、输入内容:input {stdin{}}output {stdout{}}3、ok 了,启动成功...

2021-05-12 11:09:15 234

转载 Feign接口 多线程问题

Spring Cloud Feign传输Header,并保证多线程情况下也适用一、现象微服务在生产中,常遇到需要把 header 传递到下一子服务的情况(如服务A访问服务B的接口,需要传递header),网上大多数的方案是实现 RequestInterceptor 接口,在重写方法中,把 header 填进 Feign 的请求中。我们先按这种方式,简单实现代码如下:1、继承RequestInterceptor服务A新建类,继承 RequestInterceptor,把 header 设置到请求中,

2021-04-15 20:11:22 6418

转载 kafka logstash elk

前言企业开发中,一个应用会有多个测试环境,于是会有一个专门的服务器做日志收集,那就需要保存日志和应用隔离,这里就牵涉到异步存写日志的问题,异步消息队列选取kafka,高性能,日志消息消费我们使用logstash。这里也可以都使用elk(土豪请绕过)。Kafka的搭建习惯使用docker-compose启动,脚本如下:version: '2'services: zookeeper: image: wurstmeister/zookeeper ## 镜像 ports:...

2021-04-12 21:00:17 176

转载 WINDOWS上KAFKA运行环境安装

WINDOWS上KAFKA运行环境安装1. 安装JDK1.1 安装文件:http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载JDK1.2 安装完成后需要添加以下的环境变量(右键点击“我的电脑” -> "高级系统设置" -> "环境变量"):JAVA_HOME:C:\Program Files\Java\jdk1.8.0_171 (jdk的安装路径)Path: 在现有的值后面添加"; %JAV..

2021-04-12 20:44:03 94

原创 ELK7.8.1的Docker搭建过程

在linux下首先在目录准备文件首先说明,我的电脑宿主机的IP是192.168.1.5为es准备文件mkdir -p /opt/elk7/escd /opt/elk7/es#创建对应的文件夹 数据 / 日志 / 配置mkdir conf data logs #授权chmod 777 -R conf data logs然后进入到/opt/elk7/es/conf下vim elasticsearch.yml以下是elasticsearch.yml 的内容cluste

2021-04-03 17:39:11 277

转载 @Async join

直接贴代码自定义线程池package com.xh.lawsuit.rest.modular.example;import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;impo...

2021-03-25 10:22:02 251

转载 Elk7.2 Docker

正如官方所说的那样 https://www.elastic.co/guide/en/elasticsearch/reference/current/vm-max-map-count.html,Elasticsearch默认使用mmapfs目录来存储索引。操作系统默认的mmap计数太低可能导致内存不足,我们可以使用下面这条命令来增加内存为了防止ElasticSearch启动报错,max file descriptors [65535] for elasticsearch process is too low

2021-03-10 10:59:07 266

转载 arthas命令redefine实现Java热更新

Arthas非常重要的命令redefine,主要作用是加载外部的.class文件,用来替换JVM已经加载的类,总结起来就是实现了Java的热更新。redefine在一下几种情况中会失败:1、增加了field;2、增加了method;3、替换正在运行的方法。前两个比较好理解,第三个意思就是这个方法必须结束之后才会被替换,如果有个方法开始运行之后就不会跳出,那么这个方法所在的类是无法被替换的,类似无限循环的方法。场景需求举个例子,在线上代码某个class的方法添加日志输出,修改方法返回结果,但是,又不

2021-02-26 17:08:16 1273

转载 分布式锁RedLock的java实现Redisson

1. 概述Redisson是一个在Redis的基础上实现的Java驻内存数据网格(In-Memory Data Grid)。它不仅提供了一系列的分布式的Java常用对象,还提供了许多分布式服务。其中包括(BitSet, Set, Multimap, SortedSet, Map, List, Queue, BlockingQueue, Deque, BlockingDeque, Semaphore, Lock, AtomicLong, CountDownLatch, Publish / Subscribe,

2021-02-12 16:47:47 301

转载 Redis下载及安装(windows版)

下载地址1、Github下载地址:https://github.com/MicrosoftArchive/redis/releases2、百度网盘下载地址 https://pan.baidu.com/s/1z1_OdNVbtgyEjiktqgB83g 密码:kdfq安装过程1.首先先把下载的压缩包解压到一个文件夹中2.打开cmd指令窗口3.输入你刚才解压的文件路径4.然后输入redis-server redis.windows.conf 命令接下来部署R...

2021-02-12 08:55:19 101

转载 OpenJDK研究

这里以32位Windows 7为例安装必须的软件JDK1.8CygwinMicrosoft Visual Studio 2010(请下载英文版)这里就不介绍怎么安装这些软件了,假设安装后的目录名分别是:(请根据你的实际情况调整这些目录名)D:\JavaSE1.8D:\CygwinD:\VS2010增加环境变量JAVA_HOME指向D:\JavaSE1.8,并把D:\JavaSE1.8\bin;D:\Cygwin\bin;D:\VS2010\VC\bin加到Path环境变量。.

2021-02-03 11:35:26 149

转载 synchronized 底层如何实现?什么是锁升级、降级?

synchronized 底层如何实现?什么是锁升级、降级?synchronized 代码块是由一对 monitorenter/monitorexit 指令实现的,Monitor 对象是同步的基本实现单元。https://docs.oracle.com/javase/specs/jls/se10/html/jls-8.html#d5e13622在Java6之前, Monitor的实现完全是依靠操作系统内部的互斥锁,因为需要进行用户态到内核态的切换,所以同步操作是一个无差别的重量级操作。现代的( O

2021-02-02 16:37:17 552

转载 java并发synchronized 锁的膨胀过程(锁的升级过程)深入剖析(2)

接下来我们分析两个批量偏向撤销的相关案例(禁止偏向锁延迟的情况下:-XX:+UseBiasedLocking -XX:BiasedLockingStartupDelay=0):案例一: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

2021-02-02 15:53:48 141

转载 java并发synchronized 锁的膨胀过程(锁的升级过程)深入剖析(1)

我们先来说一下我们为什么需要锁?因为在并发情况为了保证线程的安全性,是在一个多线程环境下正确性的概念,也就是保证多线程环境下共享的、可修改的状态的正确性(这里的状态指的是程序里的数据),在java程序中我们可以使用synchronized关键字来对程序进行加锁。当声明synchronized代码块的时候,编译成的字节码将包含monitorenter指令和monitorexit指令。这两种指令均会消耗操作数栈上的一个引用类型的元素(也就是 synchronized 关键字括号里的引用),作为所要加..

2021-02-02 15:52:34 1043

转载 JVM启动参数

不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数,可以极大的减少由于GC工作,而导致的程序运行中断方面的问题,进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程,由于各个程序具备不同的特点,如:web和GUI程序就有很大区别(Web可以适当的停顿,但GUI停顿是客户无法接受的),而且由于跑在各个机器上的配置不同(主要cup个数,内存不同),所以使用的GC种类也会不同(如何选择见GC种类及如何选择)。本文将注重介绍JVM、

2021-01-31 10:51:54 115

转载 AtomicStampedReference源码分析

之前的文章已经介绍过CAS的操作原理,它虽然能够保证数据的原子性,但还是会有一个ABA的问题。    那么什么是ABA的问题呢?假设有一个共享变量“num”,有个线程A在第一次进行修改的时候把num的值修改成了33。修改成功之后,紧接着又立刻把“num”的修改回了22。另外一个线程B再去修改这个值的时候并不能感知到这个值被修改过。    换句话说,别人把你账户里面的钱拿出来去投资,在你发现之前又给你还了回去,那这个钱还是原来的那个钱吗?你老婆出轨之后又回到了你身边,还是你原来的那个老婆吗?    

2021-01-29 11:09:57 153

转载 原子性 atomic 类用法

当程序更新一个变量时,如果多线程同时更新这个变量,可能得到期望之外的值,比如变量i=1,A线程更新i+1,B线程也更新i+1,经过两个线程操作之后可能i不等于3,而是等于2。因为A和B线程在更新变量i的时候拿到的i都是1,这就是线程不安全的更新操作,通常我们会使用synchronized来解决这个问题,synchronized会保证多线程不会同时更新变量i。 import java.util.concurrent.CountDownLatch;public class UnSa..

2021-01-27 23:44:23 267

转载 CAS的ABA问题描述 AtomicStampReference

CAS的ABA问题描述在CAS操作的时候,其他线程将当前变量的值从A改成B,又改回A; CAS线程用期望值A与当前变量比较的时候,发现当前变量没有变,于是CAS就将当前变量进行了交换操作,但其实当前变量改变过,这与设计思想是不符合的; ABA问题的解决思路:每次当前变量更新的时候,将当前变量的版本号加1;AtomicStampReference示例public boolean compareAndSet( V expectedReference, V newReference, int

2021-01-27 22:18:46 182

原创 spring boot redis 分布式锁

yml文件 redis: host: 112.35.123.178 port: 40197 password: redisroot timeout: 5000 database: 0 jedis: pool: min-idle: 0 max-idle: 8 max-active: 8 max-wait: -1RedisConfig.javaimport...

2021-01-27 17:09:30 431

转载 CompareAndSwap原子操作原理

在翻阅AQS(AbstractQueuedSynchronizer)类的过程中,发现其进行原子操作的时候采用的是CAS。涉及的代码如下: 1: private static final Unsafe unsafe = Unsafe.getUnsafe(); 2: private static final long stateOffset; 3: private static final long headOffset; 4: pri

2021-01-26 14:37:29 787

转载 happens-before规则和as-if-serial语义

概述本文大部分整理自《Java并发编程的艺术》,温故而知新,加深对基础的理解程度。指令序列的重排序我们在编写代码的时候,通常自上而下编写,那么希望执行的顺序,理论上也是逐步串行执行,但是为了提高性能,编译器和处理器常常会对指令做重排序。1) 编译器优化的重排序。编译器在不改变单线程程序语义的前提下,可以重新安排语句的执行顺序。2) 指令级并行的重排序。现代处理器采用了指令级并行技术来将多条指令重叠执行。如果不存在数据依赖性,处理器可以改变语句对应机器指令的执行顺序。3) 内存系统的重排

2021-01-25 21:15:28 142

转载 java 8大happen-before原则超全面详解

再来重复下八大原则:单线程happen-before原则:在同一个线程中,书写在前面的操作happen-before后面的操作。 锁的happen-before原则:同一个锁的unlock操作happen-before此锁的lock操作。 volatile的happen-before原则:对一个volatile变量的写操作happen-before对此变量的任意操作(当然也包括写操作了)。 happen-before的传递性原则:如果A操作 happen-before B操作,B操作happen-

2021-01-25 21:10:53 368

转载 wait放弃对象锁_Java线程中wait、await、sleep、yield、join用法总结

wait()、notify()、notifyAll()用法obj.wait()/obj.wait(long timeout)是Object中的方法,当线程调用wait()方法,当前线程释放对象锁,进入等待队列。 obj.notify()/obj.nogifyAll()是Object中的方法,唤醒在此对象上wait()的单个或者所有线程。测试代码:public class ThreadWaitNotify {public static void main(String[] args) th

2021-01-24 10:41:33 297

转载 synchronized 和Lock区别

synchronized实现原理Java中每一个对象都可以作为锁,这是synchronized实现同步的基础:普通同步方法,锁是当前实例对象 静态同步方法,锁是当前类的class对象 同步方法块,锁是括号里面的对象 当一个线程访问同步代码块时,它首先是需要得到锁,当退出或者抛出异常时必须要释放锁,那么它是如何来实现这个机制的呢?我们先看一段简单的代码:package cn.alibab.javap;public class SynchronizedTest { public

2021-01-24 10:29:30 91

原创 AQS相关逻辑解析

关心QPS TPS

2021-01-24 10:22:41 117

加特林压力测试代码示例 gatling stress test samples

加特林压力测试代码示例 gatling stress test samples 可以增加线程 持续时间来达到一定量的QPS

2022-05-24

C# 隐写 二维码隐藏到网页

打开yxs.html,然后打开程序,可以测试出截取网页的图片后,如果在其他渠道,比如画图,粘贴就无水印,粘贴到微信,就加上了二维码溯源水印

2021-05-18

LSB隐写术 C#源代码

隐写术是隐藏的艺术通信隐藏的以事实的地方,由隐藏信息的其他信息。可以使用许多不同载体的文件格式,但数字图像是最流行的因为他们在互联网上的频率。对于隐藏秘密信息在图像中的,都存在一个种类繁多的信息隐藏技术有些比其他人更复杂,他们都有各自的强和弱点。不同的应用程序可能需要绝对隐形的秘密信息,而另一些需要一个大的秘密消息来被隐藏。本项目报告打算给图像隐写术,其用途和技术的概述

2021-05-17

javac++.zip

JDK7,OpenJDK(HotSpot JVM、Javac)源代码学习研究(包括代码注释、文档、用于代码分析的测试用例)

2021-02-03

de4dot.zip

1、CMD 打开 De4Dot 所在文件夹 最好是以管理员身份运行CMD 2、输入 De4Dot C:\Users\muzigaiyu\Desktop\demo.exe 回车 3、成功后会在软件所在文件夹生成 demo-cleaned.exe 在用dotpeek 或者其他软件打开exe即可看到net源码 4、 一变混合 可以加 -v参数

2020-06-01

H5-Kline-master.zip

H5-Kline是基于echarts封装的非常轻量级的股票行情图表 功能点 基于ECharts的股票行情分时、K线、MACD、DIF、DEA图表 (绝无仅有)

2020-03-19

使用SpringBoot整合jersey 实现Restful web service.同时整合springmvc。

使用SpringBoot整合jersey 实现Restful web service.同时整合springmvc。

2020-02-23

NET_20.rar

在Visual Studio2005中实现SFTP上传,下载的dll文件,在Visual Studio2005中实现SFTP上传,下载的dll文件

2020-01-14

Spring Boot 拦截器+kibana 配置.zip

Spring Boot 拦截器 各项日志 通过kibana具体查询分析 Advanced Settings [7.2.0] 综合分析 定时任务执行日志 数据同步日志 用户访问操作日志 异常日志 内存日志 Spring逻辑参数执行日志 SQL流水日志 Feign接口调用日志 // 获取header中的属性 RequestAttributes requestAttributes = RequestContextHolder.getRequestAttributes(); if (requestAttributes == null) { return; } HttpServletRequest request = ((ServletRequestAttributes) requestAttributes).getRequest(); Enumeration<String> headerNames = request.getHeaderNames(); if (headerNames != null) { while (headerNames.hasMoreElements()) { String name = headerNames.nextElement(); Enumeration<String> values = request.getHeaders(name); while (values.hasMoreElements()) { String value = values.nextElement(); if("content-type".equalsIgnoreCase(name) && value.contains("multipart/form-data")){ break; } template.header(name, value); } } } }

2019-09-04

SKU 相关代码及知识

1、模拟淘宝产品SKU信息的组合添加规格组合 2、SKUDemo 淘宝商户端发布商品时,动态生成SKU表格的实例 可以根据自己项目 修改js文件实现 3、HeadSearchView 商城的商品有多规格的时候的选择页面。能够无限制的添加规格类型如:颜色,尺码,风格,等 4、html.zip可以自定义sku属性,根据自己的需求来填写数据后生成想要的表格数据 5、SKUDemo (1) 销售属性;仿淘宝SKU;SKU表格 6、添加商品规格例子新.rar 添加商品规格例子新,添加商品规格例子新,添加商品规格例子新,添加商品规格例子新,添加商品规格例子新,添加商品规格 例子新,添加商品规格例子新

2019-01-23

Face++ C# Demo实现web API 人脸比对,识别等接口

实现了以下接口 https://api-cn.faceplusplus.com/facepp/v3/compare https://api-cn.faceplusplus.com/facepp/v3/detect https://api-cn.faceplusplus.com/facepp/v3/faceset/create https://api-cn.faceplusplus.com/facepp/v3/faceset/addface https://api-cn.faceplusplus.com/facepp/v3/search 人脸识别,人脸集合创建,查找,两张人脸图片比对 并对返回结

2019-01-05

ELK6.2.4搭建

开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。 官方网站:https://www.elastic.co/products Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。 Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。 Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。 ELK下载:https://www.elastic.co/downloads/ ELK工作原理: ElasticSearch 配置ElasticSearch: 1 2 unzip elasticsearch-6.2.4.zip cd elasticsearch-6.2.4 然后编辑ES的配置文件: 1 vi config/elasticsearch.yml 修改以下配置项: 1 2 3 4 5 6 7 cluster.name=es_cluster node.name=node0 path.data=/tmp/elasticsearch/data path.logs=/tmp/elasticsearch/logs #当前hostname或IP,我这里是node1 network.host=node1 network.port=9200 其他的选项保持默认,然后启动ES: 1 nohup sh elasticsearch > nohup.log & 注意: 1.需要添加用户elk,ES不能以root用户进行启动 2.可能出现的错误: max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536] 1 2 3 vi /etc/security/limits.conf elk soft nofile 819200 elk hard nofile 819200 max number of threads [1024] for user [work] likely too low, increase to at least [2048] 1 2 3 4 vi /etc/security/limits.d/90-nproc.conf * soft nproc 1024 #修改为: * soft nproc 2048 max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144] 1 2 3 4 5 vi /etc/sysctl.conf #增加改行配置: vm.max_map_count=655360 #保存退出后,执行: sysctl -p 另外再配置ES的时候,threadpool.bulk.queue_size 已经变成了thread_pool.bulk.queue_size ,ES_HEAP_SIZE,ES_MAX_MEM等配置都变为ES_JAVA_OPTS这一配置项,如限制内存最大最小为1G: 1 export ES_JAVA_OPTS="-Xms1g -Xmx1g" 然后可以打开页面http://node1:9200/,将会看到以下内容:(我是通过外部访问虚拟机,因此为了简单没有配置host文件,直接用ip访问) Logstash 配置Logstash: 1 2 tar -zxvf logstash-6.2.4.tar.gz cd logstash-6.2.4 编写配置文件(名字和位置可以随意,这里我放在config目录下,取名为log_app.conf): 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 vi config/log_app.config #以下为内容 input { file { path => "/usr/local/software/elk/app.log" start_position => "beginning" #从文件开始处读写 } # stdin {} #可以从标准输入读数据 } filter { #Only matched data are send to output. } output { # For detail config for elasticsearch as output, # See: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html elasticsearch { action => "index" #The operation on ES hosts => "node1:9200" #ElasticSearch host, can be array. index => "applog" #The index to write data to. } } 其他的选项保持默认,然后启动Logstash: 1 2 # -f为指定配置文件 nohup sh ./bin/logstash -f ../config/log_app.config > nohup.log & 日志: Kibana 配置Kibana: 1 2 tar -zxvf kibana-6.2.4-linux-x86_64.tar.gz cd kibana-6.2.4-linux-x86_64 修改以下几项(由于是单机版的,因此host的值也可以使用localhost来代替,这里仅仅作为演示): 1 2 3 4 server.port: 5601 server.host: “node1” elasticsearch.url: http://node1:9200 kibana.index: “.kibana” 启动kibana: 1 nohup sh ./bin/kibana > nohup.log & 启动后界面: 然后需要创建index,步骤如下: ①点击左边iscover出现以下界面 ②按照注释配置,然后点击Next step,在第二页 选择@timestamp点击create创建 ③创建完成之后,可以看到以下一个界面,红框内是 自动生成的域,也可以理解为 跟数据库中的字段类似,其中有一个message字段,就是我们想要的日志信息。 ④再次点击Discover出现以下界面,可以看到默认搜索的是最后15分钟的日志,可以通过点击设置搜索的时间范围. ⑤可以点击右侧域的add设置需要显示的字段 添加完成之后,日志显示如下:

2018-11-15

Xshell6 可用的免费版本

Xshell6 可用的免费版本

2018-11-13

最新百度地图API Javascript V2.0 离线版本。 完全脱离百度在线地图, 有比较完善的示例Demo, 默认带有全国8级地图

最新百度地图API Javascript V2.0 离线版本。 完全脱离百度在线地图, 有比较完善的示例Demo, 默认带有全国8级地图

2018-11-13

Fiddler4 以及证书https

Fiddler简介: 一个很强大的抓包工具 1.安装: Filddler官网:点击打开链接 我安装的是filddler4:点击打开链接 直接下载文件,然后一路下一步就可以了 1.下载文件: 2.安装文件一路下一步即可 3.安装完成后打开软件出现: 接着安装完成后来说说遇到的坑——Filddler安全证书安装 安装证书失败的解决: 1、首先确保安装的 Fiddler 是较新的版本,比较老的版本可能会出现安装不上fiddler证书生成器的问题。 2、关闭Fiddler。 3、下载并安装Fiddler证书生成器。点击打开链接 4、打开Fiddler,点击工具栏中的Tools——>Fiddler Options… 5、切换到 HTTPS 选项卡,勾选 Capture HTTPS CONNECTs,勾选 Decrypt HTTPS trafic,会弹出安装证书的提示。一路点是或确定安装即可。 6、重启fiddler,依然停留在 HTTPS 选项卡,点击右侧Actions,能看一个下拉菜单,点击 Export Root Certificate to Desktop,此时证书会生成到桌面上,名为 FiddlerRoot.cer,点OK保存

2018-11-07

FiddlerCertMaker

关于高版本Fiddler导出的证书在ipad上安装显示未验证的问题,Google原文如下: Q:Can Fiddler intercept traffic from Apple iOS devices like iPad/iPhone/iPodTouch and Android devices? A: Yes, but these devices may not becompatible with the default certificates Fiddler generates. To resolve the incompatibility, you mayreplace Fiddler's default certificate generator with one that generatescertificates containing flags (e.g. AKID, SKID) that are compatible with theseplatforms. Simply download and install the newCertificateMaker and restart Fiddler. 安装一个证书生成器

2018-11-01

.net2.0 Mysql

String mysqlStr = "Database=test;Data Source=127.0.0.1;User Id=root;Password=root;pooling=false;CharSet=utf8;port=3306"; MySqlConnection mysql = new MySqlConnection(mysqlStr); 或者 string MyConString = "DRIVER={MySQL ODBC 3.51 Driver};" + "SERVER=localhost;" + "DATABASE=inv;" + "UID=root;" + "PASSWORD=root;" + "OPTION=3"; OdbcConnection MyConnection = newOdbcConnection(MyConString);

2018-10-24

ELK( ElasticSearch、Logstash和Kiabana)

通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。开源实时日志分析ELK平台能够完美的解决日志收集和日志检索、分析的问题,ELK就是指ElasticSearch、Logstash和Kiabana三个开源工具。 因为ELK是可以跨平台部署,因此非常适用于多平台部署的应用。 二 环境准备 1. 安装JDK1.8环境 2. 下载ELK软件包 logstash: https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip elasticsearch:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.0.zip kibana: https://artifacts.elastic.co/downloads/kibana/kibana-5.5.0-windows-x86.zip 分别解压下载的软件,elasticsearch,logstash,kibana 可以放在一个统一文件夹下 三 部署 1.配置logstash 在logstash文件夹的下bin目录创建配置文件logstash.conf ,内容如下: input { # 以文件作为来源 file { # 日志文件路径 path => "F:\test\dp.log" } } filter { #定义数据的格式,正则解析日志(根据实际需要对日志日志过滤、收集) grok { match => { "message" => "%{IPV4:clientIP}|%{GREEDYDATA:request}|%{NUMBER:duration}"} } #根据需要对数据的类型转换 mutate { convert => { "duration" => "integer" }} } # 定义输出 output { elasticsearch { hosts => ["localhost:9200"] #Elasticsearch 默认端口 } }   在bin目录下创建run.bat,写入一下脚本: logstash.bat -f logstash.conf 执行run.bat启动logstash。 2. 配置Elasticsearch elasticsearch.bat即可启动。 启动后浏览器访问 127.0.0.1:9200 ,出现以下的json表示成功。 3.配置kibana Kibana启动时从文件kibana.yml读取属性。默认设置配置Kibana运行localhost:5601。要更改主机或端口号,或者连接到在其他机器上运行的Elasticsearch,需要更新kibana.yml文件。 kibana.bat启动Kibana。

2018-07-20

eureka-server+gateway-service+user-service+zipkin-server

eureka-server+gateway-service+user-service+zipkin-server 本文案例一共四个工程采用多Module形式。需要新建一个主Maven工程,主要指定了Spring Boot的版本为1.5.3,Spring Cloud版本为Dalston.RELEASE。包含了eureka-server工程,作为服务注册中心,eureka-server的创建过程这里不重复;zipkin-server作为链路追踪服务中心,负责存储链路数据;gateway-service作为服务网关工程,负责请求的转发,同时它也作为链路追踪客户端,负责产生数据,并上传给zipkin-service;user-service为一个应用服务,对外暴露API接口,同时它也作为链路追踪客户端,负责产生数据。

2018-07-18

vue 一套前端框架

vue-element-admin is a production-ready solution for admin interfaces. Based on Vue.js and use the UI Toolkit -- element. vue-element-admin is a magical vue admin, it based on the newest development stack of vue, built-in i18n solution, typical templates for enterprise applications, lots of awesome features. It helps you build a large complex Single-Page Applications. I believe whatever your needs are, this project will help you.

2018-05-31

weUI 入门教程:http://blog.csdn.net/libin_1/article/details/50734266

weUI 入门教程:http://blog.csdn.net/libin_1/article/details/50734266

2018-05-17

PostMan工具离线安装

Postman是一款功能强大的网页调试与发送网页HTTP请求的Chrome插件 打开chrome浏览器,单击右上角“≡”图标--&gt; “更多工具” --&gt; “扩展程序”; 下载类似Postman_v4.9.2.crx以crx为后缀的文件,改成“zip”或"rar"文件,解压该文件, 将文件夹里的“_metadata”文件夹名字改成“metadata”; 点击chrome浏览器“加载正在开发的扩展程序...”按钮,然后选中解压的文件夹; 点击加载后的postman界面上的“启动”即可。

2018-04-17

DsoFramer_KB311765_x86.exe 微软官方office控件,其中含源码,C、C++、Web 三种demo

DsoFramer_KB311765_x86.exe 微软官方office控件,其中含源码,C、C++、Web 三种demo

2018-04-13

weui开发的手机商城模板

weui开发的一完整手机移动端商城购物平台整站html模板源码下载,包括首页,购物车,订单管理,评价,分类,会员中心等,全面到注册协议都弄好了。

2018-04-12

nodejs上传下载管理文件

nodejs上传下载管理文件nodejs上传下载管理文件nodejs上传下载管理文件nodejs上传下载管理文件nodejs上传下载管理文件

2018-04-06

使用springboot集成jseesite

使用 springboot 改造 jeesite,只保留最简单的系统配置 。 介绍 1、运行主类,登录 admin/admin com.wolfking.jeesite.WolfkingJeesiteDriver 2、砍掉了所有的冗余的东西,只保留系统配置,数据库脚本 wolfking-jeesite.sql 3、使用 springboot 集成,使用 HikariDataSource 数据源 4、mvn install 打包运行 java -jar wolfking-jeesite-1.0.0-SNAPSHOT.war 5、如果使用外置的配置文件,在启动参数添加 java -jar --spring.config.location=./application.yml wolfking-jeesite-1.0.0-SNAPSHOT.war 6、由于 boot 对 jsp 的集成问题,只能用tomcat 和jetty 启动,undertow 有问题

2018-03-28

Windows Server 2008 + tomcat 配置使用SSL.docx

Windows Server 2008 + tomcat 配置使用SSLWindows Server 2008 + tomcat 配置使用SSLWindows Server 2008 + tomcat 配置使用SSL

2018-02-23

源自开源的甘特图组件jquery gantt 可拖拽

源自开源的甘特图组件jquery gantt,加上了拖拽和resize功能,enjoy!

2018-02-12

C# idx1-ubyte idx3-ubyte转图片 文字 浏览器

扩展名为idx1-ubyte一般为Lables idx3-ubyte是图片张量集合 要同时选中两个文件才能进行同时预览是什么值

2018-01-04

TensorFlowSharp-master

TensorFlowSharp-masterTensorFlowSharp-masterTensorFlowSharp-masterTensorFlowSharp-master

2018-01-02

tensorflow 摄像头调用 Inception v1分类 vs2017 C#

TensorFlow自带例子已经包含了android和ios下的摄像头图像分类示例Inception v1,这里补充一个Windows下的,使用AForge库(www.aforgenet.com)操作摄像头。

2018-01-02

tensorflow-sharp例子大全

learn-tensorflow-sharp-master 里面已经有了libtensorflow.dll

2018-01-02

libtensorflow.dll

libtensorflow.dll 应用于TensorflowSharp的目录下使用的资源

2018-01-02

Docker 快速安装caffe步骤

1.打开 2.解压 3.将这个压缩包传到linux里面 (我的环境如下: 我在win7虚拟机里面装的linux,用xshell用具链接linux,xftp实现win7和linux文件的传输。 3 可以使用 docker import 从容器快照文件中再导入为镜像,例如 cat ubuntu_c affe.tar | sudo docker import - test/ubuntu_caffe:v1.0 docker images 4建一个 Docker 实例: docker run -i -t test/ubuntu_caffe:v1.0 /bin/bash 5 执行训练: cd ~ cd caffe ./examples/mnist/train_lenet.sh 比较慢,多等一会儿!!! PS:centos7安装docker(其他版本安装centos自行百度) CentOS 7 中 Docker 的安装 Docker 软件包已经包括在默认的 CentOS-Extras 软件源里。因此想要安装 docker,只需要运行下面的 yum 命令: 1.[root@localhost ~]# yum install docker 启动 Docker 服务 安装完成后,使用下面的命令来启动 docker 服务,并将其设置为开机启动: 1.[root@localhost ~]# service docker start 2.[root@localhost ~]# chkconfig docker on (LCTT 译注:此处采用了旧式的 sysv 语法,如采用CentOS 7中支持的新式 systemd 语法,如下: 1.[root@localhost ~]# systemctl start docker.service 2.[root@localhost ~]# systemctl enable docker.service )

2017-12-21

快速安装caffe步骤

1.百度云获取caffe镜像 链接:http://pan.baidu.com/s/1o8NNlOm 密码:9a5x 2.解压 3.将这个压缩包传到linux里面 (我的环境如下: 我在win7虚拟机里面装的linux,用xshell用具链接linux,xftp实现win7和linux文件的传输。 3 可以使用 docker import 从容器快照文件中再导入为镜像,例如 cat ubuntu_caffe.tar | sudo docker import - test/ubuntu_caffe:v1.0 docker images 4建一个 Docker 实例: docker run -i -t test/ubuntu_caffe:v1.0 /bin/bash 5 执行训练: cd ~ cd caffe ./examples/mnist/train_lenet.sh 比较慢,多等一会儿!!! PS:centos7安装docker(其他版本安装centos自行百度) CentOS 7 中 Docker 的安装 Docker 软件包已经包括在默认的 CentOS-Extras 软件源里。因此想要安装 docker,只需要运行下面的 yum 命令: 1.[root@localhost ~]# yum install docker 启动 Docker 服务 安装完成后,使用下面的命令来启动 docker 服务,并将其设置为开机启动: 1.[root@localhost ~]# service docker start 2.[root@localhost ~]# chkconfig docker on (LCTT 译注:此处采用了旧式的 sysv 语法,如采用CentOS 7中支持的新式 systemd 语法,如下: 1.[root@localhost ~]# systemctl start docker.service 2.[root@localhost ~]# systemctl enable docker.service )

2017-12-21

EM抛硬币算法

Excel来解释公式,简单容易理解 这是一个抛硬币的例子,H表示正面向上,T表示反面向上,参数θ表示正面朝上的概率。硬币有两个,A和B,硬币是有偏的。本次实验总共做了5组,每组随机选一个硬币,连续抛10次。如果知道每次抛的是哪个硬币,那么计算参数θ就非常简单了,如上图所示。 如果不知道每次抛的是哪个硬币呢?那么,我们就需要用EM算法,基本步骤为:1、给θA和θB一个初始值;2、(E-step)估计每组实验是硬币A的概率(本组实验是硬币B的概率=1-本组实验是硬币A的概率)。分别计算每组实验中,选择A硬币且正面朝上次数的期望值,选择B硬币且正面朝上次数的期望值;3、(M-step)利用第三步求得的期望值重新计算θA和θB;4、当迭代到一定次数,或者算法收敛到一定精度,结束算法,否则,回到第2步。

2017-12-20

ID3 算法 决策树使用的算法与阿里巴巴Java开发手册(终极版)

ID3 算法 决策树使用的算法与阿里巴巴Java开发手册(终极版) ID3 算法 决策树使用的算法与阿里巴巴Java开发手册(终极版) ID3 算法 决策树使用的算法与阿里巴巴Java开发手册(终极版) ID3 算法 决策树使用的算法与阿里巴巴Java开发手册(终极版)

2017-12-15

Netica贝叶斯

贝叶斯NeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNetica

2017-12-14

Mysql安装Linux

一、卸载原来的mysql: 卸载一: 输入: #rpm -qa | grep -i mysql 显示: mysql-libs-5.1.52-1.el6_0.1.i686 卸载方法: yum -y remove mysql-libs-5.1.52-1.el6_0.1.i686 卸载二: 输入: #rpm -qa | grep -i mysql 显示: MySQL-client-5.1.62-1. glibc23.i386 MySQL-server-5.1.62-1.glibc23.i386 卸载方法: #rpm -ev MySQL-client-5.1.62-1.glibc23.i386 MySQL-server-5.1.62-1.glibc23.i386 二、安装MySQL服务器端: 安装文件:MySQL-server-5.1.62-1.glibc23.i386.rpm # rpm -ivh /software/mysql/MySQL-server-5.1.62-1.glibc23.i386.rpm 这是在/usr/share/mysql 目录下生成一些 文件,其中有一个文件名为:my-medium.cnf 将其拷贝到/etc/my.cnf中 # cp /usr/share/mysql/my-medium.cnf /etc/my.cnf 现在就安装完了,可以看看他运行的进程: # ps -ef | grep mysql 三、安装MySQL客户端: # rpm -ivh /software/mysql/MySQL-client-5.1.62-1.glibc23.i386.rpm 现在就安装客户端成功了,可以看看关于MySQL一些文件: # ls /usr/bin/mysql* 四、登录mysql: 刚开始装上mysql时是没有密码的,输入: # mysql 就可登录到mysql数据库上了。 五、设置MySQL密码: # mysqladmin -u root password 123456 这样就将mysql中用户名为root密码设为123456 六、登录设置有密码的mysql: 命令和dos下登录mysql是一样的: # mysql -uroot -p123456 或者 # mysql -uroot -p[回车] 再输入密码

2017-12-13

docker离线安装 linux

docker1.8 要求内核3.10起,但是redhat7.1内核是”2.6.32-431.el6.x86_64”奔溃,又不能升级内核,还不能联网。。。怎么办呢? 只好去网上下了docker1.7的rpm包手动安装吧,经过多次实验发现,1. 所需包如下: lxc-libs-1.0.9-1.el6.x86_64.rpm lua-alt-getopt-0.7.0-1.el6.noarch.rpm lua-filesystem-1.4.2-1.el6.x86_64.rpm lua-lxc-1.0.9-1.el6.x86_64.rpm lxc-1.0.9-1.el6.x86_64.rpm docker-io-1.7.1-2.el6.x86_64.rpm device-mapper-libs-1.02.117-12.el6.i686.rpm device-mapper-libs-1.02.117-12.el6.x86_64.rpm 1 2 3 4 5 6 7 8 9 好啦不要看了资源在这里下载:docker1.7.0 rpm包 直接安装device-mapper 的包会报依赖错误,解决方法就是不管他,直接忽略依赖安装。 所需执行命令如下: rpm -ivh lxc-libs-1.0.9-1.el6.x86_64.rpm rpm -ivh lua-alt-getopt-0.7.0-1.el6.noarch.rpm rpm -ivh lua-filesystem-1.4.2-1.el6.x86_64.rpm rpm -ivh lua-lxc-1.0.9-1.el6.x86_64.rpm rpm -ivh lxc-1.0.9-1.el6.x86_64.rpm rpm -ivh docker-io-1.7.1-2.el6.x86_64.rpm rpm -ivh device-mapper-libs-1.02.117-12.el6.i686.rpm --force --nodeps rpm -ivh device-mapper-libs-1.02.117-12.el6.x86_64.rpm --force --nodeps 1 2 3 4 5 6 7 8 9 10 rpm 安装完毕 后启动docker service docker start(用来生成cgroup隔离环境,好像不执行也可以。我没有测试,如果有朋友测试了麻烦给个评论。) docker -d & 1 2 然后检查是否安装成功 docker ps

2017-12-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除