- 博客(263)
- 资源 (1)
- 收藏
- 关注
RSS订阅
1转载 消息队列Pulsar
是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性，被看作是云原生时代实时消息流传输、存储和计算最佳解决方案。...
2022-07-22 09:51:54
4675
转载 MySQL Explain详解
MySQL Explain详解在日常工作中，我们会有时会开慢查询去记录一些执行时间比较久的SQL语句，找出这些SQL语句并不意味着完事了，些时我们常常用到explain这个命令来查看一个这些SQL语句的执行计划，查看该SQL语句有没有使用上了索引，有没有做全表扫描，这都可以通过explain命令来查看。所以我们深入了解MySQL的基于开销的优化器，还可以获得很多可能被优化器考虑到的访问策略的细节，以及当运行SQL语句时哪种策略预计会被优化器采用。– 实际SQL，查找用户名为Jefabc的员工selec
2022-03-10 20:14:59
148
转载 MYSQL事务之ACID实现原理
MYSQL事务之ACID实现原理我们都知道MySQL事务的ACID，但是按照严格的标准，只有同时满足ACID特性才是事务；但是在各大数据库厂商的实现中，真正满足ACID的事务少之又少。例如MySQL的NDB Cluster事务不满足持久性和隔离性；InnoDB默认事务隔离级别是可重复读，不满足隔离性；Oracle默认的事务隔离级别为READ COMMITTED，不满足隔离性…… 因此与其说ACID是事务必须满足的条件，不如说它们是衡量事务的四个维度。很多的文章也都会介绍事务ACID是什么，但是却很少有
2022-03-05 20:30:02
415
原创 Spring Boot 注解大全
一、注解 (annotations) 列表@SpringBootApplication：包含了 @ComponentScan、@Configuration 和 @EnableAutoConfiguration 注解。其中 @ComponentScan 让 spring Boot 扫描到 Configuration 类并把它加入到程序上下文。@Configuration 等同于 spring 的 XML 配置文件；使用 Java 代码可以检查类型安全。**@EnableAutoConfigurati
2020-12-21 14:16:38
122
原创 conda使用
创建环境conda create --name py35 python=3.5激活环境acitvate py35安装包pip install -i https://pypi.tuna.tsinghua.edu.cn/simple webpip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy
2020-08-21 09:57:47
146
原创 java环境变量JAVA_HOME、CLASSPATH、PATH
环境变量是一个具有特定名字的对象，它包含了一个或者多个应用程序所将使用到的信息。例如path环境变量，当要求系统运行一个程序而没有告诉它程序所在的完整路径时，系统除了在当前目录下面寻找此程序外，还应到path中指定的路径去找。我们需要通过设置环境变量，来让jdk完成程序的编译和运行。首先，打开我的电脑–属性–高级–环境变量：新建系统变量JAVA_HOME 和CLASSPATH，内容如下：变量...
2020-08-14 17:16:10
171
原创 mysql备份
1、查看数据存储位置show variables like '%datadir%';2、备份@echo offset "Ymd=%date:~,4%%date:~5,2%%date:~8,2%""C:/Program Files/MySQL/MySQL Server 8.0/bin/mysqldump" --opt -u root --password=23456 mybooks > E:/db_backup/mybooks_%Ymd%.sql@echo on...
2020-07-25 20:46:22
136
原创 Netty面试题
1、Netty 的特点是什么？高并发：Netty 是一款基于 NIO（Nonblocking IO，非阻塞IO）开发的网络通信框架。传输快：Netty 的传输依赖于零拷贝特性，尽量减少不必要的内存拷贝，实现了更高效率的传输。封装好：Netty 封装了 NIO 操作的很多细节，提供了易于使用调用接口。可以通过 ChannelHandler 对通信框架进行灵活地扩展。2、什么是 Netty 的零拷贝？Netty 的接收和发送 ByteBuffer 采用 DIRECT BUFFERS，使用堆外直接内存进
2020-07-16 18:05:10
491
原创 常见面试题
1、char varchar使用场景？char用于字段长度固定的数据，varchar用于长度不固定的数据3、count(*) count(1) count(2) 的区别？没有区别explain可以解释sql有没有使用索引，也就是type4、并发与并行？并发不是同时并行是同时5、有了解过OAuth2.0么，说说你对OAuth2.0的理解？OAuth引入授权层，分离两种不同的角色，客户端和资源持有者。资源所有者同意后，向客户端颁发令牌，客户端通过令牌请求数据。OAuth2引入四种令牌：
2020-07-12 15:28:14
468
原创 Redis单线程模型和IO多路复用
Redis使用单线程，可以避免上下文切换，效率最高。避免了线程切换、加锁等资源消耗IO多路复用指多个channel或者网络IO，共用一个或者少量线程来处理。为什么使用多路复用，是因为与用户网络传输是需要等待的，IO操作不能直接返回。所以使用IO多路复用来解决这个问题，防止一个IO阻塞影响其他IO的读取。文件事件处理器使用IO多路复用模块同时监听多个FD(文件描述符)，有读写accept和close事件时，回调绑定的事件处理器。使用epoll策略，实现哪些socket有通讯，处理那些socket、 高
2020-07-09 15:06:33
906
原创 高并发下选择最优的线程数
一般来说对于计算密集型的任务，一个有N个处理器的系统通常通过使用一个N+ 1个线程的线程池来获得最优的利用率。IO密集型 = 2Ncpu如果要更加精确：线程数 = CPU可用核心数/(1 - 阻塞系数），其中阻塞系数的取值在0和1之间。计算密集型任务的阻塞系数为0，而IO密集型任务的阻塞系数则接近1。一个完全阻塞的任务是注定要挂掉的，所以我们无须担心阻塞系数会达到1。第一个参数很容易确定，可以在运行时查到这个值。但确定阻塞系数就稍微困难一些。我们可以先试着猜测，抑或采用一些性能分析工具或ja
2020-07-07 22:13:31
311
原创 分布式锁 Redis 与 Zookeeper
Java提供的原生锁机制在多机部署场景下是没有效果的，所以需要分布式锁。分布式锁的思路是：在整个系统提供一个全局、唯一的获取锁的“东西”，然后每个系统在需要加锁时，都去问这个“东西”拿到一把锁，这样不同的系统拿到的就可以认为是同一把锁。Redis加锁一定要用SET key value NX PX milliseconds 命令,如果不用，先设置了值，再设置过期时间，这个不是原子性操作，有可能在设置过期时间之前宕机，会造成死锁(key永久存在)// 获取锁// NX是指如果key不存在就成功，
2020-07-07 22:04:40
146
原创 LengthFieldBasedFrameDecoder使用
LengthFieldBasedFrameDecoder解码器，会读取byteBuf中的前几个字节，获取数据长度。作用是防止粘包。如果客户端也是netty，那么可以配合LengthFieldPrepender使用。LengthFieldPrepender会自动在原始数据前面加上数据长度。socketChannel.pipeline().addLast(new LengthFieldBasedFrameDecoder(65535,0,2,0,2));第二个参数指定lengthFieldOffset
2020-06-30 20:25:33
3778
原创 DelimiterBasedFrameDecoder使用
DelimiterBasedFrameDecoder是一个分隔符解码器。可以同时接受多个分隔符，第一个参数是缓冲区大小，如果长度超过1024（可以指定），并且没有找到分隔符，则会抛异常。如果长度小于1024，并且没有找到分隔符，会缓存收到的消息，直到接收到分隔符，或者超出1024抛异常。ByteBuf delimiter = Unpooled.copiedBuffer("$_".getBytes()); ByteBuf delimiter0 =
2020-06-30 13:17:25
6832
原创 IDEA创建maven多模块父子项目
父子项目的好处是多人开发时，可以共用父项目的类库，而每个子项目又可以有自己定制的类库，改动时也只影响这一个模块，并不会影响其他的模块。步骤1：创建父项目`修改packaging属性为pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instan
2020-06-01 11:25:30
692
原创 netty应用退出
netty程序，使用shutdownGracefully退出。退出前会把队列中的消息发送完，释放channel，多路复用器的去注册，清空定时器任务等。 public Future<?> shutdownGracefully(long quietPeriod, long timeout, TimeUnit unit) { EventExecutor[] var6 = this.children; int var7 = var6.length;
2020-05-28 18:19:49
396
原创 Java程序退出处理
在Java程序退出时，希望做一些保存处理，比如释放一些资源，或者保证事务执行完再推出。在Linux环境下，需要使用kill -15 pid命令杀死进程，才能得到通知。而window环境下，只能通过ctrl+c退出才有效，命令杀死进程或者任务管理器杀死，都不会得到通知。第一种方式 Runtime.getRuntime().addShutdownHook(new Thread(){ @Override public void run() {
2020-05-28 15:04:10
828
原创 okHttp发送http请求
post请求： OkHttpClient client = new OkHttpClient.Builder().retryOnConnectionFailure(false) .readTimeout(3000, TimeUnit.SECONDS).build(); String text="{\"creatorId\":\"test310\","; F...
2020-03-27 15:03:38
1423
原创 nginx使用
启动/usr/sbin/nginx -c /etc/nginx/nginx.conf重启./nginx -s reload -c /etc/nginx/nginx.conf停止ps -ef|grep nginxkill -TERM 2132
2020-03-24 10:34:21
252
原创 linix系统基本操作
ls 展示当前目录的所有文件ls -l 详细展示cd .. 进入上级目录cd / 入根目录ls -l -a 显示所有（含隐藏）
2020-03-23 14:32:18
119
原创 python爬虫框架Scrapy使用
安装pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy创建爬虫项目scrapy startproject mypachong项目结构创建Spiderscrapy genspider quotes处理文本内容class QuotesSpider(scrapy.Spider): name = 'q...
2020-03-06 16:29:29
220
原创 带输入框的下拉框selectivity-jquery使用
首先，从官网下载js文件，在html中引用。<link rel="stylesheet" type="text/css" media="screen" href="/css/selectivity-jquery.css"> <script type="text/javascript" src="/js/selectivity-jquery.js"></scr...
2020-03-03 20:13:33
1744
原创 MongoDB可视化工具MongoDB Compass查询
MongoDB Compass使用这个工具查询时，如果是主键查询，需要额外加个ObjectId函数。{_id:ObjectId('5e54a00f7581de30dc3269e0')}
2020-02-25 17:19:30
4026
原创 python合并指定文件夹下的所有text文本
有些文本字符集自动识别不准确，会读取失败，所以多试几种。def hebing(path,target): import chardet with open(target,encoding='utf-8',mode='a+') as target_file: for root,dirs,files in os.walk(path): for name in files:...
2020-01-02 17:16:48
580
原创 gensim（四）--word2vec embedding
训练并保存模型def train_savemodel(): model = Word2Vec(PathLineSentences(directory), size=400, window=5, min_count=5, workers=multiprocessing.cpu_count(), sg=1, # 使用 skip-gram算法 ...
2019-12-30 16:21:15
774
原创 gensim（三）--相似度查询
这篇主题是查询相似的文档和前文一样，先把文档转换为向量表示from collections import defaultdictfrom gensim import corporadocuments = [ "Human machine interface for lab abc computer applications", "A survey of user opin...
2019-12-26 17:42:14
757
原创 gensim（二）--语料与向量之间转换
这篇文章演示如何把文本转换为向量表示，以及语料库文档流式处理并保存到硬盘上。import loggingfrom pprint import pprintfrom collections import defaultdict# 设置日志格式，日志级别logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s'...
2019-12-26 16:22:56
641
原创 sess.run()
session.run()session.run([fetch1, fetch2])import tensorflow as tfstate = tf.Variable(0.0,dtype=tf.float32)one = tf.constant(1.0,dtype=tf.float32)new_val = tf.add(state, one)update = tf.assign(st...
2019-12-24 22:12:35
622
原创 springboot 文件上传
在application.properties中配置，限制文件大小# 上传文件总的最大值spring.servlet.multipart.max-request-size=1MB# 单个文件的最大值spring.servlet.multipart.max-file-size=1MBspring.http.multipart.max-file-size=1MB@PostMapping(...
2019-12-24 17:22:20
132
原创 gensim（一）--core
训练模型，原始文本是使用jieba分词后的语料model = Word2Vec(LineSentence('jieba_zhu1'), size=400, window=5, min_count=5, workers=multiprocessing.cpu_count()) model.save('model/zhu.model') model.wv.save_word2vec...
2019-12-24 13:26:38
317
原创 Java读取控制台输入
长时间没用这个，忽然用起的时候，忘了怎么写，记录下public static void main(String[] args) throws IOException { List<String> lines=null; try{ lines=FileUtils.readLines(new File(file),Charsets....
2019-12-23 15:46:41
158
原创 word2vec_java源码解析
第一步，读取语料（已经分过词），把每个词出现的频率放在wordMap中。private void readVocab(File file) throws IOException { MapCount<String> mc = new MapCount<>(); try (BufferedReader br = new BufferedReader(new ...
2019-12-21 10:34:19
310
原创 THULAC 词性表
THULAC（THU Lexical Analyzer for Chinese）由清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包，具有中文分词和词性标注功能。...
2019-12-19 09:55:28
1396
原创 python 文件操作
把一个set写入文件中，如果文件不存在则创建，w+表示可读可写with open(file='jieba_zhuxian',encoding='utf-8',mode='w+') as file: for name in names: file.write(name+'\n')符号含义如果文件不存在覆盖w+可读可写创建是r+可读可...
2019-12-18 21:50:15
100
原创 MySQL的四种BLOB类型大小
在Java中都对应 byte[]类型 大小(单位：字节)TinyBlob 最大 255Blob 最大 65KMediumBlob 最大 16MLongBlob ...
2019-12-18 16:28:21
6278
原创 pkuseg分词的词性表
n 名词t 时间词s 处所词f 方位词m 数词q 量词b 区别词r 代词v 动词a 形容词z 状态词d 副词p 介词c 连词u 助词y 语气词e 叹词o 拟声词i 成语l 习惯用语j 简称h 前接成分k 后接成分g 语素x 非语素字w 标点符号...
2019-12-18 16:04:40
1945
原创 Jieba分词词性标注以及词性说明
原文链接：https://blog.csdn.net/enter89/article/details/80619805Ag形语素形容词性语素。形容词代码为 a，语素代码ｇ前面置以A。a形容词取英语形容词 adjective的第1个字母。ad副形词直接作状语的形容词。形容词代码 a和副词代码d并在一起。an名形词具有名词功能的形容词。形容词代码 a和名词代码n并在一起。b...
2019-12-18 08:25:21
886
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人