Jameslvt的博客

原创 MySOL 优化

项目中我们经常会遇到一些sql 优化的问题，今天我们来谈谈这个事情1.EXPLAIN做MySQL优化，我们要善用EXPLAIN查看SQL执行计划。下面来个简单的示例，标注（1、2、3、4、5）我们要重点关注的数据：type列，连接类型。一个好的SQL语句至少要达到range级别。杜绝出现all级别。key列，使用到的索引名。如果没有选择索引，值是NULL。可以采取强制索引方式。key_len列，索引长度。rows列，扫描行数。该值是个预估值。extra列，详细说明。注意，常见的不.

原创 http post 使用multipart/form-data 格式数据 上传文件（图片）

由于工作上的需求，这两天对接了个php的接口，上传文件必须使用固定格式，下面看下需要上传的格式，从图片中可以看出，多个图片数据是使用boundary分割的，并且在每个数据体内（即从分割符到下一个分割符），除了name以外，还必须拼接特定字段，例如pictype isurl等等，这个比较重要，因为使用RestTemplate 和hettpClient方式，无法拼接该字符（本人确实第一次写，如果哪位大神可以用这两种方式写出来，希望能够留言，交流学习）下面来说下如何解决该类问题的首先在使用httpcl.

原创 Nginx入门到高可用

内容介绍1、nginx基本概念(1) nginx是什么，能做什么事情(2) 反向代理。(3) 负载均衡。(4) 动静分离2、nginx 安装、常用命令和配置文件(1)在liunx系统中安装nginx.(2) nginx常用命令。(3) nginx 配置文件。3、nginx 配置实例 1-反向代理4、nginx 配置实例 2-负载均衡5、nginx 配置实例 3-动静分离。6、nginx配置高可用集群7、nginx 原理。一、Nginx 简介1、什么是NGINX

原创 docker 部署redis集群

docker部署redis集群部署方式这里没有采用哨兵模式，而是使用 分片+高可用+负载均衡的模式，架构图 ，至少启动6个容器创建网卡docker network create redis --subnet 192.168.0.0/16通过脚本创建6个redis配置for port in $(seq 1 6); \do \mkdir -p /mydata/redis/node-${port}/conftouch /mydata/redis/node-${port}/conf/r

原创 docker 安装nginx/mysql

Docker安装nginx在实际工作中，我们需要利用docker安装一些应用程序，例如nginx，redis，mysql等等，我们都可以按照该操作进行# 1.搜索镜像 docker search nginx# 2.下载镜像 docker pull nginx# 3.运行测试 docker run -d --name nginx01 -p 3344:80 nginx # -d 后台运行 --name 给容器命名 -p 宿主机端口：容器内部端口...

原创 Docker 常用的命令总结

原创 多线程与高并发(二)

多线程与高并发二基础知识基础知识volatile关键字保证的是：可见性（缓存一致性）禁止指令重排序

原创 多线程与高并发(一)

多线程与高并发基础概念基础概念创建一个线程的两种方式：继承Threadclass MyThread extends Thread{}new MyThread().start();实现Runnable接口class MyThread implements Runnable {}new Thread(new MyRun()).start();面试时候有时候会问到，启动线程的三种方式：Thread、Runnable通过Lambda表达式或者Executors.newCache

原创 Activti整合SSM的异常(DbSqlSession或者Error creating bean with name processEngine)

SpringCloud整合Activiti的时候，集成组件的时候，由于表是自己拷贝过来的，数据库中act_表基本上都是空的，报下面错误org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'processEngine': FactoryBean threw exception on object creation; nested exception is java.lang.Null

原创 Mysql 5.7.X版本中遇到1055错误解决办法

错误信息[Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated column 'information_schema.PROFILING.SEQ' which is not functionally dependent on columns in GR...

原创 springboot项目打包jar包运行的无限重启

本文链接：https://blog.csdn.net/woaixiaoxiongdi/article/details/103347924springboot项目打包jar包运行的无限重启1.出现的问题最近遇到项目在idea上运行正常但是在打包成jar后就一直无限重启，找了很久的原因，后来发现是因为devtool和日志存储的原因。 <dependency&...

原创 java.lang.ClassCastException: com.sun.proxy.$Proxy66 cannot be cast to java.sql.Connection

闲话不多说，上代码：public Connection getConnection() throws SQLException { if(connPool.size() > 0){ //从集合中获取一个连接 final Connection conn = connPool.removeFirst(); //返回Connection的代理对象 log.debu...

原创 Docker在centos上的安装步骤

最近一段时间没有更新博客了，工作，工作，闲话不多说，docker大家都很不陌生，从去年5月份在做大数据项目的时候，我看网上有的朋友就用docker来搭建的大数据集群，当时由于对大数据需要，就没有过多研究docker，接下来会研究一下docker的使用，回归正题，今天就在centos7上搭建一下docker。背景： 由于用的是公司的电脑（win10 系统）来做研究，电...

原创 textmate常用快捷键备忘

视图切换Ctrl + Option + Cmd + D # 显示/隐藏左边文件导航树Cmd + Option + W # 切换代码折行Cmd + Option + -&gt; # 切换左右Tab页Cmd + Option + &lt;-Cmd + Shift + { # 切换左右Tab页Cmd + Shift...

原创 Mac下终端配置（item2 + oh-my-zsh + solarized配色方案）

最近打算重新拾起我的Mac，win系统用的有点卡，试试Mac能无缝对接上么，于是又搞了点花里胡哨的item2。效果如下：拥有语法高亮，命令行tab补全，自动提示符，显示Git仓库状态等功能。 安装首先我们下载的 iTem2 这个软件，比Mac自带的终端更加强大。直接官网 http://iterm2.com/ 下载并安装即可。 配置将iTem2设置为默认终端：...

原创 Mac替代Xshell的良心国产软件 FinalShell

用了一年的mac，最近由于换工作，公司突然给了台win电脑，在win上面使用xshell，感觉很方便，于是乎在mac上也找点好用的终端工具，无意间发现FinalSehll，发现这个还是真的好用链接地址：http://www.hostbuf.com/t/988.html下载好对应电脑版本的工具接下来看下使用的方法主要特性: 1.多平台支持Windows,Mac OS X,Linux ...

原创 liqiubase 一个自动化数据库迁移工具

在过去几年中，我使用过的大多数应用程序都是需要管理大量数据的企业应用程序。从事这类项目的开发团队常常将数据库视为与应用程序完全脱离的单独实体。造成这种现象的原因是组织结构经常将数据库团队从应用程序开发团队分离出来。有时候，这是团队的习惯引起的。不管怎样，我发现这种分离会导致（或忽略）一些实践：手工变更数据库 不能与团队的其他成员分享数据库变更 使用不一致的方法变更数据库或数据 使用低效的...

原创 IntelliJ IDEA 性能调优

IntelliJ IDEA 问题描述问题原因解决方法调优后观察为什么要选择用户`idea.vmoptions`文件IntelliJ IDEA 问题描述IntelliJ IDEA 在 多窗口、多项目协作开发时，MacBook Pro的散热风扇凶猛地转动，相关配置如下：MacBook Pro 配置MacBook Pro (Retina, 15-inch, Mid 2015)型号名称...

转载 带你走进zk的世界

1、Zookeeper的角色 领导者（leader），负责进行投票的发起和决议，更新系统状态。 学习者（learner），包括跟随者（follower）和观察者（observer），follower用于接受客户端请求并想客户端返回结果，在选主过程中参与投票Observer可以接受客户端连接，将写请求转发给leader，但observer不参加投票过程，只同步leader的状态，ob...

原创 算法浅谈

最近在研究算法，看到这么一句话感触挺深刻，不讲时间复杂度的算法都是耍流氓，感觉挺有趣的，其实也就是这么回事，研究算法主要目的是研究时间的复杂度，若算法中不谈时间的复杂度，没有任何意义。算法的定义：有穷性 ：就是说必须在人类毁灭前结束 确定性：举个例子，老板便宜一点，那么这个一点是多少，所以必须确定 可行性：比如造个飞碟（你这么厉害你家里人造么） 输入&amp;输出那么我们来介绍一下...

原创 数据库中Explain 执行过程的查看

因为最近看Hive ，Hive 其实就是MapReduce的封装，基于一个统一的查询分析层，通过SQL语句的方式对HDFS上的数据查询进行查询，统计和分析，这个过程是一个MR过程，我们如何能够通过查看执行sql的过程来查看MR这个过程，从而做到后续的一些优化之类的。使用EXPLAIN  了解Hive是如何工作，第一个就是需要了解EXPLAIN功能我们在hive shell 下面输入EXPL...

原创 Hive web 端配置HWI配置

1.当初我们安装hive的时候是apache-hive-1.2.2-bin.tar.gz，这时候我们需要下载另外一个web端的配置包hive apache-hive-1.2.2-src.tar.gz，下载地址：http://mirrors.shu.edu.cn/apache/hive/hive-1.2.2/2.接下来我们需要解压目录，然后，进入到该目录里面  /usr/local/src/ap...

原创 pySaprk，pycharm编写spark的python脚本，远程上传执行和本地模式执行

上次，我们用scala来编写来spark，这次我们用python来写spark脚本，我们在上篇博客中说过，spark的版本是2.2.0，scala的版本是2.1.x，这样我们在集群中，由于spark的版本，没有办法使用pySpark wordcount.py 来执行脚本，只能使用spark submit wordcount.py来执行脚本，在Linux环境是这样执行的，但是我们写脚本，可以直接在L...

原创 spark集群模式调试以及远程配置

最近学习spark，在本地模式跑完程序，想再去集群上面测试，但是发现一直报下面错误：java.lang.NoSuchMethodError: scala.runtime.ObjectRef.create(Ljava/lang/Object;)Lscala/runtime/ObjectRef; at CF$$anonfun$3.apply(CF.scala:33) ...

原创 学习资料整理，一起学习

所有学习的资料网站：https://mooc1-1.chaoxing.com/nodedetailcontroller/visitnodedetail?courseId=201020838&amp;knowledgeId=124817327 算法学习视频：https://pan.baidu.com/s/1aTVVP59qWJ-wwFxHZ4PqDA#list/path=%2F ...

原创 mac安装多个版本jdk，自由切换

安装JDK6、JDK7、JDK8三个版本，安装后通过Java -version检测是否安装好 打开.bash_profile，没有的话创建vim .bash_profile 写入以下内容，其中路径对应自己本机实际安装版本路径,保存退出export JAVA_6_HOME=/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Homee...

原创 Hadoop集群工作台查看日志报错问题及解决办法

我们在hadoop集群一般需要在工作台查看日志，但是工作台查看日志一般会出现以下情况：上面的原因是由于yarn的日志监控功能默认是处于关闭状态的，需要我们进行开启，开启步骤如下：一、在yarn-site.xml文件中添加日志监控支持该配置中添加下面的配置： &lt;!-- 开启日志聚合 --&gt; &lt;property&gt; ...

原创 基于CB，CF，LR算法的推荐系统实现

在开篇之前，我们先来说下上次CB，CF算法实现粗的推荐系统，我们知道，CB，CF算法只是在召回阶段使用，这种推荐出来的item毕竟是粗排的，这篇文章正是对上图画上一个圆满的句号，将CB，CF召回回来的item进行精排，然后选择分数最高，给用户推荐出来，那么，问题来，我们怎么来做这个精排，这里就要提出一个新的算法LR算法，所以，在说系统实现之前我们先来说说LR逻辑回归的知识点，这里就是简单的过一...

转载 JVM原理分析

1 什么是JVM？JVM是Java Virtual Machine（Java虚拟机）的缩写，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。由一套字节码指令集、一组寄存器、一个栈、一个垃圾回收堆和一个存储方法域等组成。JVM屏蔽了与操作系统平台相关的信息，使得Java程序只需要生成在Java虚拟机上运行的目标代码（字节码），就可在多种平台上不加修改的运行，这也是Java能够“一次编译，到...

转载 Pycharm配置远程调试

条件pycharm需要专业版方式使用远程解释器 使用远程调试器使用远程解释器默认情况下我们在本地开发Python程序时，使用的是本地的Python解释器，如果你安装了virtualenv或者pyenv的话，还可以选择这些虚拟环境。而使用Pycharm的专业版，则还可以选择使用远程Linux机器上的解释器。下面就来介绍下使用远程解释器的步骤。 远程部署配置远程部署主要用...

原创 python 安装 Anaconda 以及 Linux 安装可视化图形界面

1.首先安装界面之前需要安装Anaconda,这里自己看自己想要哪个版本，我是装的高版本，能切换到低的版本wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.0-Linux-x86_64.sh2.然后我们需要安装一个插件 yum -y install bzip23.安装Anaconda...

原创 分类算法-NB（NaiveBeyesian Classification）分类器及AUC效果评估

 在整个机器学习领域，有很多算法，除了与业务相关的推荐算法，还有分类，回归，聚类算法。其实，回归算法中也有类似分类算法，回归算法在机器学习中就是为了解决分类问题。至于这个分类模型有什么用，我们在机器学习过程中：定义一个对象X，将其划分到定义的某个类别Y中，输出是某个类别，例如新闻类，军事类这里分类我们说一下，分类中有二分类（邮件垃圾邮件）、多分类（网页分类），那么分类算法解决的流程...

原创 推荐算法之CB，CF的实现

上篇我们分析了CB，CF算法的原理，这里我们补充一下推荐系统的推荐场景的流程图：从推荐场景的流程图中，我们可以看到，最重要的部分就是这个索引库怎么计算得到，当然，不同的算法之间的实现方式不一样，首先我们来说一下CB算法，CB算法的实现主要是基于用户的历史行为（引入用户属性 CB）和用户当下购买的物品（引入item属性）进行推荐，主要的实现方法是正排—》倒排索引式的实现方法，那么接下来我们来...

转载 余弦计算相似度度量

相似度度量（Similarity），即计算个体间的相似程度，相似度度量的值越小，说明个体间相似度越小，相似度的值越大说明个体差异越大。对于多个不同的文本或者短文本对话消息要来计算他们之间的相似度如何，一个好的做法就是将这些文本中词语，映射到向量空间，形成文本中文字和向量数据的映射关系，通过计算几个或者多个不同的向量的差异的大小，来计算文本的相似度。下面介绍一个详细成熟的向量空间余弦相似度方法计...

原创 python 中导入redis模块

当大家遇到执行python脚本遇到如下问题的时候：这个问题说明是python没有导入redis包我们先下载redis包，这个包我已经上传，大家可以下载下来，下载好以后，我这里放倒/usr/local/src，目录下，解压解压好了后，进入到该目录：执行安装包命令：python setup.py install 执行完成后，我们在平台验证一下：不报错即可...

原创 Redis 安装过程说明

1.首先我们通过linux命令下载redis包，这里说明一些wget命令，wget 指定目录 ipwget /usr/local/src/ http://download.redis.io/releases/redis-2.8.3.tar.gz2.下载好后我们解压：3.接下来我们初始化，fomat，在redis目录下执行make，但是会发现有这个错误：这个提示cc:未找...

原创 推荐算法之CB，CF算法

初学推荐算法，以下是我的一些见解，如有不对请留言，后续还会更新，这个CSDN太坑了，写了快一个下午的文章，发表了，结果没保存，神坑。。。。。首先我们来明确一下，推荐系统主要是干什么用的：毋庸置疑，在这么一个信息爆炸的时代，许多信息过载或是过剩，那么我们不可能把全部给看一遍，这里我们就用到推荐系统，那么推荐系统是给用户推荐自己想看的一些视频新闻或是购物的物品等等，或许可能理解的有点片面，但是基本...

转载 彻底理解Python中的yield

阅读别人的python源码时碰到了这个yield这个关键字，各种搜索终于搞懂了，在此做一下总结：通常的for…in…循环中，in后面是一个数组，这个数组就是一个可迭代对象，类似的还有链表，字符串，文件。它可以是mylist  = [1, 2, 3]，也可以是mylist = [x*x for x in range(3)]。 它的缺陷是所有数据都在内存中，如果有海量数据的话将会非常耗内存。 ...

原创 jieba分词未登录词的Viterbi算法源码解析（二）

上篇文章已经介绍过如何DAG构建路由，那么接下来说一下对于未登陆词，结巴分词是如何实现分词的，这里就要用到以前说的HMM隐马模型，不知道的话可以看下我的文章：https://blog.csdn.net/jameslvt/article/details/81087649 ，这篇文章说的很清楚，也介绍了基本的Viterbi算法，另外在上篇文章不是说过一个为什么采用从后往前这种方式计算呢？因为，我们这个...

原创 jieba分词流程及部分源码解读（一）

首先我们来看一下jieba分词的流程图：结巴中文分词简介   1）支持三种分词模式：精确模式：将句子最精确的分开，适合文本分析全模式：句子中所有可以成词的词语都扫描出来，速度快，不能解决歧义搜索引擎模式：在精确的基础上，对长词再次切分，提高召回   2）支持繁体分词   3）支持自定义词典   4）基于Trie树结构实现高效的词图扫描，生成句子汉字所有可能成词情...