kakaluoteyy-CSDN博客

原创 scala:获取Future中的值

异步非阻塞方式1. 获取返回的所有情况import scala.concurrent.{Await, Future}import scala.concurrent.ExecutionContext.Implicits.globalimport scala.util.{Failure, Success}import scala.concurrent.duration._object Test { def main(args: Array[String]): Unit = { va

2020-09-08 18:15:22 978

原创 centos安装docker+K8s(通过kubeadm)

一. 安装docker1.添加yum国内依赖yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo2.安装dockeryum -y install docker-ce docker-ce-cli containerd.io3.启动dockersystemctl start docker4.添加开机自启systemctl enable docker二.安

2020-08-05 18:50:39 1260 2

原创 docker + k8s安装部署应用

快速跳转简介1. 制作Docker 镜像功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入简介在docker中部署应用时，需要我们先制

2020-05-17 20:29:04 3414

原创 CSRF详解：攻击原理与防御

<html>&#8195&#8195</html>最近在研究怎么在代码中携带用户名和密码模拟登陆某一网站，发现一些网站的代码中携带了csrftoken这一值，向它发起POST请求时需要带着网站方随机分配给你的这个csrftoken值的参数POST才能请求成功完成登陆，否则，你的请求就算携带了正确的用户名和密码也登录不了网站。在此，了解了一下CSRF是什么以及网站为什么要这么做，简单做了一下总结。***## 1.CSRF### 1.CSRF简介CSRF是指一种网络攻击方式，全称 Cross

2019-05-23 15:33:28 850

原创 ES集群完全搭建（es、es-head、Kibana）指南

环境jdk1.8 下载链接 jdk-8u191-linux-x64.tar.gzelasticsearch-5.6.10 下载链接 elasticsearch-5-6-10elasticsearch-head-master 下载链接 elasticsearch-headkibana-5.6.10-linux-x86_64.tar.gz 下载链接 kibana-5-6-10...

2018-11-06 16:29:53 6994 2

原创 docker中安装rancher+k8s环境下的负载均衡测试

最近在搭建云原生，对这一块也稍稍有了兴趣。在此，浅谈基于Ubuntu系统下的Docker集群快速部署和管理。Docker容器的集群化、网络管理、自动部署较为令人头疼，Kubernetes集群很好的解决了这个问题，并可以快速实现负载均衡、集群监控。而通过Rancher，我们可以管理kubernetes集群和Docker集群，并且在Docker中可以快速搭建k8s，本文以负载均衡应用为例，介绍...

2018-08-24 20:54:02 2648

原创 ES脑裂问题分析及优化

脑裂问题，就是同一个集群中的不同节点，对于集群的状态，有了不一样的理解。由于并发访问量的提高，导致了我们两个节点的集群（分片数默认为5，副本为1，没有固定的master，都是集群中的节点又做data又做master）状态变成了red，出现了大量的坏片，并且坏掉的都是主分片及其副本。分析发现，是ES集群出现了脑裂问题（俗称精神分裂），即集群中不同的节点对于master的...

2018-07-16 17:30:08 16952

原创 Java使用Jsoup包批量爬取智联招聘上招聘信息

Jsoup是一个Java的解析器，可以快速解析HTML地址，获取HTML文本内容，操作简单，爬取数据的能力强大。在此，就分享一个通过Jsoup，在线爬取智联招聘上招聘信息然后保存到本地的 Java程序，程序遍历多个多个城市的多个工作岗位，可自行修改城市名和岗位名。import java.io.File;import java.io.FileNotFoundException;impo...

2018-06-04 17:11:34 2352 5

原创 ElasticSearch中text和keyword类型的区别

在ES的2.X版本中，对于字符类型的数据，我们都使用string类型作为映射，然后再设置它的分词，例如我们新建了一个名为 zk_test的索引，类型为 info，为其中字符类型的name字段设置索引，设置不分词，Kibanan中操作如下PUT /zk_test/info/_mapping{ "info":{ "properties":{ "name":{"typ...

2018-05-15 17:15:50 22794 5

原创 Scala远程连接MongoDB读取数据

使用用户名和密码远程连接MongoDB数据库，用Java和Scala连接其实原理相同，都是JDBC，用MongoDB的连接驱动，只是语法上稍有区别而已，而在类、方法的调用上一模一样。在此，分享一下Scala连接MongoDB查看数据的Code，语法结构上稍作修改就可以用Java实现。首先，下载连接驱动，添加到工程里，下载地址：mongo-java-driver-3.7.0.ja...

2018-05-10 15:25:49 3011 1

原创 Hive常见问题及解决方案

Hive报错如下：Caused by: org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic part...

2018-05-05 20:48:46 2396 1

原创 ES创建索引、投放文档过程

因为之前对ES并不是太熟悉，实际工作时，在ElasticSearch和Kibanan的使用过程中，出现了好多棘手的状况，修修补补，对于在ES上创建索引到插入文档，搜索、查询文档的整个流程，大概有了规范化的运行模式，以下是在本人总结的大致从创建到插入的流程，以及其中注意的一些细节。以ES集成Kibanan为例：第一步：创建索引在Kibanan的Dev Tools网络接口中...

2018-05-04 20:40:55 2731 2

原创 Scala远程访问Hive数据仓库

通过Hue等远程WebUI界面访问Hive，效率往往受到网络限制，并且不能将Hive数据仓库的内容实现导入导出到本地，因此，今天笔者就通过简单的Scala代码远程连接Hive，查询Hive表数据并将数据转存到本地。另外，用Scala查询到数据后，我们还可以将查询到的ResultSet集合转化为RDD或者DataFrame进行scala的算子运算，非常方便，这些实现，笔者会后续更新。 ...

2018-04-25 19:06:33 5874

原创 Java多线程的生命周期与同步锁

Thread state线程生命周期内的几种状态NEW A thread that has not yet started in this statesRUNNABLE A thread executing in the Java virtual machine is in this stateBLOCKED A thread that is blocked...

2018-04-20 14:47:30 460 1

原创 ES Mapping及常用API小结

ES中的MappingMapping就是对索引库中索引的字段名称及其数据类型进行定义，类似于mysql中的表结构信息，但ES中的mapping比数据库灵活很多，它可以动态识别字段。一般不需要指定mapping字段都可以，因为ES会自动根据数据格式识别它的类型，如果你需要对某些字段添加特殊属性（如：定义使用其他分词器、是否分词、是否存库等），就必须手动添加mapping查询索引库中mapping信息...

2018-04-19 17:53:06 1838

原创 Ubantu14.04.2安装HUE3.12.0

前提：HDFS集群、HIve和MySQL都已经安装完毕1.在ubantu中安装maven，下载好安装包，解压并配置环境变量2.安装hue的依赖包，需要以下的依赖包或者，一行命令安装所有依赖包sudo apt-get install ant gcc g++ libkrb5-dev libffi-dev libmysqlclient-dev libssl-dev libsasl2-dev libsas...

2018-04-18 16:11:26 314

原创 Hadoop集群升级HA高可用集群配置

在原有的Hadoop集群的基础上，配置HA高可用集群，简单修改配置文件，具体配置及启动方案如下：（先停止Hadoop集群）修改core-site.xml（指定ZK集群，使ZK能够监督master的运行，启动备用节点，我的主节点主机名为Kate，并非master，配置HA的时候改名为apollo，个人喜好，请注意，酌情忽略此细节）未修改之前的core-site.xml修改之后：就是增加一个prope...

2018-04-16 16:58:54 2519 7

原创 FHDFS搭建指南

F: freestyleHDFS: Hadoop分布式文件系统FHDFS ：花式Hadoop分布式文件系统ZooKeeper主要应用在分布式系统中，连接不同的主机节点，我的理解是ZooKeeper这个东西就像建立在分布式系统、hadoop或HBase之上的一个国家机器，高度集权，同步管理各个节点我们知道，Linux系统是一个可以多用户同时操作的系统，在一个系统上可以多用户同时远程连接操作这台...

2018-04-14 11:56:17 330

原创 ES的Java API实现增删改查

/** * @MethodName: bulkCreateIndexByJSONArray * @Description: 使用bulk批量处理JSONArray创建索引导入文档，每BatchSize条文档执行一次bulk * @Param: * * @param client TransportClient对象实例 * @param js...

2018-04-13 17:48:42 3576

原创 Java语言实现的扫雷游戏(二)

在上一篇文章中,我们已经将扫雷的绘制了方格阵列并随机分配了炸弹的位置,接下来我们要将阵列全部覆盖上按钮.因为我们要通过按钮来获知当前方格的坐标,所以简单的Button按钮还无法满足我们的要求,所以,我们就自定义一个按钮的类,让它继承自Button类,但要给他加上行号和列号,这样我们就能直接通过按钮读取它的位置了import javax.swing.JButton;pub...

2017-07-28 20:46:46 13441 20

原创 Java语言实现的扫雷游戏(一)

Java类库中提供了用于GUI的swing开发工具包,我们可以利用swing设计出一些简单的经典小游戏,如扫雷,推箱子,俄罗斯方块等.接下来我就简单分享一下用Java设计扫雷游戏的思路与过程. 首先,我们要设计出扫雷的窗口界面,说白了,也就是在窗口上绘制出指定行数和列数的小方格.要在窗体上绘制方格,我们需要一个JPanel面板,所以我们定义类GamePanel让...

2017-07-27 19:53:09 27369 4

原创私有变量的使用:从传值到传引用

假如我在一个类中定义了一个private 类型的数组, 理论上来讲, 在这个类外部, 我们只能通过它的get()方法来读取它, 只能通过它的set()方法来修改它, 但经过我的测试发现 , 我居然可以利用对象名.get()[i] = 数字; 这样的表达式来修改它, 这是不是意味着没必要全定义get()和set()方法, 我们只定义一个get方法就可以达到读取和修改两个目的. 举

2017-07-22 20:26:03 1208

原创判断一个数组是否有序

一般来说,判断一个数组或序列是正序,倒序还是乱序,需要我们将这个数组完整的遍历一遍后才能得出答案,它不像折半查找那样只处理少量的数据便能得出结论,因为一段包含成千上万个元素的有序序列,哪怕将其中两个元素的位置调换都能将这个序列变成乱序序列.如下面这段序列,只是数字8和9调换,就变成了乱序的.[0, 1, 2, 3, 4, 5, 6, 7, 9, 8, 10, 11, 12, ...

2017-07-18 20:03:28 21002 9

原创将6986分成101个68~82之间的随机数

利用Java语言产生固定范围内的随机数很容易,利用库中的Math.random();方法就可以达到目的,例如要产生一个m到n之间的正整型随机数,可以写成 (int) (Math.random() * (m - n + 1)) + m就可以达到目的.但如果让我们将6986分解成101个随机数,而且每个随机数在68~82之间,这就不太好控制这些随机数的产生了. 但我们可以换个思考方向

2017-07-15 09:30:30 705 2