5 浅汐王

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 7k+

netcat-memory-logger(仅供测试)

flume-conf.properties# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444# Describe the sinka1.sinks.

2020-08-10 16:09:12

mongoDB4.x账户权限配置

创建不受限制的超级用户db.createUser({"user":"root","pwd":"root","roles":["root"]}); 创建admin超级管理用户use admin;db.createUser({user: "admin", pwd: "admin",roles: [ { role: "userAdminAnyDatabase", db: "admin"}]})修改 Mongodb 数据库配置文件auth=true重启mongo创建一个业务数据库

2020-07-31 17:42:42

mongoDB4.2.8备份恢复与导出导入

备份数据备份就是要保存数据的完整性,防止断电,病毒感染等等情况,使数据丢失。有必要的话,最好勤备份,防止数据丢失。创建备份目录:mkdir -p /bigdata/mongodb-4.2.8/mongodump语法:mongodump -h localhost:27017 -d dmp_phone -o /bigdata/mongodb-4.2.8/mongodump-h:MongDB所在服务器地址,例如:127.0.0.1,当然也可以指定端口号:127.0.0.1:27017-d:

2020-07-30 15:41:37

MongoDB4.x优化

MongoDB架构MongoDB是典型的C/S架构,数据库存储采用主从结构,应用发起的读写请求都落在主库上,如果是写入请求,主库提交之后,还会同步写入到对应的从库上,同步的具体方式是类似OpLog,主库+从库组成了一个副本集,是MongoDB最小的部署单位。同时,MongoDB还支持较为复杂的集群方案,为用户解决元数据的高可用,业务数据的冗余和灾备(副本集来保证),动态自动分片,动态自动数据均衡等问题。典型的集群架构如下图所示:上面的图表示的集群由两个副本集,一个配置服务器,两个Mong

2020-07-30 15:34:39

MongoDB4.0将支持多文档事务

背景在早期,我们说的MongoDB支持事务是指针对MongoDB的单文档级别,与我们MySQL等关系型数据库中的事务是不同的,那什么是单文档事务呢?db.username.update({'name': 'helei'}, {$set: {'age': 26, 'score': 85}})上述命令对username集合中,name为helei列的行进行更新,如果age更新为26,score由于宕机或其他原因导致更新失败,那么MongoDB则会回滚这一操作。单文档ACID的实现Mongo

2020-07-30 13:55:21

JAVA代码实现编程式提交Spark任务

三种方法作为记录:1)直接调用SparkSubmit的main方法2)SparkLauncher类的launch方法或者startApplication方法3)使用RestSubmissionClient的run方法SparkSubmit提交任务 String[] param = { "--class", "org.apache.spark.examples.SparkPi", "--master", "local[2]", "/bigdata/spark-2.

2020-07-29 16:54:11

Livy的安装使用

Livy介绍(apache 孵化项目)官网:https://livy.incubator.apache.org/Livy是一个提供rest接口和spark集群交互的服务。它可以提交spark job或者spark一段代码,同步或者异步的返回结果;也提供sparkcontext的管理,通过restfull接口或RPC客户端库。Livy也简化了与spark与应用服务的交互,这允许通过web/mobile与spark的使用交互。其他特点还包含:长时间运行的SparkContext,允许多个spark

2020-07-29 15:32:42

MongoDB4.2.8增删改查

pom <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artifactId> </dependency>user实体类import lombok.AllArgsConstructor;

2020-07-14 09:15:43

Java工具类

随机生成时间范围内的时间戳 public static Date randomDate(String beginDate, String endDate) { try { SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); Date start = format.parse(beginDate);// 构造开始日期 Da

2020-07-13 11:43:42

MongoDB高级部分

1.关联关系 嵌入式关系建模 引用式关系2.数据库引用 DBRefs(自动参考) 手动参考 3.覆盖查询(是一个查询,本质上就是直接从索引中取出数据,不会对文档进行扫描) 1)查询中的所有字段都是索引的一部分 2)查询中返回的所有字段都在同一索引中 覆盖索引的示例: 1)创建复合索引 db.users.ensureIndex({gender:1,user_name:1}) 2)覆盖索引示例 db.users.find({gender:"M"},{user_name:1,_i.

2020-07-13 10:59:47

MongoDB初级部分

快速入门是跨平台、文档型(对象)的数据库(NoSQL),提供高性能,高可用和易于扩展。(Mongo工作在集合和文档上的一种概念)MongoDB 和 MySQL的对应关系:db(数据库) database(数据库) collection(集合) table(表) Document(文档的数据结构和JSON基本一样,所有存储在集合中的数据都是BSON格式) BSON是一种类似 JSON 的二进制形式的存储格式,是 Binary JSON 的简称。 .

2020-07-10 17:04:33

记录MongoDB占用内存太大

原因:MongoDB为了优化本身的读写效率,将内存当作缓存,所以读写的次数越多,缓存就越大。默认值为 50% *(RAM - 1GB)或者 256MB,从MongoDB3.4开始,WiredTiger内部缓存默认使用默认值中较大的一个。解决办法:修改config/mongod.cfg配置dbpath=/data/app/mongodb4.2.8/data/rs1 #MongoDB数据安装目录logpath=/data/app/mongodb4.2.8/log/rs1

2020-07-08 17:49:17

MongoDB4.2.8副本集(复制集)环境搭建

背景1)主要为了解决SpringBoot集成MongoDB的事务问题2)实际使用还是要搭配分片以及副本集使用,不要仅使用副本集。副本集的特点1)主节点唯一主节点唯一,但是不固定(不确定的原因是:主节点挂了的话,会重新选举出一个主节点)。2)大多数原则大多数原则,即1/2原则,一个复制集集群中,如果有大于等于1/2的节点不可用的话,那么整个进群将不可写,只可读(注:实际上应该是投票权重的1/2。3)从库无法写入从库无法写入,使用root权限也不行,这一点与MySQL不同,M

2020-06-28 14:15:01

SpringBoot整合Redis消息队列

消息模型1)队列模型队列模型如图所示,它具有以下几个特点,就像我们用微信和好友(群聊除外)聊天一样,微信就是这个队列,我们可以和很多个好友聊天,但是每条消息只能发给一个好友。只有一个消费者将获得消息 生产者不需要在接收者消费该消息期间处于运行状态,接收者也同样不需要在消息发送时处于运行状态。 每一个成功处理的消息都由接收者签收2)发布/订阅模型发布/订阅模型如图所示,不用说,和订阅公众号是一样的。多个消费者可以获得消息 在发布者和订阅者之间存在时间依赖性。发布者需要建立一个t

2020-06-28 11:59:32

SpringBoot异步处理任务

名词解释1)同步:等用户所有操作结束后,才会返回程序的处理状态。2)异步:直接返回给用户指定的状态,同时程序在后台继续运行,用户不用等待。实现同步实现 @Autowired private TaskAsync taskAsync; /** * 同步处理的方式 */ @GetMapping("/test2") public String test2() { taskAsync.getTest2(); System.out.println(Thread.cu

2020-06-28 10:06:19

Linux以tar包方式安装MongoDB-4.2.8

下载安装包https://www.mongodb.com/download-center/community解压tar -zxvf mongodb-linux-x86_64-4.2.8.tgz创建目录,设置权限在根目录 / 下创建data/db目录,用于放置mongodb数据,并且给该目录设置权限sudo mkdir -p /data/dbsudo chown -R 自己电脑的用户名 /data 启动mongodb-4.2.8/bin/mongod客户端测试..

2020-06-16 11:34:50

Springboot集成MyBatis-Plus的使用

MyBatis-Plus介绍Mybatis-Plus(简称MP)是一个 Mybatis 的增强工具,在 Mybatis 的基础上只做增强不做改变,为简化开发、提高效率而生。这是官方给的定义,关于mybatis-plus的更多介绍及特性,可以参考mybatis-plus官网。那么它是怎么增强的呢?其实就是它已经封装好了一些crud方法,我们不需要再写xml了,直接调用这些方法就行,就类似于JPA。官网地址:https://mp.baomidou.com/guide/quick-start.html

2020-06-15 14:11:25

Springboot定时采集Hadoop的JMX信息,定制化监控

背景:Haddop自身会定时将元数据信息保存起来,通过WebUI的方式进行展现,例如:blocks、files......,通过WebUI的方式显然是不方便随时进行查看,并且对其进行监控,所以我们要对这些关键的元数据指标进行采集、存储,然后封装成服务,进行定制化监控。实现:http://localhost:50070/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem创建Springboot项目,并添加几个依赖: <

2020-06-10 16:03:05

SpringBoot整合websocket实现在线客服聊天

websocket最伟大之处在于服务器和客户端可以在给定的时间范围内的任意时刻,相互推送信息。 浏览器和服务器只需要要做一个握手的动作,在建立连接之后,服务器可以主动传送数据给客户端,客户端也可以随时向服务器发送数据。实现功能:springboot整合websocket实现一对一,多对多聊天系统。依赖 <dependency> <groupId>com.alibaba</groupId> <

2020-06-09 15:45:17

Springboot构建多模块项目

首先新建一个springboot父项目这里不选择其他的,直接next就好了,后续需要再添加。建立完成后项目结构如下,但是这是一个父项目,做版本控制,什么都不需要,所以我们要删除如下的东西。选中的全部删除然后开始建立子模块注意这里需要选中springboot-dubbo然后右键选择其中的quickstart继续创建2个module,分别为module和server,至此多模块springboot项目创建完成。建立完成后的项目结构:父pom文.

2020-06-08 15:12:34

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。