5 Dream_bin

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 21w+

图形数据库neo4j 社区版数据同步构思

背景:neo4j 社区版不支持集群,顾存在单点故障问题。在使用过程中,发现neo4j 单节点运算处理能力大概在一亿范围内性能还是比较客观的。所以在生产环境中,假如数据量不是特别大的话可以使用社区版,前提是解决单点故障问题。构思:每部署一个neo4j服务就是一个单节点。假如在写数据的时候采用多写(或者数据同步)的方式,单其中一个节点挂了,其他节点及时顶上也是一种个不错的方案。那么如何进行多写或...

2020-04-06 22:45:44

Neo4j详解

Neo4j入门详解项目中某种特殊的场景,使用图形数据库比较有独特的优势。所以经过一个多月的奋战终于把项目上线了。本次使用上了图形数据库是neo4j社区版,因为数据量不到一个亿,只是关系比较复杂所以社区版基本上“够用”。后续货陆续分享,我对neo4j 社区版高可用相关方面的总结(探活,监控告警,热备,控制台等)本次将一些neo4j 的一些入门基础知识,做一次项目后的整理总结(ps : 有些知识点...

2020-02-24 00:30:31

neo4j 内存介绍

描述Neo4j内存配置和使用的不同方面内容翻译neo4j 操作手册1. 总览1.1 操作系统内存必须保留一些内存以运行操作系统本身的进程。不可能显式配置应为操作系统保留的RAM数量,因为这是在配置页面缓存和堆空间之后仍保持可用的RAM。但是,如果我们没有为操作系统留出足够的空间,它将开始交换到磁盘,这将严重影响性能。1GB是专用于运行Neo4j的服务器的良好起点。但是,在某些情况下,为...

2020-01-12 17:01:03

neo4j 社区版搭建教程

neo4j单机版搭建教程版本说明软件版本jdkjdk1.8.0_201neo4j需要提前按照java8 并且配置好jdkneo4j-community3.5.14neo4j 社区版硬件环境linux 7.5 四核 32 G下载地址wget https://neo4j.com/artifact.php?name=neo4j-community-3...

2020-01-06 23:18:23

neo4j 循环引用问题

背景:使用spring-data-neo4j 进行crud 数据。在进行大批数据入库时,数据入库到一半,突然提示Neo.TransientError.Network.CommunicationError"; Code: Neo.TransientError.Network.CommunicationError; Description: Can not start an object, exp...

2020-01-02 20:18:08

Springboot 1.x 接入 springboot 2.x turbine service 问题汇总

1. turbine service 采用最新版,业务接口用1.5 接入不成功,在日志里头有404 获取不到信息,或者提示:No message available","path":"/actuator/hystrix.stream:问题原因是:请求springboot 1.5 版本请求地址有变更与高版本信息不一致,两个版本需要统一一个URL。处理方式:需要同一个URL,建议统一使用高版...

2019-10-21 18:22:59

大数据平台CDH 6.2.0 环境搭建

大数据平台CDH 6.2.0 环境搭建一、概述​ Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。因为公司测试环境,...

2019-08-29 23:03:26

kafka常用命令

创建topic kafka-console-producer.sh --broker-list s201:9092 --topic demo 生产者 ./kafka-console-producer.sh --broker-list s201:9092 --topic demo 消费者 ./kafka-console-consumer....

2019-07-04 00:08:04

java 对json 格式做参数格式校验

需求背景: 在接口中,需要对返回的数据进行格式校验,对于不符合要求的返回数据就表示接口数据有变更,对于该接口及时了解到接口参数的变化。所以需要对接口返回的json 字符串进行格式校验。ps :接口返回参数有两种类型,一个是json 字符,另一种是xml .对应xml格式的数据,按照将xml 改成json 再进行校验。 为了下次使用方便,特将该实现做出utils 以备下次使用...

2019-06-17 21:59:17

搭建 HBase环境

搭建 HBase环境1. 单机环境搭建1.1 环境说明 centos:7 java 8 HBase 2.1.3 zookeep 2.1.13 1.2 安装路径说明/soft/hadoop /soft/hbase1.3 安装前置条件 HBase 需要事先安装Hadoop , zookeeper hadoop :192.168.1...

2019-06-16 00:29:34

5.0.5 Redis安装与配置

Redis安装步骤下载Redis安装目录:/opt/redis下载:wget http://download.redis.io/releases/redis-5.0.5.tar.gz解压:tar -xzvf redis-5.0.5.tar.gz安装redis注:执行make和make install操作前,需要确保机器已经安装了make libtool gcc gcc...

2019-06-14 09:48:52

虚拟机安装CentOS7如何扩展存储空间

虚拟机安装CentOS7如何扩展存储空间最近在学习大数据hbase spark ,自己搭建了一个集群(后面会记录自己的搭建过程,以便日后复习),但是一开始没想到会占那么大的空间,所以存储空间不足,需要自己扩展。下面是扩展的步骤。一下内容转自其它博客,记录在这里是为了自己方便查阅使用。1.在关机状态下,在Vm里面设置系统大小到需要的数值 ;2.使用root权限登陆linux,df -h...

2019-06-12 11:24:16

Elasticsearch开发环境搭建

ES 开发环境搭建。安装说明环境: centos7Java : java8elasticsearch-6.5.4下载地址$ cd ~$ cd download$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.tar.gz安装前置条件注:文章默认已配置好1...

2019-04-17 12:20:59

Linux基础配置1

1.配置静态ip[修改静态IP] 1.切换root用户 $>su root2.编辑/etc/sysconfig/network-scripts/ifcfg-eno16777736 a.备份文件 $>cd /etc/sysconfig/network-scripts $>cp ifcfg-eno16777736 ifcfg-eno16777736.bak b.进...

2019-03-31 22:47:12

分布式单调递增ID生成主键(序列号自增id(当前日期+序列号))

1. 问题描述 接口介绍:为实现某个功能。有个批量入库接口支持批量数据入库。接口功能:每条数据要是在库中则更新原有数据。要是不在库中则插入。接口维护一属性updateVerstion,该属性要求根据接收的数据生成单调递增的自增ID(要求为数字)。该接口请求量较大,需要考虑性能问题。。。 问题:每次接收批量数据入库,updateVerstion属性生...

2019-03-17 16:47:45

hadoop - habse 创建表时提示:error: org.apache.hadoop.hbase.PleaseHoldException: master is initialzing

ps : 本次总结是因为自己踩了不少坑。特此总结一下。大部分结论在网络上也可能存在。。。开发环境: 1. hadoop 3.2.0 2.hbase-2.1.3 3. zookeeper-3.4.13环境搭建好了之后查看进程:[centos@s110 hbase-2.1.3]$ jps1810 NameNode2516 No...

2019-03-09 16:28:09

MongoDB事物使用简单总结

MongoDB事物使用简单总结一、 说明 工作时间繁忙,过了一个多月了好久才有时间做总结。。。。 假如有写的不对的地方请告诉我,不胜感激涕零 !1. 开发环境Jdk :1.8MongoDB:4.0.3SpringBoot 2.0+2. 开发场景说明提供接口供对方调用。批量处理集合对象。每秒大概达到三千到五千左右。 对象中有某些属性是唯一的(filedId),当同一...

2019-03-03 13:09:13

SpringBoot远程调试+监控

Springboot远程调试目录一、       前言... 1二、       服务端配置... 1三、       本地客户端配置... 2四、       调试... 3五、       配置远程监控(springboot 远程监控)... 3六、       其他... 5 前言虽然网上有很多关于远程配置的帖子,但是我还是要写以下,给了方便自己查看O(...

2019-01-21 23:46:03

MongoDB 批量添加索引,脚本批量修改数据方法论

MongoDB批量处理 目录一、       背景... 1二、       处理... 11.     处理方式... 12.     知识点... 13.     脚本... 21)    单纯的添加脚本... 22)    根据条件添加脚本... 23)    检测索引脚本... 3三、       效果... 3四、       完善... ...

2019-01-21 23:24:47

Centos7 搭建mongodb 4.0.3 复制集

       为了能够让MongoDB支持事物,特意在Centos7 环境下搭建了MongoDB复制集。MongoDB在4.0之后开始支持事物。回话级别的事物。目录一、 环境说明 1二、 搭建说明 1三、 开始搭建 2四、 配置副本集 2五、 其他 3 环境说明系统:centos 7 ×64   MongoDB:4.0.3说明:本次搭建伪集群模拟,在真实操作当...

2018-11-08 14:51:54

查看更多

勋章 我的勋章
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。