数据的星辰大海-CSDN博客

原创 Mysql主从分离实现

一、数据库层面的主从配置实现master服务器负责写，slave负责读,slave不断同步master的信息。现有两台服务器已安装mysqlmaster 192.168.32.130 端口 3306slave 192.168.32.131 端口 3306配置 mastervim /etc/my.cnfserver-id=1log-bin=mas...

2019-05-29 15:43:34 2093

原创 idea搭建ssm框架发布到tomcat

刚用搭了一个ssm框架，并发布在tomcat上。下面是整个过程的大概记录环境: idea 2019.1.2 jdk1.8Maven 3.5.4搭建SSM:1、建一个Maven web app项目二、搭建打项目的结构设置一下资源目录三、配置文件内容pom.xml文件:内容如下<?xml version="1.0" en...

2019-05-19 10:16:20 2835 1

原创 spark广播变量

广播变量的好处：如果你的算子函数中，使用到了特别大的数据，那么，这个时候，推荐将该数据进行广播。这样的话，就不至于将一个大数据拷贝到每一个task上去。而是给每个节点拷贝一份，然后节点上的task共享该数据。这样的话，就可以减少大数据在节点上的内存消耗。并且可以减少数据到节点的网络传输消耗。以下是官网翻译：广播变量允许程序员在每台机器上保留一个只读变量，而不是随副本一起发送它的副本。例...

2019-05-05 21:05:37 593

官网上面是让你去github下载，如果你不方便去github下载的话，可以在我这里直接下载https://wwc.lanzout.com/iHDFK0dsiuch。-addr/-address 设置要连接的 Graph 服务的 IP 地址。然后在运行 NebulaGraph Console 的机器上执行如下命令，为用户授予 nebula-console 文件的执行权限。例如 nebula-graph-3.5.0.el7.x86_64.tar.gz。-P/-port 设置要连接的 Graph 服务的端口。

2023-07-20 21:08:23 313

原创 oracle创建表空间和查看表空间

oracle创建表空间

2022-08-10 15:04:24 1176 1

原创 flink滚动日志的配置

flink滚动日志的配置flink 1.11.0之前版本的配置################################################################################# This affects logging for both user code and Flinklog4j.rootLogger=INFO, RFA# Uncomment this if you want to _only_ change Flink's logging

2022-04-21 14:49:33 932

原创 SVN安装下载

一、下载地址https://osdn.net/projects/tortoisesvn/storage/1.11.1/二、安装安装Tortoise三、导出svn代码

2021-08-25 11:36:04 166

转载安装zookeeper（单机，伪集群）

1.登陆zookeeper官网下载 https://zookeeper.apache.org/apache-zookeeper-3.4.8-bin.tar.gz解压：tar -zxvf zookeeper-3.4.8.tar.gz。1.单机进入conf文件夹创建一个配置文件zoo.cfg。tickTime=2000initLimit=10syncLimit=5dataDir=/usr/local/zookeeper/zk/dataclientPort=2181前提创建了/usr/lo

2021-08-23 17:43:40 153

转载 Linux关闭防火墙并设置开机启动/不启动

本文针对Centos6和7对于Centos6：查看防火墙：[root@CactiEZ ~]# service iptables status关闭防火墙：[root@CactiEZ ~]# service iptables stop开启防火墙：[root@CactiEZ ~]# service iptables start永久关闭防火墙：查询开启iptables是否启动[root@CactiEZ ~]# chkconfig --list | grep iptablesiptable

2021-08-22 22:51:11 2613 19

转载 Windows下MySQL的安装

MySQL简介：1、MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件。2、MySQL是一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。3、MySQL所使用的 SQL

2021-08-20 15:02:05 119

转载 windows常用cmd命令

windows常用cmd命令注意：这些字符只能是英文的命令 -help //第1种形式的使用帮助命令 /? //第2种形式的使用帮助常用基本命令1，列出所有任务及进程号，杀进程tasklist tasklist /? 获取使用帮助 taskkill taskkill /? 获取使用帮助2，cd 切换目录cd /? //获取使用帮助 cd \ //跳转到硬盘的根目录 cd C:\WINDOWS //跳转到当前硬盘的其他文件 d

2021-08-20 14:33:36 2456

原创 idea中启动vue项目

想使用vue必须先安装node.js : Node.js下载https://nodejs.org/zh-cn/安装直接全部点击下一步最后完成安装安装结束后打开cmd命令窗口输入以下命令验证是否安装成功,如出现版本号则安装成功node -vnpm -v安装成功后,在cmd命令窗口使用如下命令安装npm的国内镜像cnmpnpm install -g cnpm --registry=http://registry.npm.taobao.org等待安装结束即可,安装完成之后,就可以用cnp

2021-08-20 11:45:21 346

原创 webpack自动打包报错

webpack自动打包报错报错日志npm run dev> [email protected] dev> webpack-dev-servernode:internal/modules/cjs/loader:936 throw err; ^Error: Cannot find module 'webpack-cli/bin/config-yargs'Require stack:- C:\Users\Administrator.G1M9NFX8MJNEGW7\De

2021-08-08 17:56:15 394

原创 webpack指定开发模式

报错日志WARNING in configurationThe 'mode' option has not been set, webpack will fallback to 'production' for thisvalue. Set 'mode' option to 'development' or 'production' to enable defaults for each environment.You can also set it to 'none' to disable any

2021-08-08 16:01:05 188

转载在windows10中nodejs安装步骤

系统：windows101、下载：https://nodejs.org/en/2.下载最新版本，根据你的系统选择32位或者64位；3、建议选择源码源码安装，不选择编译后的安装如：在这里插入图片描述4、进行安装，一直回车，下一步，无需进行选择；5、默认安装后进行配置：一般默认安装路径是：C:\Program Files\nodejs6、环境变量配置，一般不配置也可以，系统会自动加入环境变量，也可以进行配置：配置如下：配置环境变量新建一个系统变量变量名：NODE_HOME变量值（

2021-08-08 11:12:32 3547

原创 Windows安装ES的head

一、下载 elasticsearch-head-master.zip地址:https://github.com/mobz/elasticsearch-head二、下载依赖cdm进入命令行cd D:\softwares\elasticsearch-head-master下载依赖cnpm install启动headnpm run start浏览器访问head的地址...

2021-05-25 10:48:32 335

原创 scala中函数柯里化(curry)

基本介绍函数编程中，接受多个参数的函数都可以转化为接受单个参数的函数，这个转化过程就叫柯里化柯里化就是证明了函数只需要一个参数而已。其实我们刚才的学习过程中，已经涉及到了柯里化操作。不用设立柯里化存在的意义这样的命题。柯里化就是以函数为主体这种思想发展的必然产生的结果。(即：柯里化是面向函数思想的必然产生结果)函数柯里化快速入门编写一个函数，接收两个整数，可以返回两个数的乘积，要求:使用常规的方式完成使用闭包的方式完成使用函数柯里化完成def mul(x: Int, y:

2021-05-23 20:23:50 265

原创 scala中闭包

基本介绍基本介绍：闭包就是一个函数和与其相关的引用环境组合的一个整体(实体)。案例演示//1.用等价理解方式改写 2.对象属性理解def minusxy(x: Int) = (y: Int) => x - y //f函数就是闭包. val f = minusxy(20) println("f(1)=" + f(1)) // 19 println("f(2)=" + f(2)) // 18代码小结第1点(y: Int) => x – y返回的是一个匿名函数，因为该函数

2021-05-23 20:17:12 438

原创 scala中高阶函数

基本介绍能够接受函数作为参数的函数，叫做高阶函数 (higher-order function)。可使应用程序更加健壮。高阶函数基本使用//test 就是一个高阶函数，它可以接收f: Double => Doubledef test(f: Double => Double, n1: Double) = { f(n1) }//sum 是接收一个Double,返回一个Double def sum(d: Double): Double = { d + d }val

2021-05-23 20:12:26 198

原创 scala中匿名函数

基本介绍没有名字的函数就是匿名函数，可以通过函数表达式来设置匿名函数应用实例val triple = (x: Double) => 3 * x println(triple(3))说明(x: Double) => 3 * x 就是匿名函数(x: Double) 是形参列表， => 是规定语法表示后面是函数体， 3 * x 就是函数体，如果有多行，可以 {} 换行写.triple 是指向匿名函数的变量。...

2021-05-23 20:07:56 280

原创 scala中作为参数的函数

基本介绍函数作为一个变量传入到了另一个函数中，那么该作为参数的函数的类型是： function1，即：(参数类型) => 返回类型应用实例//说明 def plus(x: Int) = 3 + x //说明 val result1 = Array(1, 2, 3, 4).map(plus(_)) println(result1.mkString(","))应用实例小结map(plus()) 中的plus() 就是将plus这个函数当做一个参数传给了map，_ 这里代表从集合中遍历

2021-05-23 20:05:58 294

原创 scala中偏函数

偏函数的定义1）在对符合某个条件,而不是所有情况进行逻辑操作时,使用盘函数是一个不错的选择2)将包在大括号的一组case语句封装为函数,我们称之为偏函数,它只对会作用于执行类型的参数或指定范围的参数实施计算,超出范围的值会忽略(未必忽略看具体的逻辑)3)偏函数在scala中是一个特质PartialFuncation提出一个需求，引起思考给你一个集合val list = List(1, 2, 3, 4, “abc”) ，请完成如下要求:将集合list中的所有数字+1，并返回一个新的集合要求忽略掉

2021-05-21 18:05:07 431

原创 scala中 yield

概述scala语言的for语法很灵活. 除了普通的直接对集合的循环, 以及循环中的判断和值返回. 非常灵活.for 可以通过yield(生产)返回值, 最终组成for循环的对象类型.for 循环中的 yield 会把当前的元素记下来，保存在集合中，循环结束后将返回该集合。如果被循环的是 Map，返回的就是Map，被循环的是 List，返回的就是List，以此类推。守卫( guards) (for loop ‘if’ conditions)可以在 for 循环结构中加上 ‘if’ 表达式, 和yiel

2021-05-21 08:00:09 537

原创 EXCEL数据对比

EXCEL数据对比 (大卫传授)1、第一个sheet后写 =countif(2、全选将要比对的sheet列然后按 fn+f43、回原来位置点要比对的第一个单元按 )加回车4、若对上则为 1 反之为 0

2021-02-04 20:13:14 174

原创 Linux安装Gbase数据库(单机)

一、下载gbase安装包下载路径（需要登录gbase用户）http://www.gbase8a.com/forum.php?mod=viewthread&tdtype=document&tid=3240我的百度云有下载好的安装包链接：https://pan.baidu.com/s/1xnpBPt3BqwRtQghWbEaBew提取码：bj4a二、开始安装gbase1、在 Linux 下创建一个用户# useradd gbase# passwd gbase更改用户 g

2021-01-09 19:01:54 6833 9

转载 spark 数据转换为dataFrame的两种方式

1. 隐式转换toDF1）使用case-classcase class Person(name: String, age: Int)引入隐式转换的包import sqlContext.implicits._创建case-class的Rdd val rdd: RDD[Person] = sc.parallelize(Array( Person("fanghailiang", 29), Person("sunyu", 28), Person("jiaol

2020-12-25 10:43:54 4544

原创 Spark资源参数优化

一.指定spark executor 数量的公式executor 数量 = spark.cores.max/spark.executor.coresspark.cores.max 是指你的spark程序需要的总核数spark.executor.cores 是指每个executor需要的核数二.指定并行的task数量spark.default.parallelism参数说明：该参数用于设置每个stage的默认task数量。这个参数极为重要，如果不设置可能会直接影响你的Spark作业性能。参数调优

2020-12-24 21:58:51 136

原创 linux的日期格式和日期加减

获取系统当前时间cur_date=`date +%Y%m%d`获取上一天的日期last_date=`date -d "-1 day" +%Y%m%d`获取上个月的日期last_month=`date -d "-1 month"`

2020-12-24 11:12:06 633

原创 linux的echo和awk命令

echoecho是用来输出内容-e，表示若输出内容有特殊符号，则按特殊符号输出echo -e "hello \nWorld"若没有-e,则把\n当做普通字符显示输出echo "hello \nWorld"awkawk可以按照指定字符分割文本内容，比如echo 'hello,3hi,big,boy' | awk -F , '{print $0}'意思是按照,分割,输出所有字符awk可以按照指定字符分割文本内容，输出指定下标的内容，比如echo 'hello,3hi,big,b

2020-12-24 11:05:34 1550

转载 Linux将Shell脚本将执行日志记入一个log文件

./script.sh >>logfile 2>&1执行脚本script.sh时将错误输出2以及标准输出1都一起以附加写方式导入logfile文件。即使多次执行脚本，之前的log也仍然存在。

2020-12-24 10:41:45 4492

转载统计shell脚本执行的时长

计算shell脚本运行时长结束时间 - 开始时间#!/bin/bashstartTime=`date +%Y%m%d-%H:%M:%S`startTime_s=`date +%s`endTime=`date +%Y%m%d-%H:%M:%S`endTime_s=`date +%s`totalTime=$[ $endTime_s - $startTime_s ]echo "$startTime ---> $endTime" "Total:$totalTime second

2020-12-24 10:38:08 707

转载用load csv方式导入Neo4j

一、csv结点文件的载入下面是person_Format.csv（文件名）文件中的内容，主要字段包括id，name和age，下面的5行分别对应5个人的信息（注意逗号是英文格式下的逗号，否则读不出）。id,name,age1,zhangsna,182,lisi,283,wangeu,604,wnanandajie,305,viji,26执行导入语句LOAD CSV WITH HEADERS FROM "file:///person_Format.csv" AS lineMERGE (p

2020-12-04 14:34:30 2185

原创 JAVA权限管理系统-数据库表

JAVA权限管理系统一共涉及8张表中文表英文表权限表sys_acl权限模块表sys_acl_module部门表sys_dept权限操作日志表sys_log角色表sys_role角色权限表sys_role_acl用户角色表sys_role_user用户表sys_user-- ------------------------------ Table structure for `sys_acl`-- ----------

2020-11-17 11:01:17 657

转载关于request.getRequestDispatcher().forward(request,response)和response.sendRedirect()的区别

在进行web开发时，跳转是最常见的，今天在这里来学习下2种跳转：第一种是request.getRequestDispatcher().forward(request,response)：1、属于转发，也是服务器跳转，相当于方法调用，在执行当前文件的过程中转向执行目标文件，两个文件(当前文件和目标文件)属于同一次请求，前后页共用一个request，可以通过此来传递一些数据或者session信息，request.setAttribute()和request.getAttribute()。2、在前后两次执行

2020-11-17 00:11:18 612

转载 @Controller、@RestController注解区别

@Controller、@RestController注解区别：@RestController 注解相当于 @Controller ＋ @ResponseBody 合在一起的作用。一、@Controller注解@Controller 是Spring框架提供的注解。@Controller标识的类，该类代表控制器类(控制层/表现层)。这里控制层里面的每个方法，都可以去调用@Service标识的类（业务逻辑层），@Service标识的类中的方法可以继续调用@Resposity标识的接口实现类（Dao层/

2020-11-16 23:31:47 158

空空如也

空空如也