- 博客(40)
- 资源 (11)
- 收藏
- 关注
RSS订阅
原创 记Spark on Yarn集群错误汇总
我们经常使用Sparkonyarn的模式进行开发和任务调度，但是常常会出现各种错误。 本文将这些问题汇总并提出解决： 先贴一个spark提交任务到yarn的脚本：1、spark找不到main类：20/06/29 09:24:21 ERROR yarn.ApplicationMaster: Uncaught exception: java.lang.ClassNotFoundException: src/main/scala/log_anal...
2020-06-29 11:59:29
4957
1
原创 三种方法给Vmware虚拟机占用空间清理瘦身（亲测有效！）
随着VMware虚拟机使用时间的增长，其所占用的空间也越来越大，本文来说说怎么给VMware虚拟机占用的空间进行瘦身。方法一：VMware自带的清理磁盘这个方法是VMware自带，具有普适性，对快照等文件不造成影响。步骤如下：1、将要清理的虚拟机关机。2、右键该虚拟机——>管理——>清理磁盘，VMware会自动提示可清理的磁盘大小，点击确定等待清理完毕即可。方法二：VMware自带的碎片整理和压缩这个方法也是VMware自带，具有普适性，对快照等文件不造成影响。碎片整理花费
2020-06-19 13:50:08
50606
3
原创 kafka producer端发送很慢？一招轻松解决
使用场景：kafka发送producer为单实例（使用new kafkaProducer）并且使用同步发送，发送kafka使用线程池执行发送任务，任务队列大小为2000，kafka连接server端使用kerboeros认证。当业务下发从nginx进入，两个tomcat节点进行发送kafka处理，1200TPS时会偶现几次处理时延很长，直接导致nginx504，第一时间打开debug日志，发...
2019-04-10 10:45:02
17533
转载 CentOS出现连接被拒--ssh：connect to host centos-py port 22: Connection refused
错误提示如下：CentOS出现连接被拒--ssh：connect to host centos-py port 22: Connection refused 我在配置ssh免登录时候出现该问题，其错误原因主要有以下几种： 1）SSH服务未安装 此时，采用在线安装的方式就行下载安装，命令为：yum -y install openssh-server；然后启动ssh服务...
2019-03-02 18:56:38
26552
6
原创 解决spring整合redis库，出现Error creating bean with name JedisConnectionFactory defined in URL异常
异常如下：org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'JedisConnectionFactory' defined in URL [jar:file:/D:/DevelopTools/maven_repository/com/pinyougou/pinyougo...
2019-02-19 08:35:45
13741
原创 SQL优化详解
一、问题的提出 在应用系统开发初期，由于开发数据库数据比较少，对于查询SQL语句，复杂视图的的编写等体会不出SQL语句各种写法的性能优劣，但是如果将应用系统提交实际应用后，随着数据库中数据的增加，系统的响应速度就成为目前系统需要解决的最主要的问题之一。系统优化中一个很重要的方面就是SQL语句的优化。对于海量数据，劣质SQL语句和优质SQL语句之间的速度差别可以达到上百倍，可见对于一个系统不是简...
2022-01-12 08:48:24
4707
原创 vue 使用mock模拟get和post请求
很多时候，前端的开发需要配合后端接口数据，但是后端开发未完成的时候，前端不能苦等，可以先用mock来进行数据模拟和调试。使用方法如下：1、安装mockjsnpm install mockjs2、在vue项目中创建文件夹3、在index.js中写如下代码const Mock = require('mockjs');//格式： Mock.mock( url, post/get , 返回的数据)； 下面的userInfo是指mock目录下...
2021-11-30 09:18:03
739
原创 【无标题】
一、问题的提出 在应用系统开发初期，由于开发数据库数据比较少，对于查询SQL语句，复杂视图的的编写等体会不出SQL语句各种写法的性能优劣，但是如果将应用系统提交实际应用后，随着数据库中数据的增加，系统的响应速度就成为目前系统需要解决的最主要的问题之一。系统优化中一个很重要的方面就是SQL语句的优化。对于海量数据，劣质SQL语句和优质SQL语句之间的速度差别可以达到上百倍，可见对于一个系统不是简单地能实现其功能就可，而是要写出高质量的SQL语句，提高系统的可用性。 在多数情况下，Oracle使用索引
2021-11-30 09:07:18
237
原创 流系统Spark/Flink/Kafka/DataFlow端到端一致性实现对比（上篇）
一、前言 就作者学习流系统的感受来看, 流系统有2个难点, 第一是end to end consistency,或者说exactly once msg processing; 第二则是event time based window操作。 本来想用一篇文章同时概括和比较这2点，无奈第一点写完, 文章已经长度爆炸。于是分开2篇, 此为上篇, 着重于从分布式系统的本质问题出发, 从最底层的各种"不可能", 和它们的解(比如:consensus协议)开始, 一层一层的递进到高层的流系...
2021-11-30 09:05:41
398
原创 navicat链接oracle不显示用户下的相关数据库和表【Navicat 连接 Oracle数据库常见问题】
在使用Navicat连接Oracle的过程中大家可能会碰到这样或者那样的很多的问题，本文中汇总了一些让大家很头疼的问题及其解决方案，希望对大家有所帮助。首先建议各位为安全起见下载正版Navicat for Oracle试用版，下载地址可以参考：http://www.formysql.com/xiazai_oracle.htmlNavicat for OracleNavicat for Oracle 连接时常见问题及其解决方法如下：<4>问题一 oci.dll的版本不对由于In
2021-06-03 10:16:40
3609
转载 使用Vue cli开发前端时， 引入并修改Vant组件默认样式
本文初衷：在引入外部组件的时候，想要修改默认样式，可以通过class修改，但一般会有权重不够等各种原因，官网其实列出了一套主题定制的方案，通过覆盖配置文件来修改样式，官网地址：主题定制提示：以下是本篇文章正文内容，下面案例可供参考一、Less因为Vant 使用了 Less 对样式进行预处理，并内置了一些样式变量，可以通过替换样式变量即可定制你自己需要的主题。给你的项目配置less：npm install less --save-devnpm install less-loade.
2021-05-20 09:21:20
1266
原创 vue+echarts开发的前端项目--医学数据统计分析平台开发经验
1、全局使用引入的变量问题2、echarts必须在mounted函数里面初始化3、在发送请求的时候，携带的参数应该用qs.stringify(参数是json串)的方式4、在定义了全局数据接口地址的时候，发起axios请求，应该屏蔽接口地址，只需要写接口路径即可。5、在企业微信认证的时候，不方便调试可以将数据展示在前端页面上，或者使用vconsole插件，来替代console.log打印。6、axios请求，在开发环境（内网上）必须对应具体的内网ip接口。在外网上，必须对应外网ip接口。否则请求会拿
2020-12-28 08:50:11
808
原创 Oracle-逻辑、物理体系、实例、线程结构介绍
数据库（Database） 数据库是一个数据的集合，不仅是指物理上的数据，也指物理、存储及进程对象的一个组合。Oracle是一个基于B/S模式的关系型数据库管理系统（RDBMS）。 Oracle系统体系结构由三部分组成：逻辑结构、物理结构和实例。 一、Oracle的逻辑结构 Oracle的逻辑结构是一种层次结构。主要由：表空间、段、区和数据块等概念组成。逻辑结构是面向用户的，用户使用Ora...
2020-11-26 16:10:22
410
原创 Oracle “模式”和“用户”概念详解
一、什么是模式（schema） 在Oracle数据库中，模式是一个逻辑容器。它像是windows的一个文件夹，方便我们对一组数据库对象进行管理。 通常，一个大的系统由许多小的系统组成，我们可以给每个小的系统创建一个模式，把该系统中用到的数据库对象都创建在这个模式中。例如，每个公司都会有员工，我们可以创建一个模式 HR，然后在 HR 中创建一个表 EMPLOYEES 来维护员工信息，如果需要在其他模式中访问 EMPLOYEES 表，我们需要指定它的全名 HR.EMP...
2020-09-23 08:48:43
9727
原创 Windows下hadoop安装及配置教程
一、首先确保你已经安装了JDK您可以去官网下载JDK1.8.0（注意版本哦~）二、去获取hadoop-2.6.0-cdh5.14.0的镜像：下载链接https://download.csdn.net/download/u010051036/12720677三、接下来就到了我们的配置过程啦~1.配置环境变量系统变量Java_Home系统变量Hadoop_Home（指向你windows系统中的hadoop文件夹目录）系统变量Path中添加jdk和hadoop，如下配置.
2020-08-18 12:14:17
2066
原创 HBase从入门到精通-经典资料汇总(持续更新v2019.10)
https://developer.aliyun.com/article/739650?spm=a2c6h.14164896.0.0.5eb741beMLwvdf
2020-08-13 16:22:49
193
转载 《Spark 官方文档》监控和工具
一、监控和工具监控Spark应用有很多种方式：web UI，metrics 以及外部工具。二、Web界面每个SparkContext都会启动一个web UI，其默认端口为4040，并且这个web UI能展示很多有用的Spark应用相关信息。包括：一个stage和task的调度列表 一个关于RDD大小以及内存占用的概览 运行环境相关信息 运行中的执行器相关信息你只需打开浏览器，输入 http://<driver-node>:4040 即可访问该web界面。如果有..
2020-08-13 16:20:42
317
原创 Spark on Elasticsearch数据写入一致性问题
摘要：脏数据对数据计算的正确性带来了很严重的影响。因此，我们需要探索一种方法，能够实现Spark写入Elasticsearch数据的可靠性与正确性。一、概述 Spark与Elasticsearch（es）的结合，是近年来大数据解决方案很火热的一个话题。Spark是出色的分布式计算引擎，Elasticsearch（es）是出色的搜索引擎。 近年来，越来越多的成熟方案落地到行业产品中，包括我们耳熟能详的Spark+ES+HBase日志分析平台。 目前，华为云数...
2020-08-13 14:03:37
915
原创 一些SQL容易被忽略的知识点
一、sql执行顺序(1)from(3) join(2) on(4) where(5)group by(开始使用select中的别名，后面的语句中都可以使用)(6) avg,sum....(7)having(8) select(9) distinct(10) order by(11) limit二、数据库优化:1>数据库设计--三大范式2>数据库索引3>分表分库(水平分割,垂直分割)4>读写分离5>存储过程(模块化编程,可以提高速.
2020-08-11 10:37:02
478
原创 MySQL进阶探索--之STRAIGHT JOIN用法简介
一、发现问题的场景： 在一次sql查询的时候，发现速度很慢，且主表都建立了索引。百思不得其解，explainsql语句看了一下，发现有的表并没有走索引。 搜索文档和相关资料，发现了STRAIGHT_JOIN这种指定驱动表的方式来解决。本文章内容特记录。二、引用mysql官方手册的说法：STRAIGHT_JOIN is similar to JOIN, except that the left table is always read before the rig...
2020-08-05 12:18:59
3013
原创 Mysql四种存储引擎对比和分析，MyISAM和Innodb引擎分不清or选择困难？【提高底层理解和架构水平】
前言数据库存储引擎是数据库底层软件组织，数据库管理系统（DBMS）使用数据引擎进行创建、查询、更新和删除数据。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能，使用不同的存储引擎，还可以 获得特定的功能。现在许多不同的数据库管理系统都支持多种不同的数据引擎。MySQL的核心就是存储引擎。存储引擎查看MySQL给开发者提供了查询存储引擎的功能，我这里使用的是MySQL5.1，可以使用：SHOW ENGINES命令来查看MySQL使用的引擎，命令的输出为（我用的Navica.
2020-07-23 17:57:50
247
原创 spark DataFrame数据插入mysql性能优化（源码解析）
这里说的Spark包含SparkCore/SparkSQL/SparkStreaming，实际上都一样操作。以下展示的都是实际项目中的代码。方法一：把整个DataFrame一次写入MySQL (DataFrame的Schema要和MySQL表里定义的域名一致） Dataset<Row> resultDF = spark.sql("select hphm,clpp,clys,tgsj,kkbh from t_cltgxx where id in (" + id.
2020-06-18 13:54:43
1496
原创 Spark -- 对DataFrame增加一列索引列(自增id列)==》（解决出现ID自增且唯一，但是不呈现自然数递增的问题）
Spark DataFrame 添加自增id 在用Spark 处理数据的时候，经常需要给全量数据增加一列自增ID序号，在存入数据库的时候，自增ID也常常是一个很关键的要素。在使用mmlspark的LightGBMRanker时也需要指定一列int/long类型的id列，下面是几种实现方式。方式一：利用RDD的 zipWithIndex算子，官网介绍如下// 在原Schema信息的基础上添加一列 “id”信息val schema: StructType = dataframe.schema.a
2020-05-26 09:48:11
2573
原创 ApacheBeam初探（简述和入门编程）
Apache Beam开发指南翻译blwinner最后发布于2017-02-07 11:36:15阅读数 6591收藏本指南用于指导Beam用户使用Beam SDK创建数据处理pipeline（pipeline）。本文会引导您用BeamSDK类构建和测试你的pipeline。本文不会详尽阐述所有内容，但可以看做一门未知的“编程语言”，引导您用编程的方式构建您的Beampipelin...
2020-02-27 19:41:13
728
原创 C3P0连接池使用参数出现的问题（The reference to entity “characterEncoding“ must end with the ‘；‘ delimiter.）
C3P0连接池使用时报错：The reference to entity "characterEncoding" must end with the ';' delimiter.Java 解析XML文件错误。错误信息提示代码类似如下：The reference to entity "characterEncoding" must end with the ';' delim...
2020-02-03 19:19:53
144
原创 SparkSQL之dataframe写入mysql报错解决
一.异常情况及解决方案 在使用Spark SQL的dataframe数据写入到相应的MySQL表中时，报错Table already exists.，错误信息如下： 代码的基本形式为:df.write.jdbc(url, result_table, prop) 根据图片中的报错，搜索资料，得知是由于Spark SQL 中的Save Mode导致的，Spark SQL的官...
2020-01-10 10:20:52
1025
原创 Hbase如何通过Kerberos认证获取数据
最近在做一个项目，需要先拉取hbase上面的数据，然后进行指标计算。 但是集群Hadoop生态圈都设置了Kerberos认证，故记录此文，解决Kerberos认证过程中的问题。 代码需要先获取Hbase连接，而连接需要先通过Kerberos认证。（详细关注kerberos（）这个方法）。然后拿着连接去遍历Hbase表，表名是根据当前时间生成的。然...
2020-01-07 09:13:34
1175
原创 详解Spark Java使用DataFrame的foreach/foreachPartition
Spark已更新至2.x，DataFrame归DataSet管了，因此API也相应统一。本文不再适用2.0.0及以上版本。 DataFrame原生支持直接输出到JDBC，但如果目标表有自增字段（比如id），那么DataFrame就不能直接进行写入了。因为DataFrame.write().jdbc()要求DataFrame的schema与目标表的表结构必须完全一致（...
2020-01-07 08:58:00
6007
原创 spark运行异常及解决：Exception from container-launch.Exit code: 1 Stack trace: ExitCodeException exitCode=1:
yarn主界面状态显示failed，显示如下：Diagnostics: Exception from container-launch.Container id: container_1574829788169_0011_02_000001Exit code: 1Stack trace: ExitCodeException exitCode=1: at org.apache.h...
2019-11-29 16:12:01
4705
原创 Scala之Akka编写一个简单的RPC框架（模拟多个Worker连接Master）
1，需求概述：（使用Akka模型，实现一个简单的RPC通信框架）1）workder启动时，向master发送注册信息2）mater将workder的注册信息保存（此处用可变的map），并向worker发送注册成功信息3）worker定期向master发送心跳信息， 证明自身还活着4）master定期检测worker，如果workder已经挂掉了，将保存的workder信息给移除...
2019-04-23 19:52:45
187
原创 sql语句练习，mysql版本
Mysql 练习题我使用的Mysql版本是5.7.25。答案可能会因版本会有少许出入。准备练习数据数据表--1.学生表 Student(SId,Sname,Sage,Ssex) --SId 学生编号,Sname 学生姓名,Sage 出生年月,Ssex 学生性别--2.课程表 Course(CId,Cname,TId) --CId --课程编号,Cname 课程名称,TId...
2019-04-01 14:33:21
229
原创 Redis灵魂百问（入门详细基础教程）
【redis是什么】 redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。 redis的官网地址，是redis.io。（域名后缀io属于国家域名，是british Indian Ocean territory，即英属印度洋领地）目前，Vmware在资助着redis项目的开发和维护。【redis的作者】 ...
2019-03-30 12:45:36
157
原创 hive在操作表时（如insert into table）关于return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 错误
1.解决return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 错误在启动hive后，使用select查询语句进行查询时，爆出如下错误：INFO: Number of reduce tasks determined at compile time: 1INFO: In order to change th...
2019-03-28 13:06:26
5919
原创 eclipse 初始配置
1.字体默认状态的中文字体显示很小,所以解决办法是修改一下字体.菜单->windows-->prefereces,General-->Appearance-->Colors and Fonts,Base->base font->Edit.选择一个喜欢的字体,如 中文字体(Consolas 脚本:中欧字符)2.编码 将编码统一成utf...
2019-03-08 12:46:02
387
原创 ActiveMQ出现的Failed to invoke the method createSmsCode in the service
运用SpringBoot、阿里大于和ActiveMQ 开发短信微服务时，出现以下异常：com.alibaba.dubbo.rpc.RpcException: Failed to invoke the method createSmsCode in the service com.pinyougou.user.service.UserService. Tried 3 times of the ...
2019-02-25 18:25:08
1331
原创 固定linux服务器ip，并解决无法连接外网的问题 （完美快速解决）
首先检查虚拟机的几个服务是否开启，点开任务管理器，点击“服务”，查看下图的几个服务是否“正在运行”，若显示“已停止”，右键点击“开始”1、检查当前环境配置的IP信息2、检查网络配置是否正确[root@hadoop/]# cat /etc/sysconfig/network-scripts/ifcfg-eth0...
2019-02-24 19:36:07
3678
原创 关于freemarker静态化，生成html页面乱码的问题（亲测有效）
freemarker生成html页面的时候出现了中文乱码的问题在网上也查了下大致给了以下几种解决方案首先是说ftl文件的head标签，加上<meta http-equiv="Content-Type" content="text/html; charset=utf-8">因为我在springmvc的视图解析器配置了<property name="conte...
2019-02-24 10:46:45
905
原创 SpringMVC的响应数据的返回值分类
响应数据的返回值分类 1. 返回字符串 Controller方法返回值是字符串,可以指定逻辑视图的名称，根据视图解析器为物理视图的地址。 @RequestMapping(value="/hello") public String sayHello() { System.out.println("Hello SpringMVC!!");...
2019-01-11 21:52:07
188
原创 Maven依赖管理简介和使用详解
1,Maven的概念: 是一个项目管理工具.它包含了一个项目对象模型 (POM：Project Object Model)，一组标准集合，一个项目生命周期(Project Lifecycle)，一个依赖管理系统(Dependency Management System)， 和用来运行定义在生命周期阶段(phase)中插件(plugin)目标(goal)的逻辑。2,Maven 的...
2018-12-27 20:16:44
346
1
openwrt-koolshare-mod-v2.31-r10822-50aa0525d1-x86-64.vmdk
2024-02-01
hadoop-2.6.0-cdh5.14.0.rar
2020-08-18
从案例中学习如何快速缩短SQL优化过程.pdf
2020-06-29
Scala编程语言详解（从入门到精通）spark
2019-03-30
notepad++7.6.3中文32位版（支持插件下载）
2019-02-26
简单的自定义mybatis
2019-01-05
人类基因相似度对比ACTG
2015-10-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人