10 sxjlinux

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 5k+

JavaDStream转化为JavaPairRDD并对数据进行排序

package com.xxx.busi;import com.xxx.common.DBUtils;import com.xxx.common.JavaSparkSessionSingleton;import com.xxx.common.OffsetUtil;import org.apache.kafka.clients.consumer.ConsumerRecord;impor...

2020-05-07 17:46:20

使用idea调试spark信息时,设置不打印INFO信息

1、首先将spark根目录下中的conf目录里的log4j.properties.template文件拷贝到IDEA项目中的src\main\resources目录下并改名为log4j.properties,如下图所示:2、然后在将文件中的log4j.rootCategory=INFO, console修改为log4j.rootCategory=ERROR, console即可,如下图所示...

2020-05-07 17:42:10

IDEA中出现:Warning:java: 源值1.5已过时, 将在未来所有发行版中删除

1、要解决这个警告需要设置3个地方,首先打开File->Project Structure中的Project,将SDK和language level都设置一致,如下图所示:2、修改File->Project Structure中的Modules,选择Sources将language level都设置一致为8,如下图所示:3、File->Settings...-&g...

2020-05-01 21:23:54

kafka出现WARN - org.apache.kafka.clients.NetworkClient$DefaultMetadataUpdater.handleCompletedMetadataR

1、当kafka接收数据时会出现如下警告:2020-04-27 12:27:39,258 (kafka-coordinator-heartbeat-thread | flume) [WARN - org.apache.kafka.clients.NetworkClient$DefaultMetadataUpdater.handleCompletedMetadataResponse(Netwo...

2020-04-27 16:26:53

flume接收kafka消息过多导致的GC错误的解决办法

当flume接收kafka消息过多会导致如下错误:Exception in thread "PollableSourceRunner-KafkaSource-s1" java.lang.OutOfMemoryError: GC overhead limit exceeded at java.lang.StringCoding$StringDecoder.decode(StringCodin...

2020-04-22 22:01:43

centos编译protobuf,并通过java使用序列化与反序列化

1、首先通过git来下载源码包,如下图所示:git clone https://github.com/protocolbuffers/protobuf.git2、下载完成后如下图所示:3、然后cd到protobuf目录执行:git submodule update --init --recursive,如下图所示:4、然后使用yum安装对应的库,yum install au...

2020-04-20 23:26:52

XCode13.3.1创建类时,默认带前缀

1、首先选择项目名称,然后在Class Prefix中输入前缀名称,如下图所示:2、然后新建一个文件选择Cocoa Touch Class,选择Next,如下图所示:3、此时就会默认出现一个前缀,如下图所示:4、输入类名,如下图所示:5、此时就会生成对应的文件以及类,如下图所示:...

2020-04-01 20:06:21

git上传代码到仓库

1、首先在git上创建一个仓库,如下图所示:2、然后找到clone地址,如下图所示:3、通过git clone克隆仓库,如下图所示:4、克隆之后将代码文件拷贝到该目录,如下图所示:5、拷贝之后再终端使用git add .命令添加到本地仓库中,如下图所示:6、使用git commit -m "first commit"提交到本地仓库7、此时会出现设...

2020-03-16 13:52:48

Xcode11将函数折叠、展开

1、打开XCode->Perferences...,如下图所示:2、在打开的对话框中选择Text Editing将Code folding ribbon打上对勾即可。3、此时代码就可以收缩了,如下图所示:...

2020-03-16 10:24:10

淘宝技术架构变迁

一、个人网站  2003 年 4 月 7 日,马云,在杭州,成立了一个神秘的组织。他叫来十位员工,要他们签了一份协议,这份协议要求他们立刻离开阿里巴巴,去做一个神秘的项目。这个项目要求绝对保密,老马戏称“连说梦话被老婆听到都不行,谁要是透漏出去,我将追杀到天涯海角”。这份协议是英文版的,匆忙之间,大多数人根本来不及看懂,但出于对老马的信任,都卷起铺盖离开了阿里巴巴。  他们去了一个神秘的...

2020-03-01 18:14:23

通过mac电脑将macos系统的dmg镜像转换为iso文件,供VMware安装mac系统

1、首先下载mac系统,可以在mac系统的app store商店上下载,下载连接为:链接:https://pan.baidu.com/s/1BGQ-lM1rt77NEzo9jlItlg提取码:mvg8该系统是macOS Catalina 10.15.2版本的2、将下载好的dmg文件拷贝到mac系统中,然后打开镜像将里边的安装mac OS Catalina复制到桌面上,如下图所示:...

2020-02-29 23:40:00

phpstorm调试环境XDebug搭建

Xdebug安装对应版本与配置Xdebug安装地址https://xdebug.org/download.php,进入下载页面后点击custom installation instructions,可以找到适合的Xdebug版本。如果你点击了custom installation instructions,会进入下面的页面,把本地运行phpinfo()后的页面的html源代码复制...

2020-02-19 19:07:11

brew安装程序过慢,替换阿里巴巴的镜像

1. 替换 / 还原 brew.git 仓库地址替换成阿里巴巴的 brew.git 仓库地址:cd "$(brew --repo)" git remote set-url origin https://mirrors.aliyun.com/homebrew/brew.git还原为官方提供的 brew.git 仓库地址cd "$(brew --repo)"git r...

2020-02-17 17:51:59

PHP报错:call to undefined function curl_init() window

1、首先在php.ini文件中将extension=php_curl.dll注释去掉,如下图所示:2、配置ext目录,需要绝对路径,extension_dir = "D:/InstallFile/php-5.6.9-Win32-VC11-x64/ext",如下图所示:3、在apache/bin目录中需要有libssh2.dll,ssleay32.dll, libeay32.dll,...

2020-02-16 21:50:23

spark-streaming与flume整合

一、以push方式接收flume发送过来的数据(也就是flume客户端主动向spark streaming发送数据)1、首先配置pom.xml文件,文件内容如下:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:...

2020-02-06 14:55:52

spring-boot+spark+spark-submit提交时出现compatible version of com.google.gson.GsonBuilder或javax.validatio

出现如下错误时20/01/30 01:40:14 ERROR [localhost].[/]: Failed to destroy the filter named [Tomcat WebSocket (JSR356) Filter] of type [org.apache.tomcat.websocket.server.WsFilter]java.lang.AbstractM...

2020-01-30 01:53:27

spark-sql中的java版本使用sum等内置函数方法

一定要引入import static org.apache.spark.sql.functions.*;,也就是在import加上static关键字才能被引入,如下图所示:如下图函数scala和java版本的区别:

2020-01-28 15:56:42

php5开启gd库,在开启后仍然没有开启的问题解决方法

1、将extension=php_gd2.dll前边的分号去掉。2、修改ext目录,必须要绝对路径才行,如下图所示:

2020-01-07 15:59:31

jdbc对mysql数据库通过批量(executeBatch)执行存储过程来插入数据(可以实现如果数据存在则更新,不存在则插入的功能)

1、首先在mysql中创建表,sql语句如下:DROP TABLE IF EXISTS `student`;CREATE TABLE `student` ( `name` varchar(255) COLLATE utf8_bin DEFAULT NULL, `age` int(11) DEFAULT NULL) ENGINE=InnoDB DEFAULT CHARSET=utf...

2020-01-03 15:39:52

启动hive可以正常启动,但是创建表,显示表都出现错误FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveExceptio

1、当创建表示出现错误信息如下:SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/usr/local/src/apache-hive-2.3.6-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLogge...

2020-01-02 14:33:56

查看更多

勋章 我的勋章
  • 阅读者勋章Lv1
    阅读者勋章Lv1
    授予在CSDN APP累计阅读博文达到3天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。