- 博客(62)
- 资源 (21)
- 收藏
- 关注
RSS订阅
原创 Spark Structured Streaming+Kafka+Hbase Scala版-学习笔记
Spark Structured Streaming+Kafka+Hbase Scala版例子前言环境介绍目录第一章 环境搭建前言最新在写Spark中间遇到很多坑，在这里总结下来供后来人参考，主要是因为网上的例子真的太少了，而且写的不详细，下边是我集合自己环境以及业务的代码样例。这里只有代码没有环境搭建的内容。环境介绍开发工具IDEA集群环境CDP7.1.4,kafka和Hbase的对应版本后续会具体介绍语言Scala目录第一章 环境搭建IDEA开发Spark例子,Scala语言版环境搭建
2021-02-22 14:31:55
501
2
原创 从零搭建基于SpringCloudAlibaba技术栈的微服务架构
从零搭建基于SpringCloudAlibaba技术栈的微服务架构前言目录服务注册和发现前言最近在学习微服务相关的技术，选择拥抱阿里，而不是Spring Cloud原生，下边的所有内容将是我的一个学习笔记，我会对我用到的技术进行简单的说明，但是不会科普概念，会结合业务说明一下不同场景下的技术用法，可能会对一个技术在不同应用场景下做多个实验，最后欢迎指导和讨论。目录这是一个我学习的顺序服务注册和发现...
2020-08-28 15:37:32
1843
8
原创 Unity在Windows选项下没有Auto Streaming
方案 2: 手动添加 Package打开工程文件 Packages/manifest.json添加 “com.unity.autostreaming”: “0.1.0-preview.1”
2023-11-18 22:50:38
638
原创 Unity Addressables学习笔记(3)---加载远程场景Scenes
Game1Group就是我新创建的一个Group用来存放场景1的所有资源，分组的配置跟Remote一样，都是远程的，加载地址是我本地启动的web服务器地址，URL里WebGL那个目录也不是必须的，根据自己实际的来。我是在最开始的场景里图片1那个开始按钮上加了个点击事件去触发加载Game1这个场景的。下边是GameObject上随便绑定一个C#脚本再去创建一个对象。下边是场景1拖进去的一个对象。上边的图就是拖完的状态。
2023-06-03 10:50:42
1080
原创 Unity Addressables学习笔记---汇总
下边是我最近在学Addressables插件的一个总结，看了好多视频又实验了好多终于成功了，卡了我一个月的时间。所以写下来，毕竟不是专业干的，不记录一下过几天可能就忘了。本身是个Java程序员，自学Unity，记录一下，学习过程，欢迎讨论交流，一起学习。
2023-06-03 10:15:46
219
3
原创 Unity Addressables学习笔记(2)---创建远程服务器对象
list里就是我要加载对象的名字，根据上边截图我加载的是Layer 1和Layer 8。这3个文件就是我生成的3个，额其中一个应该是我下一个帖子里的，反正都拷贝过去就行了。
2023-06-03 10:08:50
398
原创 Unity Addressables学习笔记(1)---创建远程服务器加载资源
Bulid Path选择RemoteBuildPath，打包的文件会出现在ServerData文件夹里，这个文件夹在Unity里是加载不出来的，里边是对应的是你要打包的程序类型，我的是网页所以是WebGL.我的打包文件名是：remote_assets_all_9cd0b0249adf18fa843683539bbac8b9.bundle。之后我拷贝到了一个本地的服务器上，我用的Spring Boot，因为我本身是搞Java的。在Spring Boot的服务器端添加跨域白名单类。pom.xml依赖就一个。
2023-05-21 12:31:23
1425
原创 Netty中ByteToMessageDecoder中的decode方法执行多次的问题及解决办法
Netty中ByteToMessageDecoder中的decode方法执行多次的问题
2022-07-29 15:12:45
1118
原创 Spark加载HDFS parquet数据,批量插入HBASE例子及一个问题优化
场景HDFS上存储了大量的parquet文件，我需要抽取其中几个字段存储到HBASE里。中间出现了一个问题，应该是一次批量提交的数据量太多了，所以一致卡着，提示：INFO AsyncRequestFutureImpl: #3, waiting for 172558 actions to finish on table:网上没超导怎么解决，最后自己优化了一下代码解决了代码主函数:HBase2HDFSLocalTestimport org.apache.spark.sql.{DataFrame
2022-03-31 16:38:47
2149
原创 Unity il2cpp.exe 已停止工作 CLR20r3
Unity 3D 在Build的时候最后卡住了，弹出如下提示，打开下边的详情会发现错误名称是CLR20r3的错误。打开Unity最下边会发现如下错误日志：Failed running C:\Program Files\Unity\Editor\Data\il2cpp/build/il2cpp.exe --convert-to-cpp --emit-null-checks --enable-array-bounds-check --dotnetprofile="unityaot" --compile-c
2022-03-12 14:08:10
5720
原创 Java poi 生成PPT并插入Excel附件并以图片形式显示代-代码例子
Java poi 生成PPT并插入Excel附件并以图片形式显示代前言月报需求POI写法Maven依赖JAVA代码前言网上找的都不好使，没办法逼得我自己写了一个。还搜到个CSDN的贴子说不知道好不好使的一个帖子收费19.9，一生气我申请了一个9.9的，我这个保证好使的。月报需求我的原始需求是生成一个月报，里边是当月的统计图，图片是前台传过来的一张做好的统计图我直接插入PPT就行，但是统计图里的数据需要以EXCEL作为附件放到PPT了，研究了好久，网上例子基本用不了，最后自己研究的。网上有一个Free
2022-01-11 08:51:47
1437
4
原创 Dubbo2.7.8+Nacos @DubboService注解 和Spring Boot结合 遇坑
服务生产者注解是@DubboService在本地启动不报错，在服务器上启动报如下错误，最可气的是，报错之后NACOS上还提示服务注册成功了，在NOCOS的服务列表里找到有一个健康实例：java.lang.IllegalArgumentException: @Service interfaceClass() or interfaceName() or interface class must be present! at org.springframework.util.Assert.notNull(A
2021-11-01 10:56:49
1655
原创 Spring Cloud Alibaba 从零搭建(一) ---NACOS配置中心
@[TOC](Spring Cloud Alibaba 从零搭建(一) —NACOS配置中心)前言整体入口：https://blog.csdn.net/lwb314/article/details/108277732快速搭建构建工具地址:http://start.aliyun.com因为是从头开始搭建，所以我们要先做配置，只引入一个nacos configPOM.XML配置pom.xml是自动生成就可以这里贴出来如下：<?xml version="1.0" encoding=
2021-08-13 14:28:29
595
原创 Spring Cloud Alibaba + Dubbo2.7 + Nacos2.0 从零搭建(一)
@[TOC](Spring Cloud Alibaba + Dubbo2.7 + Nacos2.0 从零搭建(一))前言整体入口：https://blog.csdn.net/lwb314/article/details/108277732快速搭建构建工具地址:http://start.aliyun.com选最基本依赖代码把IDEA自动生成的代码删除，只留下启动类,我把修改bootstrap.properties文件格式改成了bootstrap.yml，代码修改如下:spring
2021-07-03 11:45:33
1015
原创 Spark structured streaming+kafka 数据输入与输出不相等
前言最新在写structured streaming的程序，发现kafka输入和输出的数据不成比例，正常如果你的group里只有一个消费者，那么应该输入和输出是相等的才对。但是我的生产者和消费者2边的数据不一样，如下图：我的2个 topic，test19和test20可以看到2个程序的输出数据基本是输入的10倍，这肯定有问题，因此我要做几个实验，来验证到底是哪里除了问题，争取解决此问题。实验1：实现过程：从kafka获取输入后直接输出到另外一个topic里：输入topic:test31,输出t
2021-04-02 15:15:30
319
原创 Spqrk-SQL DataFrame foreachPartition 丢失数据，代码不执行，究竟是什么神仙操作
发现了一个非常诡异的问题，正在解决当中，把诡异问题记录下来，有问题的是(代码一)示例，我的table.put(putList)这段代从效果上看没执行，从日志上我能看出来putList里的数据越来越多。putList.size()一直在增加但是我如果把val table: Table = HBaseConnectionManager.getConnection().getTable(TableName.valueOf(tableName))这个table的声明放在iterator.foreach的前.
2021-03-25 16:54:12
1145
原创 Windows操作系统下本地跑Spark常见问题总结
Windows操作系统下本地跑Spark常见问题总结前言前言Spark Structured Streaming+Kafka+Hbase Scala版教程，整体入口。
2021-02-22 16:16:33
630
原创 Maven工程对应相关依赖查询
Maven工程对应相关依赖查询前言正文前言Spark Structured Streaming+Kafka+Hbase Scala版例子，整体入口。正文这个其实很简单，但是我发现我手下的开发人员确实有不知道怎么查了，就简单介绍一下。我一般就是直接在这个网址查https://mvnrepository.com/最简单的办法就是百度搜你要的框架名+maven，一般前几个结果里就是这个网站。例如我现在要开发spark,那么我百度搜spark-sql maven，记得2个关键字中间带个空格.进去之
2021-02-22 16:03:59
449
原创 IDEA开发Spark+Mavan+Scala语言环境搭建
IDEA开发Spark+Mavan+Scala语言环境搭建前言正文前言Spark Structured Streaming+Kafka+Hbase Scala版例子，整体入口。正文我是要开发Spark程序，开发工具是IDEA;同时需要使用Maven构建项目,语言我准备用Scala;因为JAVA的SparkAPI实在是太难懂了。下载IDEA,JDK,SCALA不写了，太简单1.Mavan+Scala搭建，很多人用的是下图的方法，但是我发现不好，因为会引入很多我不想要的东西，因为我是从头搭建，所以我
2021-02-22 15:26:17
256
原创 CDP集群对应Kafka,Hbase版本号查询
IDEA开发Spark例子,Scala语言版前言前言Spark Structured Streaming+Kafka+Hbase Scala版例子，整体入口。
2021-02-22 14:29:21
597
原创 Nacos配置中心+Spring Boot整合例子
SpringBoot使用Nacos作为配置中心 测试及总结前言前言学习笔记目录汇总地址：https://blog.csdn.net/lwb314/article/details/108277732这里为什么是用Spring Boot整合而不是Spring Cloud 呢，因为从目录结构上这篇是介绍Nacos的，而不是介绍Spring Cloud的，所以只要使用最基础的Spring Boot就可以了，而且Spring Boot使用Nacos和Spring Cloud的组入方式也不一样。Spring C
2020-10-12 15:15:22
828
原创 SpringBoot使用Nacos作为配置中心 测试及总结
SpringBoot使用Nacos作为配置中心 测试及总结前言测试内容测试1：常量及功能开关代码及说明测试2：程序中已经使用配置进行了初始化的代码，例如：数据库连接池遇坑总结@NacosValue注解获取不到值前言学习笔记汇总地址：https://blog.csdn.net/lwb314/article/details/108277732Nacos作为配置中心后，我把配置分成3个等级，针对这3个等级进行测试，并给出测试结果。环境初始化，启动函数和配置都在上一篇博客里，这里就不再写一遍了上一篇地址
2020-09-04 14:47:09
5170
原创 SpringBoot使用Nacos作为配置中心 例子和总结
SpringBoot使用Nacos作为配置中心例子前言环境三级目录前言学习笔记汇总地址：https://blog.csdn.net/lwb314/article/details/108277732我发现我写的博客屁话有点多，不爱看的可以跳过前言。搭建好Nacos服务器之后，开始学习Nacos的第一个主要功能：配置中心。配置中心的作用就是替代项目的配置文件。这个时候就产生了几个问题：1.为什么要替换配置文件，我觉得所有技术都是为了解决实际工作中产生的痛点才产生的，那么配置中心解决的痛点是什么呢，
2020-08-31 14:41:55
19900
原创 Nacos1.3.2环境搭建
Nacos环境搭建前言下载地址安装启动前言微服务最基本的功能，个人理解就是一个进程提供服务，另外一个进程需要用这个服务，所以它去调用这个服务，微服务架构就是把这种调用管理起来，所以有了第一个要学习的结束，服务注册和发现服务。阿里提供的技术是nacos可以认为等同于Spring Cloud的eureca.我是在nacos官网https://nacos.io/直接学习的，因为有中文文档，所以很容易理解下载地址nacos文档里有个Nacos 快速开始，最下边有历史版本，我下的是编译版，不是源码，版本是我
2020-08-28 15:31:32
2479
原创 Spring Cloud Alibaba + Dubbo + Nacos 整合例子
Spring Cloud Alibaba + Dubbo + Nacos 整合例子前言注意事项代码快速搭建三级目录前言我一共搭建了3个环境。整体入口：https://blog.csdn.net/lwb314/article/details/108222433注意事项这次使用的依赖是spring-cloud-starter-dubbo，这个我在git上没搜到，最后我发现他是spring-cloud-alibaba下的，spring-cloud-starter下的子项目，maven仓库里也找了一会
2020-08-27 15:22:16
7892
5
原创 dubbo-spring-boot-starter+Nacos整合 例子
spring-boot-starter+Dubbo+Nacos整合 例子前言注意事项代码依赖pom.xml服务提供者代码-provider服务消费者代码-consumer前言我一共搭建了3个环境。整体入口：https://blog.csdn.net/lwb314/article/details/108222433注意事项这里先说几点我觉得需要注意得地方，然后再贴代码dubbo-spring-boot-starter这个出现过多个不同版本，你可以在maven仓库里找到好多名字是dubbo-sp
2020-08-26 14:25:13
3907
9
原创 Spring Boot/Cloud+Nacos+Dubbo 整合例子
Spring Boot+Nacos+Dubbo 整合例子前言环境搭建:这里一共总结3种整合方式第一种：Nacos+Spring Boot+Dubbo原生第二种：Nacos+dubbo-spring-boot-starter第三种：Nacos+spring-cloud-starter-dubbo前言最近在看nacos，spring cloud，dubbo这些微服务相关的东西，自己搭建了一套环境，自己写完再看网上的帖子有点愣逼了，居然还有各种不同的写法。所以我决定把3种方法都试一下，感受一下区别，也把坑都说
2020-08-26 09:30:28
2449
3
原创 Nacos+Spring Boot+Dubbo原生整合 例子
这种方式基本就是用nacos官网+dubbo官网，自己硬搭的一个，特别别扭。主要看的是下边2页Nacos官网的nacos-dubbohttps://nacos.io/zh-cn/docs/use-nacos-with-dubbo.htmldubbo官网的注解配置http://dubbo.apache.org/zh-cn/docs/user/configuration/annotation.html依赖如下：我是用的spring boot作为了spring 容器和服务监听，像nacos官网，那么
2020-08-26 09:13:52
1266
3
原创 从零搭建Docker&k8s环境及使用+理解
虽然对于网络来说是炒冷饭，但是我是第一次弄，毕竟网上总是找不到你想要的答案。╮(╯▽╰)╭第一步安装Linux CentOS 7,我是按这个帖子按的，很详细。只是帖子里按的是8我按的是7。...
2020-03-16 13:42:13
1674
6
原创 (java语言版) spark+hive+hbase 离线大数据分析统计及运行效率实验
1.初始化1000万条数据。作为数据集。我采用的方式是，先在hive中创建hbase表. 之后将数据写入到hbase里.hive创建与hbase的表关联参考我的这篇帖子https://blog.csdn.net/lwb314/article/details/803469932.只有进行查询,首先...
2020-03-10 09:29:29
522
原创 Python & Spark学习笔记系列 【第三章】例子：Python+Spark+Hbase
这里我的原始数据在Hbase里，以下会介绍两种方式可以通过Spark达到操作Hbase的效果。第一种：Spark直连HBase代码如下，但是这里我遇到了一个问题，就是下边代码中使用到的org.apache.hadoop.hbase.io.ImmutableBytesWritable，我使用IDEA本地运行提示找不到这个类，报错是：java.lang.ClassNotFoundExcep...
2019-03-04 10:00:55
981
5
原创 Python & Spark学习笔记系列 【第二章】例子：单词统计+文件存储
一般Spark上来好像都是单词统计，这里我也写一个，之后再带上点其他的函数，Spark和Python语法是真的难理解，这里我把我的理解都写在程序代码注解上了，直接上代码from pyspark import SparkContext, SparkConfimport os# 没有这句会报错os.environ['JAVA_HOME'] = 'D:\Java\jdk1.8.0_92'...
2019-02-22 10:14:06
600
1
原创 Python & Spark学习笔记系列 【第一章】环境搭建 pyspark安装
Python语言怎么安装这里就不写了，网上有好多，IDEA安装是我按的Python插件如下图：安装Python语言环境和插件以后，还要安装pyspark类库，因为默认Python是不带这些类库的。这里安装遇到一个小坑，简单说下。如果网络没问题的话可以直接cmd进入命令行，时候输入命令pip install pyspark，就可以安装了。但是默认是pyspark的latest版本...
2019-02-14 11:22:47
2096
原创 Python & Spark学习笔记系列---目录
作为一个Java程序员，到目前为基本不具备Python与Spark的经验。接下来会按学习步骤写下所有Python与Spark学习中遇到的坑。为什么选Python而不是Scala和Java，这里的原因是，Java的SparkAPI写法特别繁琐不好理解，Scala本身也没有经验。但是大数据分析后可能会继续学习机器学习人工智能相关的东西，现在最火的基本就是Python,因此学习Python，...
2019-02-14 10:44:03
322
原创 HDP2.4升级到HDP3.1遇到的各种坑
最近要把项目从HDP2.4.0 升级到HDP3.0.1 其中各种坑，这里记录一下.先列一下主要用到的技术与版本老环境 HDP-2.4.0HADOOP 2.7.1.2.4HBase 1.1.2.2.4Storm 0.10.0.2.4ZooKeeper 3.4.6.2.4Kafka 0.9.0.2.4新环境 HDP-3.0.1HADOOP 3.1.1HBase ...
2018-11-21 17:25:46
2680
原创 登山的感悟
周末公司组织团建，去爬山，爬山的时候想到一些问题，说出来看大家是怎么想的。第一个是问题，一般信佛的人都知道不能给佛像拍照，至少我们这边基本都是这么说的，但是有佛的时候还没有相机啊，那么是谁总结的佛像不能拍照？我觉得佛经上应该没写过吧，没相机之前古代人一般都是用画像来记录影像，古时候佛像画像还是很多的吧？为什么古时候可以画像，现代不能拍照呢？(第一个问题已经讨论最后普遍认为是出于信仰与敬畏)...
2018-09-10 12:49:18
5352
12
nacos-demo.zip
2020-08-27
Java 生成PDF工具类 免费版
2020-01-03
Oracle12C JDBC 驱动
2018-05-22
OracleJDBC 12C 驱动
2018-05-22
java 读写 hdfs文件系统例子(包括权限设置)
2018-04-10
Oracle JDBC7
2017-09-12
javaWeb在线聊天室代码例子技术是简单的servlet
2013-10-18
flex做的工作流在线编辑器小例子
2011-01-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人