- 博客(134)
- 资源 (16)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 【k8s 笔记】k8s 基础服务
K8S 基础服务高可用集群副本数据最好是 >= 3的个数API server 所有组件访问的入口CrontrollerManager: 维护副本期望数目Scheduler: 负责介绍任务，选择合适的节点进行分配任务ETCD: 键值对数据，存储K8S集群所有重要信息(持久化)kubelet:直接跟容器引擎交互实现容器的生命周期管理kube-proxy： 负责写入规则至 IPTABLES IPVS 实现访问CoreDNS: 可以为集群中的SVC创建一个域名IP的对应关系解析DashBo
2022-04-19 23:27:13
214
原创 【k8s 笔记】k8s概念和架构
k8s概述和特性k8s特性k8s是谷歌在2014年开源的容器化集群管理系统使用k8s进行容器化应用部署使用k8s利于应用扩展k8s目标实现让部署容器化应用更加简洁和高效k8s功能自动装箱自我修复水平扩展服务发现滚动更新版本回退秘钥和配置管理k8s 服务组件scheduler (调度器)replication controller (控制器)api server (api 网关)etcd 的官方将他定位成一个可信赖的分布式键值存储;天生集群化部署,etcd
2022-04-19 23:18:57
635
2
原创 基于MQ的GeoServer集群搭建(负载均衡,Session共享,JMS消息同步)
GeoServer 集群化部署方案目前部署了三个节点,节点信息如下:外网IP内网IP用户名密码47.94.106.239172.16.131.210root39.107.248.236172.16.131.209rootRoot123@aliyun39.107.101.131172.16.131.211rootRoot123@aliyun总体设计总体技术是通过Nginx去做负载均衡,通过Redis和Tomcat实现session共享,通过MQ
2021-09-16 10:03:58
1064
原创 大数据-数据质量
供应侧: 重点关注的数据质量维度有效性数据有效性用于度量数据是否符合既定的条件,不符合条件的视为无效数据,例如:在统计当前在职的职工数时,数据集中的已离职人员应当被提出出去完整性数据完整性体现在三个方面,第一是元数据的完整性,例如: 唯一性约束完整性,参照完整性等,DLBM不能重复第二是数据条目完整性,例如: 数据记录丢失或不可用会印象数据的完整性第三是数据属性完整性,例如: 数据属性空置情况等准确性数据的准确性也叫数据可靠性,狭义上的数据准确性是用于分析,识别和度量哪些是不准确的或无效的
2021-08-23 15:07:58
614
原创 数仓分层介绍
ADM 层数仓应用数据集市层，完全贴合前段业务应用面向应用提供数据服务关键词：高度汇总，应用指标DWS 层数据仓库主题数据层，按分析对象对实体进行数据整合，轻度汇总面向应用提供数据服务关键词：轻度汇总，公共汇聚指标DWS 层数仓明细层数据，面向数据进行数据分析，整合，清晰，形成一套标准化数据模型关键词：数据模型标准化，建宽表ODS 层操作型数据，指构建与源系统保持一致的全量数据对STG层数据进行数据全/增量合并以及数据清洗和标准化动作关键词：溯源 标准STG 层
2021-08-19 09:36:53
288
原创 GeoWave 1.2.0 版本解决GS发布矢量NIO ByteBuffer flip() java.lang.NoSuchMethodError 返回值错误问题
在GeoWave v1.2.0 版本中在发布矢量时，会报错，具体错误如下：2021-07-19 15:19:48,519 ERROR [geotools.rendering] - java.nio.ByteBuffer.flip()Ljava/nio/ByteBuffer;java.lang.NoSuchMethodError: java.nio.ByteBuffer.flip()Ljava/nio/ByteBuffer; at org.locationtech.geowave.core.index.
2021-07-22 11:18:29
472
原创 openlayer 扩展自定义组件(图层管理器,图例控件)
最近看了下网上一些对于openlayer的封装，抽取了两个比较好的案例封装了下,封装了图例和图层管理器图层选择器代码封装.hxMap-layer-switcher.shown.ol-control { background-color: transparent;}.hxMap-layer-switcher.shown.ol-control:hover { background-color: transparent;}.hxMap-layer-switcher { position
2021-07-19 17:40:10
339
原创 GeoWave 将SHP数据转存到KUDU上,并通过Spark从KUDU上将数据读取处理
单机版的KUDU安装后面专门出一篇博客，还是有一点点坑要避，此处只展示SHP转化到KUDU，并且从KUDU读取通过Spark进行数据处理的展示。整体代码块package com.ideawin.datagaea.geowave.appsimport com.alibaba.fastjson.JSONObjectimport com.ideawin.datagaea.geotrellis.apps.AppHanderimport com.ideawin.datagaea.geotrellis.co
2021-07-19 16:58:59
143
原创 GeoWave 通过Spark处理文件系统数据
代码块package com.ideawin.datagaea.geowave.appsimport com.alibaba.fastjson.JSONObjectimport com.ideawin.datagaea.geotrellis.apps.AppHanderimport com.ideawin.datagaea.geotrellis.common.SparkConfigureimport com.ideawin.datagaea.geotrellis.entity.dto.Raste
2021-07-18 12:00:25
126
原创 GeoWave处理本地文件
最近在看GeoWave,此处将最新一个GeoWave的代码整理出来，因为最近刚吧GeoWave的算子封装模块整理出来，所以最近更新有点慢package com.ideawin.datagaea.geotrellis.appsimport com.alibaba.fastjson.JSONObjectimport com.ideawin.datagaea.geotrellis.common.SparkConfigureimport com.ideawin.datagaea.geotrellis.en
2021-07-18 11:30:07
125
原创 GeoWave和GeoMesa对比
官网上的例子使用的是accumulo,由于当前业务需要做到单条数据进行更新，所以此处选择kudu作为数据存储中间件,此处按照GeoMesa的封装将GeoWave相关的数据存储驱动进行封装，
2021-07-14 15:06:11
1144
原创 GeoTrellis对点云格式数据的处理(此处预留）
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-05-27 10:18:51
180
原创 window下将做常住服务(适用于spring boot windows下部署,minio window下部署等)
1. 下载WinSW-x64.exehttps://github.com/winsw/winsw/releases2. 将WinSW-x64.exe 重命名为xxx-server.exe将WinSW-x64.exe 重命名到3. 配置xxx-server.xml 启动信息<service> <id>minio-server</id> <name>minio-server</name> <descripti
2021-03-30 16:28:33
182
原创 GeoMesa Hbase windows下塔建单节点环境
1.安装hadoop windows 环境信息(1) 下载windows版本的Hadoop代码下载winutils下载地址:https://github.com/steveloughran/winutils.git(2) 环境变量里面配置hadoop环境信息配置环境变量 hadoop_home: D:\bigdata\hadoop-2.7.1\hadoop-2.7.12.安装hbase windows 环境信息去官网查看hadoop2.7.1 匹配的Hbase版本此处下载的是1.4.1
2021-03-30 15:51:09
325
原创 GeoMesa执行SparkSQL源代码分析
最近用GeoMesa 和PG执行空间函数做了下对比,和预期的差距好大,就简单看了一下里面的执行计划,先说下结论吧，单纯从SparkSQL执行效果上来看，SparkSQL在单表操作上还有点性能，如果通过JOIN两张表，不管的大表还是小表，性能都一般，一下说明下执行问题。...
2021-03-24 11:40:35
274
原创 GeoTrellis 基于GeoTrellis 进行栅格瓦片生成
读取minio上的影像文件当前GeoTrellis的版本是3.5.2 val source1 = S3GeoTiffRDD.spatialMultiband("datas", "multiband.tif", S3GeoTiffRDD.Options(maxTileSize = None, partitionBytes = None, getClient = () => client.get()))(SparkConfigure.sc)定义重采样和重投影参数定义瓦片大小和
2021-03-15 15:20:26
649
原创 GeoMesa SparkSQL 支持 ShortType(PG int2 不被支持 java.util.NoSuchElementException: head of empty list)
源码原始文件SparkUtils 支持的数据类型如下:private def createStructField(ad: AttributeDescriptor): Option[StructField] = { val bindings = Try(ObjectType.selectType(ad)).getOrElse(Seq.empty) val dt = bindings.head match { case ObjectType.STRING => DataT
2021-03-05 17:58:25
440
原创 GeoTrellis栅格数据按照金字塔进行数据提取
GeoTrellis 栅格数据处理@Serviceclass RasterIngestImageHander @Autowired()(miniTools: MiniTools) extends AppHander { private val LOG: Log = LogFactory.getLog(this.getClass) private val sparkUtil = new SparkUtil private val convert = new RasterIngest
2021-03-04 10:54:08
420
1
原创 GeoTrellis做矢量栅格化
样例代码整理@Serviceclass VectorDataRasterHander @Autowired()(geoTools: GeoTools) extends AppHander { private val LOG: Log = LogFactory.getLog(this.getClass) private val sparkUtil = new SparkUtil private val convert = new VectorDataRasterConvert
2021-03-04 10:51:27
184
1
原创 Spark算子引入Spring boot 项目 按照环境获取配置信息(GeoMesa)
最近写GeoMesa 进行矢量处理的算子,因为现在区分不同的环境信息,所有的传参都是通过Redis进行触发,数据的上传也是在MiniO上,所以需要引入Spring boot 来处理环境信息和初始化过程Spring boot 启动类代码更改@Slf4j@SpringBootApplicationpublic class GeoMesaToolsApplication implements CommandLineRunner { public static void main(String[]
2021-03-04 10:46:46
326
1
原创 GeoMesa 实现ArcGIS 矢量分析模块 “标识“能力实现
算法描述地址:https://desktop.arcgis.com/zh-cn/arcmap/10.3/tools/coverage-toolbox/how-identity-works.htm算法参数实体类:class VectorMarkEntity extends Serializable { @BeanProperty var taskNo: String = null @BeanProperty var appName: String = null @BeanPro
2021-03-04 10:27:58
219
1
原创 GeoMesa 将矢量文件(GeoJSON)转存到Hbase集群内
GeoMesa对矢量文件(shp,geojson)都是需要GeoTools的支持,主要是依赖GeoToolsSpatialRDDProvider来处理配置POM文件支持GeoJson接入 <dependency> <groupId>org.geotools</groupId> <artifactId>gt-geojsondatastore</artifactId> <
2021-01-19 14:28:13
550
1
原创 GeoMesa 3.2.0 st_transform 报错问题处理
在GeoMesa 3.2.0 中st_transform 函数无法执行，包括3.1.0 需要统一jtl的包版本重新编译因为gt里面依赖的是1.17.0 两个包对面要素外环的获取返回类型不统一，导致坐标转化会出错
2020-12-15 15:18:46
563
原创 Spring Data操作ES 支持空间查询
配置yml文件spring: data: elasticsearch: cluster-name: docker-swarm-cluster cluster-nodes: 192.168.0.21:9300,192.168.0.22:9300,192.168.0.23:9300 repositories: enabled: true elasticsearch: rest: uris: ["http://192.168
2020-10-13 12:04:44
451
1
原创 Mybatis动态SQL
MyBatis目前动态SQL支持一下几种标签if 判断语句choose(when otherwise) 相当于JAVA中的if elsetrim(where , set ) 辅助元素 用来处理sql拼接问题foreach 循环语句 批量操作bind 创建一个变量 并绑定到上下中 用于兼容不用的数据库,防止SQL注入等choose 举例and 1=2where 标签 使用trim 替换trim 标签介绍prefix:当trim元素包含有内容时，增加prefix所指定的前缀
2020-07-30 00:16:08
98
原创 spring boot中使用minio自建对象存储
最近打算将原始的公共账号重构成小程序，就打算用现成的框架去做，原生的样式太少，用现成的UI框架，更方便点
2020-07-08 10:13:46
336
原创 GIS 通过osm2po离线最短路径和路径规划后台计算
最近做了一个离线的最短计算和代码,原来打算拿PG通过数据库计算,但是数据不好构造，也达不到商用价值，最后终于参考别人的，用OSM2PO来计算最短路径，买了一份POI数据，做了下兴趣点查询，一下是代码public static double getDistanceByMap(List<String> wkts) throws Exception { ClassPathResource resource = new ClassPathResource("data/shanxi-la
2020-07-08 09:56:56
794
原创 g6+vue+iview 实现将iview控件编排到g6中
最近通过G6画图，需要将iview里面的控件编排到g6的图标中第一步:注册dom节点组件通过v-show 将 控件隐藏到界面内,通过document.getElementById(“btn”)获取控件innerHTML将html变量赋值给组件的html属性,第二步:设置graph的renderer属性为"svg"第三步:节点绑定shape 类型为自己注册的节点 console.log(document.getElementById("btn")); G6.registerN
2020-06-29 10:53:30
340
原创 spring boot 中动态增加数据源并根据接口切换数据源(支持shareding-jdbc,mybatis,Aspect)
最近项目需要动态增加数据源,同时数据库跨年跨专题存储,需要支持动态查询和动态增加数据源，前一篇博客没有引入MyBatis，需要手动去拼接SQL,最近将MyBatis引入进来，不用手动拼接SQL一下是整个代码逻辑，代码还没有重构整理，先放出来第一步:屏蔽Spring boot启动时自动加载数据源 ...
2020-06-01 12:06:25
1175
原创 spring boot中动态增加数据源并且通过sharding-jdbc做分库分表查询
最近项目中需要通过数仓对接数据出去，需要手动写一些查询，需要支持分库分表的场景，所以就选择了google guava 做内存缓存，通过redis做持久化缓存,通过sharding-jdbc实现跨表查询一下贴的是几个主要的类:1.数据库信息缓存package com.tudou.potato.datagaea.apps.cache;import com.alibaba.fastjson.JSONObject;import com.tudou.potato.datagaea.core.wh.htt
2020-05-22 13:29:38
2544
2
原创 spring boot 项目中配置logback同步ELK(通过kafka同步到logstack再同步到ES)
最近项目中配置了logback每次日志都必须登录到服务端去看，就想着吧logback的日志同步到ES中，通过kibana去查询日志进行分析，一下是logback同步日志到ELK中的具体配置,logstach配置input { kafka { topics => "xxxx-datagaea-dbengine-log-topic" bootstrap_servers => "192.168.0.117:29092" group_id => "datagaea
2020-05-11 10:07:52
833
原创 CAD转化成SHP,并将平坐标做转化成地理坐标(通过控制点)
最近施工上需要将平面坐标转化到地理坐标，叠加到OSGearth看施工情况，就简单写了一个CAD转化成SHP并切换施工坐标为WGS84坐标的代码#pragma once#include <QtCore/qstring.h>#include "gdal/gdal.h"#include "gdal/ogr_api.h"#include "gdal/ogrsf_frmts.h"#i...
2020-04-10 16:40:14
2853
原创 通过控制点信息计算4参和7参
最近通过OSGearth加载3维模型信息，由于施工方是平面坐标，无法正常加载到WGS84的球上，就需要将通过控制点，将施工坐标系转化到84地理坐标系上，一下是核心代码#pragma once#include <vector>class Matrix{ public: //矩阵乘法 bool MatrixMultiply(std::vector<std::vecto...
2020-04-10 16:33:43
699
spring boot + scala + spark http驱动spark计算
2019-04-03
springboot + dockerclient +redis +esclient
2019-01-10
gmock怎样mock重载函数
2015-11-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人