- 博客(130)
- 资源 (2)
- 收藏
- 关注
原创 Jetpack Compose开发一个Android WiFi信号测量应用
介绍了如何基于Jetpack compose开发一个Android WiFi信号测量的应用,以实现WIFI室内导航的功能。
2023-12-17 13:00:36 1089 2
原创 在Google Kubernetes集群创建分布式Jenkins(一)
介绍如何在Google云平台的Kubernetes集群上部署一个分布式的Jenkins cluster
2023-11-02 21:29:15 1029
原创 Google云平台构建数据ETL任务的最佳实践
介绍了Google云平台开发数据ETL任务的最佳实践,通过Dataflow来实现Kafka数据的定期批处理并写入到Bigquery
2023-10-14 22:00:43 685
原创 Google Data Fusion构建数据ETL任务
介绍了如何用Google的Data fusion云服务来创建一个数据的ETL Pipeline
2023-09-13 17:42:38 323
原创 用Google CDC来同步Cloud SQL的数据到Bigquery
介绍如何利用Google的Datastream来同步cloudsql的数据到bigquery
2023-09-05 17:26:34 776
原创 Apache Beam构建批处理任务
平台需要定期生成车辆上报的里程信息,并汇总为小时、天、月等不同时间粒度的里程数据。车辆上报的里程消息将通过Kafka平台传递。平台收到里程消息之后,需要每个小时进行一次处理,剔除异常的里程数据,计算每小时车辆的行驶里程。车辆的ETL消息和每小时的里程数据将保存为Parquet文件,以节省费用。},
2023-05-28 10:53:06 1040
原创 用Pagerank算法来解决用户分类问题
基于Spark和Hadoop,介绍如何应用Pagerank算法来解决二分图类型的问题,详细讲述了对一个用户日志数据进行用户分类的实际问题的解决方案
2023-05-15 07:17:59 349
原创 用Javascript来实现MQTT客户端
之前一直用的PythonPaho-mqtt库来实现MQTT客户端,但是最近碰到一个奇怪的问题,就是在给客户端签发新的证书之后,客户端一直都连不上服务器,报的错误是nestedASN1error,网上的说法是证书有问题,但是用MQTTX客户端是能正常连上的,证书也是和以前一样用同样的方式签发,一直都找不到是什么问题。
2023-01-04 17:25:47 1141
原创 解读YOLO v7的代码(二)训练数据的准备
在上一篇文章解读YOLO v7的代码(一)模型结构研究_gzroy的博客-CSDN博客,我对Yolo v7的模型结构进行了分析,那么这次我们将进一步研读代码的关键部分,学习是如何对模型进行训练的。训练数据的准备是模型训练的关键,通常我们需要对图像数据做很多图像增广的处理,例如色彩的变换,形变,mixup, mosaic等等,通过对代码的训练数据处理部分的解读,可以更好的帮助我们理解当前主流的图像增广技术。
2022-12-30 22:45:01 2609 4
原创 Camunda并行任务的处理
在工作流的编排中,有些时候会同时运行多个任务或子进程,默认的方式是串行运行,但是为了提高性能,我们会希望能并行运行。我也进行了一些测试,发现这个并行运行还不是这么简单的。举个例子,我们现在定义一个流程,这个流程很简单,就是调用一个Http接口。然后再定义另外一个流程,在这个流程里面引用刚才定义的子流程,然后运行这个子流程多次。我们希望实现的效果是这个子流程的运行能够并行。
2022-12-13 19:42:39 1158
原创 解读YOLO v7的代码(一)模型结构研究
YOLO v7在今年7月份推出,模型的性能和速度相比以往版本有了很大的提升。我也想好好研究一下YOLO v7模型,因此把官方的代码库下载下来进行研究,尝试更好的理解这个模型。
2022-12-11 10:06:21 2507
原创 配置Camunda工作流引擎集群
在生产环境中应用Camunda工作流,通常都需要配置多个工作流引擎实例,以满足负载分担,容灾备份等需求。这里我将用nacos+nginx,来实现多个工作流引擎的服务注册和负载分担。
2022-12-08 22:33:46 1609 3
原创 Python构建Web爬虫
最近想建设一个自己的个人网站,把现在CSDN上面的我的博客内容搬运过去,因此想用Python来做一个web爬虫,自动把我在CSDN上的博客文章下载下来并做一些格式转换,发布到我的个人网站上。这个web爬虫需要用到python的requests, beautifulsoup, selenium这几个库。
2022-12-02 07:56:47 607
原创 Camunda的数据库无法连接问题的解决
最近做的一个运营商的项目,用了Camunda的工作流引擎来进行任务的编排与执行,每隔15分钟会运行一个任务,获取大约800多个网元的过去一段时间的性能指标,并根据预先定义的规则表的指标判断规则,来识别网元是否有告警,每次任务运行时间都比较长,大概需要6到7分钟完成。除此之外,这个工作流引擎还有很多其他的任务会不定时的运行,整个引擎的负荷比较高。然后在最近一段时间内,频繁出现无法访问Camunda API的问题,报错信息是HTTP 500 Error,报错信息是message: "Could not open
2022-12-01 15:56:11 907
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人