- 博客(347)
- 资源 (38)
- 收藏
- 关注
原创 Milvus 向量数据库介绍及使用
Milvus 于 2019 年创建,其目标只有一个:存储、索引和管理由深度神经网络和其他机器学习 (ML) 模型生成的大量嵌入向量。它具备高可用、高性能、易拓展的特点,用于海量向量数据的实时召回。
2024-03-21 16:21:34 1201
原创 MySQL B+树索引 和 Redis 中跳表索引的区别
在 MySQL 中常用的索引是 B+树索引,而 Redis 中,例如 zset 使用的的是跳表索引,两者有什么区别呢,MySQL 为什么不使用 跳表 呢?或者说 Redis 中为什么不使用 B+树 呢?
2024-03-20 19:20:59 747
原创 MySQL 搭建双主复制服务 并 通过 HAProxy 负载均衡
在数据库管理中,数据的备份和同步是至关重要的环节,而双主复制作为一种高可用性和数据同步的解决方案,通过让两个数据库实例同时充当主服务器和从服务器,`MySQL`双主复制可以实现数据的双向同步,为数据库系统提供了更灵活和可靠的解决方案。即使其中一个主服务器发生故障,另一个主服务器仍然可以继续提供服务,确保系统的稳定性和可用性。这种数据同步方式不仅可以加强数据的备份与恢复能力,还可以提高系统的扩展性,适用于需要高度数据一致性和容错性的场景。
2024-03-19 14:48:37 1242
原创 Nebula Graph - 使用 BR 进行全量图谱数据备份和恢复
BR(Backup&Restore)是 NebulaGraph 中一款命令行界面(CLI)工具,可以帮助备份图空间中的数据和恢复数据。使用 BR 工具备份和恢复 NebulaGraph 时,还需要安装 NebulaGraph Agent 服务。Agent 是集群中每台机器的一个守护进程,用于启停 NebulaGraph 服务和上传、下载备份文件。
2024-03-15 17:22:46 772
原创 基于 mydumper 实现 MySQL 定期全量备份、恢复方案
mydumper 是一款社区开源的逻辑备份工具,由 C 语言编写,与 MySQL 官方提供的 mysqldump 相比,它具有更高的性能和更多的功能,例如:支持多线程导出数据,速度更快;支持一致性备份;支持将导出文件压缩,节约空间;支持多线程恢复;支持以守护进程模式工作,定时快照和连续二进制日志;支持按照指定大小将备份文件切割;
2024-03-14 17:39:44 848
原创 无需 GPU 服务器,借助 OpenRouter 零成本搭建自己的大模型助手
大型模型的出现为许多领域带来了革命性的变化,从自然语言处理到计算机视觉,甚至是医学和金融领域。然而,对于许多开发者来说,大多数情况下,使用这些模型需要拥有一台配备高性能GPU的服务器,而这往往是一项昂贵的投资。而 OpenRouter 为使用者提供了部分开源模型的实现,可以通过API免费使用,主要聚焦在7B规模大小的模型,比如谷歌的 gemma-7b ,Mistral AI 的 mistral-7b-instruct,一定程度避免了自己去部署大模型的成本。
2024-03-08 16:57:37 3910
原创 美团分布式 ID 框架 Leaf 介绍和使用
然而,随着应用程序的规模不断扩大,以及对性能和可扩展性的需求不断增加,传统的软件架构和设计模式也在不断地面临挑战。算法的方式,可以解决上述提到的问题,并且稳定性和灵活性都非常高,但强依赖于机器时钟,如果机器上时钟回拨,会导致发号重复或者服务会处于不可用状态。的方式,实现起来非常简单,并且ID是单向自增顺序的,但缺点也很明显,过度依赖于 DB 数据库,在并发量高的情况下数据库成为了性能瓶颈。个字符,优点是性能非常高,本地生成,没有网络消耗,但缺点也显而易见,首先不易于存储,的实现方式有多种多样,常见的包括。
2024-03-02 21:01:03 1154
原创 MySQL 中 int(1) 和 int(10) 会影响存储的长度吗
在`MySQL`数据库设计中,经常会遇到 `int` 类型的字段,并会习惯性的指定长度,比如: `int(1)` 和`int(10)`,而一些新手可能会误解它们之间的关系,认为 `int(10)` 能够存储更多的数据。然而,实际上这两者之间的区别并非是存储容量上的不同,而是涉及到显示的问题。
2024-02-02 14:31:49 549
原创 PageHelper 分页逻辑 源码解析
`PageHelper` 是一个用于在 `MyBatis` 中进行分页查询的开源分页插件。它能够方便地帮助开发者处理分页查询的逻辑,简化代码,并提高开发效率。`PageHelper` 支持多种数据库,包括 `MySQL、Oracle、PostgreSQL` 等。
2024-01-28 15:50:29 442
原创 AOP+Redisson 延时队列,实现缓存延时双删策略
关于缓存和数据库中的数据保持一致有很多种方案,但不管是单独在修改数据库之前,还是之后去删除缓存都会有一定的风险导致数据不一致。而延迟双删是一种相对简单并且收益比较高的实现最终一致性的方式,即在删除缓存之后,间隔一个短暂的时间后再删除缓存一次。这样可以避免并发更新时,假如缓存在第一次被删除后,被其他线程读到旧的数据更新到了缓存,第二次删除还可以补救,从而时间最终一致性。
2024-01-28 12:18:26 811
原创 Python Tornado 实现SSE服务端主动推送方案
SSE是Server-Sent Events的简称,是一种服务器端到客户端(浏览器)的单项消息推送。对应的浏览器端实现Event Source接口被制定为HTML5的一部分。相比于WebSocket,SSE 简单很多,服务器端和客户端工作量都要小很多、简单很多,同时实现的功能也要有局限,而Tornado又是Python中的一款优秀的高性能web框架,本文带领大家一起实践下Tornado SSE的实现。
2024-01-21 14:40:45 1116 1
原创 Redisson 源码解析 - 分布式锁实现过程
Redisson不仅简化了分布式锁的应用过程还支持 `Fair Lock、MultiLock、RedLock、ReadWriteLock` 等锁的实现,本文分别从 `lock`、`tryLock`、`unlock` 、三个地方进行源码的解析。
2024-01-07 17:23:13 1229
原创 Spring-Retry 重试框架使用
自带的功能,具备间隔重试、包含异常、排除异常、控制重试频率等特点,是项目开发中很实用的一种框架。支持手动调用方式和注解方式。注解实现重试的效果,通过。
2024-01-02 19:28:01 1031 1
原创 Graceful Response 构建 Spring Boot 下优雅的响应处理
当抛出异常时我们希望根据不同的异常返回不同的错误码,在中为我们提供了注解,可以快速的指定返回的错误码和提示。@ExceptionMapper(code = "1003", msg = "自定义异常", msgReplaceable = true)super();@Slf4j/*** 返回对象形式*///具体逻辑// ....// 抛出异常/*** Command 形式*///具体逻辑// ....// 抛出异常。
2024-01-02 17:07:52 1327
原创 FastSAM 分割一切 速度可以比 SAM 快 50 倍
MetaAI 提出能够分割一切的视觉基础大模型SAM可以做到很好的分割效果,并且不限于场景、不限于目标,为探索视觉大模型提供了一个新的方向,可以说是视觉领域通用大模型,而FastSAM`为该任务提供了一套实时的解决方案,进一步推动了分割一切模型的实际应用和发展。
2023-12-17 16:34:23 184
原创 盘点 Pytorch Vision 中的图像预训练模型
PyTorch Vision 库提供了许多经过预训练的视觉模型,包括图像分类、目标检测、语义分割等。
2023-12-16 15:54:50 158
原创 分布式锁实现方案 - Lock4j 使用
Lock4j 是一个分布式锁组件,其提供了多种不同的支持以满足不同性能和环境的需求,立志打造一个简单但富有内涵的分布式锁组件,并且支持redission,redisTemplate,zookeeper 可混用,支持扩展。
2023-12-11 18:03:26 318
原创 Python 调用 Halcon 模板匹配实现目标定位
Halcon 被广泛用于工业视觉和机器视觉应用中,其强大的功能和灵活性使其成为许多开发人员和研究人员的首选选择,同时支持多种编程语言,包括 C、C++、C# 和 Python 等,本文使用Python 调用 Halcon 模板匹配实现目标定位。
2023-12-10 20:12:30 199
原创 Pytorch 基于 deeplabv3_resnet50 迁移训练自己的图像语义分割模型
图像语义分割是计算机视觉领域的一项重要任务,旨在将图像中的每个像素分配到其所属的语义类别,从而实现对图像内容的细粒度理解。与目标检测不同,图像语义分割要求对图像中的每个像素进行分类,而不仅仅是确定物体的边界框。deeplabv3_resnet50 就是一个常用的语义分割模型,它巧妙地将两个强大的神经网络架构融合在一起,为像素级别的图像理解提供了强大的解决方案。
2023-11-27 17:05:03 644 3
原创 GitLab CI/CD 持续集成/部署 SpringBoot 项目
GitLab CI/CD(Continuous Integration/Continuous Deployment)是 GitLab 提供的一种持续集成和持续部署的解决方案。它可以自动化软件的构建、测试和部署过程,以便开发者更快地、更频繁地发布可靠的产品。
2023-11-04 17:25:11 1399
原创 MySQL 分组后统计 TopN 优化思路
在 `MySQL` 中我们需要分组统计基本都需要借助 `group by` 语句,但基本都是对一个组下的整体操作,比如计算最大最小值,计算总数,整体拼接等等,但如果想要对每个组下的数据排序后取出 `topN` 值便不是那么的方便了,本文就带大家探索下`MySQL` 分组后统计 `TopN` 的优化思路。
2023-11-03 17:46:39 252
原创 mybatis-plus 使用 mybatis-plus-join 增强多表关联查询能力
`mybatis-plus` 原生的能力不支持多表关联,对于这种场景只能通过写`SQL`进行实现,而`mybatis-plus-join` 则是建立在 `mybatis-plus` 基础之上的扩展框架,可以在不影响原有能力之上通过简单的`API`即可实现多表关联能力而无需编写`SQL`。
2023-10-31 19:04:28 1637
原创 基于 chinese-roberta-wwm-ext 微调训练中文命名实体识别任务
基于 chinese-roberta-wwm-ext 微调训练中文命名实体识别任务。
2023-10-11 17:48:24 2737 7
原创 基于 Kettle + StarRocks + FineReport 的大数据处理分析方案
Kettle + StarRocks + FineReport 的大数据处理分析方案,其中 `Kettle` 负责数据的`ETL`处理,`StarRocks` 负责海量数据的存储及检索,`FineReport` 负责数据的可视化展示。
2023-10-08 14:02:36 684
原创 ChatGLM2-6B Lora 微调训练医疗问答任务
LoRA 微调在原始 PLM 增加一个旁路,一般是在 transformer 层,做一个降维再升维的操作,模型的输入输出维度不变,来模拟 intrinsic rank。该方式可以大大降低训练的参数量,而性能可以优于其它参数高效微调方法,甚至和全参数微调(Fine-Tuning)持平甚至超过。
2023-09-16 21:51:57 1454 10
原创 基于第二代 ChatGLM2-6B P-Tuning v2 微调训练医疗问答任务
ChatGLM2-6B 保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,同时引入了许多新特性,如:更强大的性能、更长的上下文、更高效的推理、更开放的协议等。
2023-09-10 14:02:39 1540 2
原创 使用 ElasticSearch 作为知识库,存储向量及相似性搜索
在当今大数据时代,快速有效地搜索和分析海量数据成为了许多企业和组织的重要需求。`Elasticsearch` 作为一款功能强大的分布式搜索和分析引擎,为我们提供了一种优秀的解决方案。除了传统的文本搜索,`Elasticsearch` 还引入了向量存储的概念,以实现更精确、更高效的相似性搜索。
2023-09-03 16:03:16 3945 3
原创 基于ChatYuan-large-v2 微调训练 医疗问答 任务
上篇基于`ChatYuan-large-v2` 语言模型 `Fine-tuning` 微调训练了广告生成任务,总体生成效果还可以,但上篇文章的训练是微调的模型全部的参数,本篇文章还是以 `ChatYuan-large-v2` 作为基础模型,继续探索仅训练解码器层参数,并在医疗问答任务上的效果如何。
2023-08-20 16:35:48 435 1
原创 基于ChatYuan-large-v2 语言模型 Fine-tuning 微调训练 广告生成 任务
本文基于ChatYuan-large-v2 语言模型 Fine-tuning 微调训练 广告生成 任务
2023-08-06 18:21:43 1228 2
原创 ChatGPT结合知识图谱构建医疗问答应用 (二) - 构建问答流程
知识图谱是一种用于表示和组织结构化知识的图形化模型。它是一种利用图论和语义网络的技术,旨在捕捉信息之间的关联性和语义含义。在问答领域,知识图谱发挥着重要作用。首先,知识图谱以实体和关系的形式存储知识。实体代表现实世界中的具体事物,例如人、地点、事件等,而关系则描述这些实体之间的联系,例如居住在、发生在等。通过将实体和关系连接为节点和边,知识图谱能够形成一个复杂的网络,反映出知识之间的复杂关系。其次,知识图谱通过为每个实体和关系添加语义标签,使得计算机能够理解和推理这些知识。
2023-07-31 10:18:14 2657 7
原创 ChatGPT结合知识图谱构建医疗问答应用 (一) - 构建知识图谱
知识图谱是一种用于表示和组织结构化知识的图形化模型。它是一种利用图论和语义网络的技术,旨在捕捉信息之间的关联性和语义含义。在问答领域,知识图谱发挥着重要作用。首先,知识图谱以实体和关系的形式存储知识。实体代表现实世界中的具体事物,例如人、地点、事件等,而关系则描述这些实体之间的联系,例如居住在、发生在等。通过将实体和关系连接为节点和边,知识图谱能够形成一个复杂的网络,反映出知识之间的复杂关系。其次,知识图谱通过为每个实体和关系添加语义标签,使得计算机能够理解和推理这些知识。
2023-07-30 19:43:44 2983 2
原创 基于 chinese-roberta-wwm-ext 微调训练 6 分类情感分析模型
预训练模型采用是基于RoBERTa架构下开发,其中wwm代表,即对整个词进行掩码处理,通过这种方式,模型能够更好地理解上下文和语义关联,提高中文文本处理的准确性和效果。与原始的BERT模型相比,在训练数据规模和训练步数上做了一些调整,以进一步提升模型的性能和鲁棒性。并且在大规模无监督语料库上进行了预训练,使其具备强大的语言理解和生成能力。它能够广泛应用于各种自然语言处理任务,如文本分类、命名实体识别、情感分析等。
2023-07-19 20:21:31 3080 5
Navicat for Oracle.zip
2021-03-08
docker-19.03.8.tar.gz
2020-12-14
canal1.1.5.zip
2020-12-13
gitlib.zip
2020-12-09
RedisClient-windows.zip
2020-12-08
redisclient-win32.x86.1.0.zip--Delete
2020-12-08
阿里开发规范.zip
2020-12-08
zookeeper-3.4.10.tar.gz
2020-12-04
kafka_2.12-2.6.0.tar.gz
2020-12-04
apache-zookeeper-3.5.8.tar.gz-Delete
2020-12-04
swagger-ui-3.18.3.zip
2020-12-03
mycat.tar.gz
2020-08-03
MyCat.tar.gz-Delete
2020-08-03
logstash-6.4.3.tar.gz
2020-07-31
美国新冠疫情累计测试案例数据集
2022-10-23
hadoop-3.1.4 windows.zip
2022-10-05
hadoop 3.1.4
2022-10-03
elasticsearch7.8.0.zip
2022-01-03
data-for-1.7.5.zip
2022-01-03
elastic-job-lite-console-master.zip
2021-12-22
sentinel.zip
2021-12-22
stata1.4.2.zip
2021-12-22
harbor-offline-installer-v1.5.3.tgz
2021-08-15
dashboard-master.zip
2021-07-23
flannel-master.zip
2021-07-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人