- 博客(68)
- 收藏
- 关注
RSS订阅
原创 Prometheus核心概念：一图了解瞬时向量Instant vector和区间向量Range vector的区别
1 背景我们在查询Prometheus的时候，通常有两种方式，一种是查瞬时的Metric采样数据，一种是查一段时间范围内的Metric采样数据。如果对这两种查询方式理解不到位，结果往往是对PromQL的一些内置函数的使用是错误的，或者查询的结果并不是自己预期的那样。那都是查Metric采样数据，查询瞬时和查询一段时间范围内这两种方式有什么区别呢？2 图解Metric和采样Prometheus和Exporter的关系在上一篇文章Prometheus源码分析：基于Go Client自定义的E
2021-01-30 11:07:15
7007
3
原创 Prometheus源码分析：基于Go Client自定义的Exporter，是如何在Local存储Metrics的？
目录背景什么是Exporter？Prometheus以轮询的方式Pull拉取MetricsTarget是如何在本地存储Metrics的？基于Go Client开发的ExporterCounter类型Metric源码分析声明Counter类型变量Counter类型定义counter.go WithLabelValues方法counter.goGetMetricWithLabelValues方法vec.goGetMetricWithLabelValues...
2021-01-22 16:03:29
3869
8
原创 kafka 异常：org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host
org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition。producer 向一个之前不存在的 topic 写数据，因此时 topic 正在创建中 producer 就发送了数据，因此 topic 不存在。这是一个可重试异常，也既等一会再发送数据就可以了，因此 producer 需要加入重试 retry 逻辑。
2020-05-06 17:21:56
15904
2
原创 LLM大语言模型（十三）：ChatGLM3-6B兼容Langchain的Function Call的一步一步的详细转换过程记录
ChatGLM3-6B兼容Langchain的Function Call的一步一步的详细转换过程记录
2024-04-24 23:29:21
850
2
原创 LLM大语言模型（十二）：关于ChatGLM3-6B不兼容Langchain 的Function Call
ChatGLM3-6B适配LangChain的Function Call.
2024-04-24 23:19:24
871
原创 小说(一)：艾莉亚的复仇
在一个被战争撕裂的王国，住着一位名叫艾莉亚的年轻女子。她以其火红的头发和锐利的目光而闻名，但最为人所知的是她那不屈不挠的意志。
2024-04-11 21:20:21
287
原创 LLM大语言模型（十一）：基于自定义的ChatGLM3-6B构建LangChain的chain
Chain是静态的是提前定义好的执行流程，执行完step1然后执行step2.Agent是动态的，Agent在执行时LLM可以自行决定使用合适的step（tool）。
2024-04-08 23:46:21
1089
原创 LLM大语言模型（十）：LangChain自定义Agent使用自定义的LLM
独立部署ChatGLM3-6B并提供HTTP API能力。自定义LLM封装对ChatGLM3-6B的访问。创建一个简单的Agent来使用自定义的LLM。
2024-04-07 00:09:37
868
原创 LLM大语言模型（九）：LangChain封装自定义的LLM
想基于ChatGLM3-6B用LangChain做LLM应用，需要先了解下LangChain中对LLM的封装。本文以一个hello world的封装来示例。
2024-04-06 09:00:00
550
原创 LLM大语言模型（八）：ChatGLM3-6B使用的tokenizer模型BAAI/bge-large-zh-v1.5
BGE embedding系列模型是由智源研究院研发的中文版文本表示模型。可将任意文本映射为低维稠密向量，以用于检索、分类、聚类或语义匹配等任务，并可支持为大模型调用外部知识。
2024-03-31 22:45:08
1354
原创 LLM资料：中文embedding库
理解LLM，就要理解Transformer，但其实最基础的还是要从词的embedding讲起。毕竟计算机能处理的只有数字，所以万事开头的第一步就是将要处理的任务转换为数字。
2024-03-28 20:00:52
845
原创 LLM应用：Prompt flow vs LangChain
Prompt flow提供了一套开发工具，并通过实验来构建高质量的LLM应用程序，而不是一套框架（LangChain）
2024-03-27 22:00:59
683
原创 LLM大语言模型（七）：部署ChatGLM3-6B并提供HTTP server能力
部署ChatGLM3-6B并对外提供HTTP server能力
2024-03-16 21:23:39
898
原创 ChatGLM3-6B独立部署提供HTTP服务failed to open nvrtc-builtins64_121.dll
RuntimeError: nvrtc: error: failed to open nvrtc-builtins64_121.dll. Make sure that nvrtc-builtins64_121.dll is installed correctly.
2024-03-16 18:09:01
689
原创 Ray：Object creation will fail if spilling is required
在本地搭建了Ray的单节点服务，提交任务后，Ray报错提示空间不够报错信息如下：(raylet) [2023-03-24 11:06:38,311 E 821713 821740] (raylet) file_system_monitor.cc:105:/tmp/ray/session_2023-03-24_11-03-06_248168_820779 is over 95% full,available space: 5726846976; capacity: 1006449913856.Object c
2024-03-05 10:47:54
466
原创 LLM大语言模型（六）：RAG模式下基于PostgreSQL pgvector插件实现vector向量相似性检索
在LLM的RAG场景下，使用PostgreSQL+pgvector插件，作为向量数据的管理后端，简单高效。
2024-02-07 16:19:46
846
原创 LLM大语言模型（四）：在ChatGLM3-6B中使用langchain
本文介绍了在ChatGLM3-6B中使用LangChain的案例。
2024-01-01 18:36:29
3754
3
原创 LLM大语言模型（三）：使用ChatGLM3-6B的函数调用功能前先学会Python的装饰器
本文介绍了如何在ChatGLM3-6B中使用自定义函数，来扩展大模型的能力。
2023-12-24 20:20:40
2115
6
原创 LLM大语言模型（二）：Streamlit 无需前端经验也能画web页面
Streamlit提供了一种非常便捷且高效的方式，让后端开发也能轻松的画出来简单的web页面。特别适合LLM这种页面比较简单的场景。
2023-12-17 11:27:15
2170
原创 LLM大语言模型（一）：ChatGLM3-6B本地部署
LLM大语言模型工程化，在本地搭建一套开源的LLM，方便后续的Agent等特性的研究。
2023-12-03 17:25:03
3373
6
原创 文档向量化工具（二）：text2vec介绍
在上一篇文章中介绍了，使用Apache Tika从不同格式的文件里提取文本信息。本篇文章将介绍，如何将提取出的文本信息转换为vector，以便后续基于vector做相似性检索。
2023-11-26 20:51:32
2900
原创 文档向量化工具（一）：Apache Tika介绍
Apache Tika是一个内容分析工具包。该工具包可以从一千多种不同的文件类型（如PPT、XLS和PDF）中检测并提取元数据和文本。所有这些文件类型都可以通过同一个接口进行解析，这使得Tika在搜索引擎索引、内容分析、翻译等方面非常有用。
2023-11-19 11:27:18
1658
原创 k8s异常Too many requests: Too many requests, please try again later.
k8s异常Too many requests: Too many requests, please try again later. 梳理了k8s常见的限流措施。
2023-10-26 11:18:41
683
原创 ffmpeg-go库的介绍
本质上ffmpeg-go是对命令行ffmpeg工具的封装，最终功能的实现都是通过在go里执行命令行工具来实现。在go代码中调用ffprobe命令行工具。
2023-10-15 23:09:49
1215
原创 开源的跨平台的音视频处理工具FFmpeg
FFmpeg是一个开源的跨平台的音视频处理工具，可以对音频、视频进行转码、裁剪、调节音量、添加水印等操作。广泛的格式支持。FFmpeg能够解码、编码、转码、复用、分离、流式传输、过滤和播放几乎人类和机器所创造的任何内容。它支持最古老且晦涩难懂的格式，也支持最前沿的技术。无论这些格式是由标准委员会、社区还是公司设计，都可以得到支持。高度可移植性。FFmpeg在各种构建环境、机器架构和配置下，在Linux、Mac OS X、Microsoft Windows以及BSDs和Solaris等操作系统上进行编译运行。
2023-07-29 23:36:44
1099
原创 基于windows WSL安装Docker Desktop，修改默认安装到C盘及默认下载镜像到C盘
基于windows WSL安装Docker Desktop，修改默认安装到C盘及默认下载镜像到C盘。
2022-09-03 13:31:00
922
1
原创 k8s使用的iptables，具体原理是什么？一学就会
不是我吹牛，真的一学就会。针对kube-proxy使用的iptables技术，本文图文并茂、深入浅出的解释了netfilter，rule，table，chain等，看似高深的概念，你现在也能完全掌握。
2022-08-05 16:11:38
1844
转载 要面试了，你还没有掌握MySQL join的原理？
MySQL8开始新增hash join，基本原理是对于等值join条件key，将驱动表的key计算hash值后放入内存hash表内，然后遍历被驱动表，并在hash表中查找符合join的数据。下文仅介绍了3种nested loop join。1. 使用join 是 MySQL 用来进行联表操作的，用来匹配两个表的数据，筛选并合并出符合我们要求的结果集。join 操作有多种方式，取决于最终数据的合并效果。比如有：left join，保留左表所有数据，左边没有数据设置为 n.
2021-08-04 11:59:23
288
原创 什么是伟大的企业？
巴菲特语录伟大企业的定义如下：在25年或30年仍然能够保持其伟大企业地位的企业。以有限的语文知识来直观的理解伟大企业的定义：首先是伟大的企业然后在25年或30年仍然能够保持其伟大企业地位的企业。那到底什么就是伟大的企业呢？...
2021-07-27 10:35:05
444
原创 go最佳实践：go模拟spring的依赖注入
背景使用过java的spring的依赖注入的朋友，一定会觉得由系统来实现单例并注入到要使用的地方，这个过程是极度舒适的。博主从java转go后，在某些场景的项目里，依然想使用类似spring的依赖注入的功能，但是go并没有这方面的框架支持。从博主使用go的体验来看，go是一门简洁且非常注重实用的语言。由于工作原因，博主看到一些老项目的代码里，对go的使用基本就是面向过程编程，连面向接口编程的思想都没有体现。在go中使用单例的两种常见方式全局变量例如包级别的全局变量，声明时直接初始化var
2021-07-26 17:48:28
896
原创 企鹅寨 is what？
企鹅寨未来有一个寨子，会叫企鹅寨。企鹅寨里住着一群企鹅。他们一起捕食，一起烤鱼，一起打雪仗。在他们之间还发生了一些其他的，或有趣，或二B，或严肃，或令人愤怒的事情。企鹅寨故事会接下来，你将会看到一系列关于企鹅寨的故事。来吧，朋友们。...
2021-07-20 11:03:23
118
原创 Mac docker x509: certificate signed by unknown authority
原因：https证书拉取私有镜像仓库的证书echo -n | openssl s_client -showcerts -connect xxxxxx:8080 2>/dev/null | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > /Users/xxxx/xx.crt证书放在/Users/xxxx/xx.crt里加载证书sudo security add-trusted-cert -d -r trustRoot -k
2021-07-08 20:56:08
1486
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人