分享技术干货和灵感、推荐新书和好玩的项目、分享Java面试题

在这里分享技术干货和灵感、推荐新书和好玩的项目、分享Java面试题，好书分享

原创书生·浦语2.0体系&技术报告

本文是书生·浦语二期实战营课程视频笔记，如果需要详细视频教程可自行搜索。

2024-03-31 16:51:07 642

本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。

2024-03-04 18:15:30 771

原创【第一小时】Python注释和输出和变量

72小时学Python

2024-03-01 00:22:56 891

原创基于LMDeploy部署大模型和量化

LMDeploy 是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。核心功能-量化核心功能-推理引擎TurboMind核心功能-推理服务。

2024-02-29 15:33:49 629

原创基于XTuner微调书生·浦语大模型

XTuner 是一个傻瓜式、轻量级的大语言模型微调工具箱，由MMRazor和MMDeploy联合开发。其以配置文件的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调；对于 7B 参数量的LLM，微调所需的最小显存仅为 8GB。XTuner 支持的开源大模型：InternLM、Llama/Llama2、ChatGLM2/ChatGLM3、Qwen、Baichuan/Baichuan2、Zephyr微调有全参、LoRA、QLoRA三种方式，QLoRA是LoRA微调的改进。以数据集为例场景需求。

2024-02-29 11:16:03 757

原创基于InternLM和LangChain搭建自己的知识库

为了开发RAG应用，我们使用LangChain。LangChain是一个开源工具框架，通过为各种LLM提供通用接口来简化应用程序的开发流程，帮助开发者自由构建LLM应用。链（Chains）：将组件组合实现端到端应用，通过一个对象封装实现一系列LLM操作Eg：检索问答链，覆盖实现RAG的全部流程下图是基于LangChain搭建RAG应用的流程图：后面我们将根据该流程来搭建自己的RAG应用。llm.predict("你是谁")

2024-02-28 22:04:39 655

原创书生·浦语大模型图文对话Demo搭建

本节我们先来搭建几个Demo来感受一下书生浦语大模型。

2024-02-27 23:00:23 1908

原创书生·浦语大模型全链路开源体系介绍

书生·浦语大模型开源历程：书生·浦语大模型系列：以20B开源大模型为例，其性能全面领先相近量级的开源模型（包括Llama-33B、Llama2-13B以及国内主流的7B、13B开源模型），以不足三分之一的参数量，达到Llama2-70B水平。总之书生浦语是一个大模型全链路开源体系，为开发者提供了从数据集准备到模型训练、部署和应用的全套解决方案。通过该体系，开发者可以自由定制和扩展模型，满足不同场景下的需求。Prometheus+Grafana 实践派。

2024-02-27 22:08:52 1001

原创一个Spring Boot Admin 监控多个Nacos集群

最终你能发现admin监控会同时注册到多个集群中，admin服务列表能看到多个集群的服务。另外要注意的是，要适当调整admin监控服务的内存，毕竟监控的服务变多了。通过一个月的运行，目前admin监控运行稳定，相关功能一切正常。其他企业级监控：Prometheus 系列文章Prometheus 的介绍和安装直观感受PromQL及其数据类型PromQL之选择器和运算符PromQL之函数Prometheus 告警机制介绍及命令解读Prometheus 告警模块配置深度解析。

2024-02-12 13:48:49 1897 12

原创云端录制直播流视频，上传云盘

熬夜看直播？云端录制直播视频流，上传云盘，慢慢欣赏

2024-02-03 16:26:45 1408 4

原创我用selenium开发了一个自动创建任务，解放重复性工作

先来看看Selenium的介绍，没错它其实是一个自动化测试工具。Selenium是一个用于Web应用程序测试的工具，它直接运行在浏览器中，可以模拟真正的用户操作。这个工具的主要功能包括测试与浏览器的兼容性（即测试应用程序是否能够很好地工作在不同浏览器和操作系统之上）和测试系统功能（即创建回归测试检验软件功能和用户需求）。Selenium支持自动录制动作和自动生成.Net、Java、Perl等不同语言的测试脚本。

2024-01-31 22:32:04 1821

原创认识Spring 中的日志

这篇文章你将了解到Spring生态中日志框架是如何演化集成的。

2024-01-31 19:20:26 1388 1

原创搭建一个简单的Spring Demo

要学习Spring 源码，一个是从Spring GitHub 上去down源码，然后倒入IDEA编译，但这种方法费时费力，如果你不需要对Spring 源码进行修改后，再编译的话，直接搭建一个Spring Demo 的Maven项目，引入Spring 对应依赖，下载源码包，通过Demo来学习。本专栏就通过该Demo来学习Spring 源码，并将相关内容记录到该专栏中。

2024-01-22 21:37:11 1098

原创 Skywalking 的Docker部署测试-Tempo替代方案

如果监控系统用的是Prometheus+Grafana，那么链路监控可以使用Grafana家族产品Grafana Tempo，但部署比较麻烦，涉及组件较多，文章可以参考《》，如果只需要简单的监控+链路跟踪，我觉得使用Skywalking是一个好选择。

2024-01-12 10:57:46 1214

原创 Grafana Promtail 配置解析

由于目前项目一般都是部署在k8s上，因此这篇文章中的配置只摘录k8s相关的配置，仅供参考，其他的配置建议上官网查询。

2024-01-10 16:16:54 1636 3

原创 Grafana Loki 日志传输工具

Promtail也是裸机上的首选客户端，它可以配置为跟踪给定主机路径的所有文件中的日志。Promtail 和 Prometheus一起运行在K8s中，可以实现强大的调试功能：如果Promtail 和 Prometheus使用相同的标签，用户可以使用Grafana等工具根据标签集在度量和日志之间切换。Grafna 技术栈推荐客户端，支持收集度量、日志、跟踪和持续性能分析的遥测数据，跟Prometheus、OpenTelemetry、Grafana开源生态系统完全兼容。Prometheus 系列文章。

2024-01-10 09:44:30 1162

原创 Grafana Loki 组件介绍

当使用Consul作为哈希环的实现时，所有Ingester通过一组token注册到环中，每个token是一个随机的32-bit无符号整数，同时Ingester会上报其状态到哈希环中。查询时，Querier先访问所有Ingester用于获取其内存数据，只有当内存中没有符合条件的数据时，才会向存储后端发起同样的查询请求。此外，由于副本因子的存在，Querier可能会接收到重复的数据，所以其内置了去重的功能，对拥有同样时间戳、标签组和消息内容的日志进行去重处理。当前 chunk 达到配置的最大容量。

2023-12-28 15:03:32 1363

原创 Grafana Loki 配置解析

Grafana Loki 配置文件是一个YML文件，在的示例中是loki-config.yaml，该文件包含关于Loki 服务和各个组件的配置信息。由于配置数量实在太多，没法全部翻译，只能后期有需要了再补充。如下是配置文件占位符说明

2023-12-28 14:55:18 1934

原创 Grafana Loki 快速尝鲜

Grafana Loki 是一个支持水平扩展、高可用的聚合日志系统，跟其他的聚合日志系统不同，Loki只对日志的元数据-标签进行索引，日志数据会被压缩并存储在对象存储中，甚至可以存储在本地文件系统中，能够有效降低成本；多租户，Loki允许多个租户共享一个Loki实例，租户数据完全隔离；通过插件支持第三方agent；通过LogQL查询日志，类似与PromQL；告警，能跟Prometheus、Grafana的告警系统无缝集成；可以与Mimir、Tempo无缝集成，实现日志长期存储和链路跟踪。

2023-12-16 21:58:36 1170

原创 Spring Cloud Gateway中对admin端点进行认证

我们被扫了一个漏洞，`SpringBoot Actuator 未授权访问`，漏洞描述是这样的：`Actuator 是 springboot 提供的用来对应用系统进行自省和监控的功能模块，借助于 Actuator 开发者可以很方便地对应用系统某些监控指标进行查看、统计等。在 Actuator 启用的情况下，如果没有做好相关权限控制，非法用户可通过访问默认的执行器端点（endpoints）来获取应用系统中的监控信息，从而导致信息泄露甚至服务器被接管的事件发生`

2023-12-08 09:51:22 880

原创 SpringCloud 微服务集群升级记录（1.5.x-2.7.18）

前段时间，因项目被扫出大量漏洞，全是因为依赖版本过低，存在高中危漏洞需要升级。正好本来也有规划集群升级，因为工作量大迟迟落实不了，正好有这次修漏洞的机会，升级微服务集群。这篇文章主要记录了本人的升级记录，遇到的问题解决方法，仅供参考。

2023-12-01 19:19:31 1644

原创【新版系统架构补充】-信息化战略体系

是一种集成的管理思想和方法，是在满足服务水平要求的同时，为了使系统成本达到最低而采用的将供应商、制造商、仓库和商店有效地结合成一体来生成商品，有效地控制和管理各种信息流、资金流和物流，并把正确数量的商品在正确的时间配送到正确的地点的一套管理方法。企业战略规划利用机会和威胁评价现在和未来的环境，用优势和劣势评价企业现状，进而选择和确定企业的总体和长远目标，制定和抉择实现目标的行动方案。供应链节点：供应商、制造商、分销商、零售商、仓库、配送中心、客户等。参与电子商务的实体有：顾客、商户、银行、认证中心。

2023-08-09 17:36:18 667

原创【新版系统架构补充】-信息系统基础知识

信息系统的分类（低级到高级）：业务（数据）处理系统（TPS/DPS）、管理信息系统（MIS）、决策支持系统（DSS）、专家系统（ES）、办公自动化系统（OAS）信息系统建设的原则：高层管理人员介入原则、用户参与开发原则、自顶向下规划原则、工程化原则、其他原则（创新性、整体性、发展性、经济性等）软考-系统架构设计师知识点提炼-系统架构设计师教程（第2版）信息系统的5个基本功能：输入、存储、处理、输出和控制。结构化方法一般利用图形表达用户需求，常用工具有。信息系统的生命周期：产生、开发、运行、消亡。

2023-08-08 11:14:52 668

原创【新版系统架构补充】-传输介质、子网划分

半双工：设备A和设备B可以互相通信，但同一时刻数据流只能单向流动。软考-系统架构设计师知识点提炼-系统架构设计师教程（第2版）光纤：由纤芯和包层组成，分多模光纤MMF、单模光纤SMF。单工：只能由设备A发送给设备B，即数据流只能单向流动。全双工：设备A和设备B在任意时刻都能相互通信。无线信道：分为无线电波和红外光波。

2023-08-03 16:17:26 883

原创【新版系统架构补充】-七层模型

网络非性能指标：费用、质量、标准化、可靠性、可扩展性、、可升级性、易管理性和可维护性。网络性能指标：速率、带宽（频带宽度或传送线路速率）、吞吐量、时延、往返时间、利用率。计算网络的功能：数据通信、资源共享、管理集中化、实现分布式处理、负载均衡。发信机进行的信号处理包括信源编码、信道编码、交织、脉冲成形和调制。路由协议分为：内部网关协议（IGP）、外部网关协议（EGP）网络建设工程分为：网络规划、网络设计、网络实施。星型（交换机形成的局域网、中央单元负荷大）总线型（利用率低、干扰大、价格低）

2023-08-03 12:03:03 655

原创【新版系统架构补充】-嵌入式软件

根据不同用途可将嵌入式系统划分为：嵌入式实时系统和嵌入式非实时系统，实时系统又可分为强实时系统和弱实时系统。如果从安全性要求看，嵌入式系统还可以分为：安全悠关系统和非安全悠关系统。一般嵌入式系统由：嵌入式处理器、相关支撑硬件、嵌入式操作系统、支撑软件以及应用软件组成。嵌入式操作系统（EOS）主要特点：微型化、代码质量高、专业化、实时性强、可裁减和可配置。实时操作系统的特征：高精度计时系统、多级中断机制、实时调度机制。嵌入式系统分为：硬件层、抽象层、操作系统层、中间件层和应用层。

2023-08-01 22:43:07 806

原创【新版系统架构补充】-嵌入式技术

传统计算机采用冯诺依曼结构，也称普林斯顿结构，是一种将程序指令存储器和数据存储器合并在一起的存储器结构。

2023-08-01 12:57:56 727

原创 Spring Boot 3.x 自动配置详解

Spring Boot 3.x 中的自动配置使用,而不是,这个变动其实在2.7的时候已经改变2.6.9版本文档介绍2.7.0版本介绍文档中有创建自己的Starter的详细介绍，《Spring Boot 中文参考指南-创建自己的自动配置》一张图说明整个自动配置加载解析流程。

2023-07-18 11:06:26 1402 15

原创【新版系统架构】系统架构设计师教程全篇知识点提炼

信息系统的5个基本功能：输入、存储、处理、输出和控制信息系统的发展：诺兰模型：初始阶段、传播阶段、控制阶段、集成阶段、数据管理阶段、成熟阶段信息系统的分类：传统的信息系统分为：业务（数据）处理系统、管理信息系统（MIS）、决策支持系统(DSS)、专家系统(ES)、办公自动化系统(OAS)等5类信息系统的生命周期：1、产生阶段2、开发阶段（总体规划、系统分析、系统设计、系统实施、系统验收阶段）3、运行阶段4、消亡阶段信息系统建设原则：1、高层管理人员介入原则。

2023-07-13 12:57:22 7202 3

原创【新版系统架构】第十九章-大数据架构设计理论与实践

Kappa架构原理：在Lambda上进行优化，删除Batch Layer架构，将数据通道以消息队列进行替代，依旧以流处理为主，数据在数据湖层面进行了存储，当需要进行离线分析或者再次计算时，将数据湖的数据再次经过消息队列重播一次即可。Lambda架构用于同时处理离线和实时数据，可容错，可扩展的分布式系统，具备强鲁棒性和低延迟和持续更新。主数据集中数据必须具备以下三个属性：数据是原始的、数据是不可变的、数据永远是真实的。Lambda架构分为三层：批处理层、加速层、服务层。

2023-07-12 15:07:11 1350