- 博客(1794)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 Kafka为啥抛弃ZooKeeper？
点击下方“JavaEdge”，选择“设为星标”第一时间关注技术干货！免责声明~任何文章不要过度深思！万事万物都经不起审视，因为世上没有同样的成长环境，也没有同样的认知水平，更「没有适用于所有人的解决方案」；不要急着评判文章列出的观点，只需代入其中，适度审视一番自己即可，能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。怎么想、怎么做，全在乎自己「不断实践中寻找适合自己的大道」Ka...
2024-04-14 22:25:22
463
1
原创 RAG应用开发实战02-相似性检索的关键 - Embedding
目前的向量模型从单纯的基于 NLI 数据集（对称数据集）发展到基于混合数据（对称+非对称）进行训练，即可以做 QQ召回任务也能够做 QD 召回任务，通过添加 Instruction 来区分这两类任务，只有在进行 QD 召回的时候，需要对用户 query 添加上 Instruction 前缀。Embedding优点是可将离散的词语或句子转化为连续的向量，就可用数学方法来处理词语或句子，捕捉到文本的语义信息，文本和文本的关系信息。优化1：对比学习拉近同义文本的距离，推远不同文本的距离。本文由博客一文多发平台。
2024-04-14 17:31:00
702
原创 C端系统性能优化一篇就够了！
点击下方“JavaEdge”，选择“设为星标”第一时间关注技术干货！免责声明~任何文章不要过度深思！万事万物都经不起审视，因为世上没有同样的成长环境，也没有同样的认知水平，更「没有适用于所有人的解决方案」；不要急着评判文章列出的观点，只需代入其中，适度审视一番自己即可，能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。怎么想、怎么做，全在乎自己「不断实践中寻找适合自己的大道」1 ...
2024-04-13 23:01:43
419
原创 招行停发三、五年期大额存单产品！程序员的存款出路在哪？
点击下方“JavaEdge”，选择“设为星标”第一时间关注技术干货！免责声明~任何文章不要过度深思！万事万物都经不起审视，因为世上没有同样的成长环境，也没有同样的认知水平，更「没有适用于所有人的解决方案」；不要急着评判文章列出的观点，只需代入其中，适度审视一番自己即可，能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。怎么想、怎么做，全在乎自己「不断实践中寻找适合自己的大道」引言...
2024-04-11 22:47:19
483
1
原创 RAG应用开发实战(01)-RAG应用框架和解析器
第三方的工具去对文件解析拆分，去将我们的文件内容给提取出来，并将我们的文档内容去拆分成一个小的chunk。对文档的内容进行提取的时候，可能会发现提取出来的文档它的内容是会被截断的。跨页形式，提取出来它的上下页其实两部分内容就会被截断，导致文档内部分内容丢失，我们去解析图片或者是说双栏复杂的这种格式。作者简介：魔都技术专家，多家大厂后端一线研发经验，在分布式系统、和大数据系统等方面有多年的研究和实践经验，拥有从零到一的大数据平台和基础架构研发经验，对分布式存储、数据平台架构、数据仓库等领域都有丰富实践经验。
2024-04-11 22:12:52
504
1
原创 IDEA 2024.1到底更新啥有用的？
现在，对话框中的代码反映了编辑器中的内容，使您可以更清楚地了解冲突，并且 IDE 会自动保存窗口大小调整以供将来使用。此外，IDE 还引入了对 Terraform 模板语言 (tftpl) 的支持，实现动态模板，可以与您的首选编程语言无缝集成。现在，您可以根据列值快速筛选行，而无需向数据库发送查询。作者简介：魔都技术专家，多家大厂后端一线研发经验，在分布式系统、和大数据系统等方面有多年的研究和实践经验，拥有从零到一的大数据平台和基础架构研发经验，对分布式存储、数据平台架构、数据仓库等领域都有丰富实践经验。
2024-04-09 22:32:06
793
1
原创 抓住风口，快速上手RAG应用开发！
对大型语言模型输出进行优化，使其能够在生成响应之前引用训练数据来源之外的权威知识库。大型语言模型（LLM，Large Language Model）用海量数据进行训练，使用数十亿个参数为回答问题、翻译语言和完成句子等任务生成原始输出。在 LLM 本就强大的功能基础上，RAG 将其扩展为能访问特定领域或组织的内部知识库，所有这些都无需重新训练模型。这是一种经济高效地改进 LLM 输出的方法，让它在各种情境下都能保持相关性、准确性和实用性。
2024-04-09 22:22:01
1082
3
原创 【xxljob报错】com.xxl.job.core.log.XxlJobFileAppender : No such file or directory
Linux 环境下 无权限创建文件夹 需手动在 根目录下 /data/applogs/xxl-job/jobhandler 创建这几个目录。SpringBoot 项目使用 XXL-JOB，执行到。
2024-04-07 16:17:21
319
1
原创 深感Java后端没意思咋办？
点击下方“JavaEdge”，选择“设为星标”第一时间关注技术干货！免责声明~任何文章不要过度深思！万事万物都经不起审视，因为世上没有同样的成长环境，也没有同样的认知水平，更「没有适用于所有人的解决方案」；不要急着评判文章列出的观点，只需代入其中，适度审视一番自己即可，能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。怎么想、怎么做，全在乎自己「不断实践中寻找适合自己的大道」0 ...
2024-04-05 23:56:11
637
2
原创 为什么要学习大模型应用开发？
你就拿一个人家训练好的波尔模型拿过来，然后在下游进行或者分类，或者说NE2，去接一下不同的下游处理，就可以直接上手处理不同的任务，或者一般还是需要微调的，所以你再训练一下就可以解决实际问题了。这就是游戏里需求，也非常大。当然说让它完全替代你的代码不可能，但是你可以用它给你写一些框架性东西或具体的一个小问题，可直接让他写，然后拿过来你试下好不好用，甚至有bug也可以让他改一下。就好像你开发应用一样，你现在去开发操作系统，你除非说国产替代，正常来讲，微软和苹果已把操作系统完全占领，你不可能再打开空间。
2024-04-04 21:58:58
407
原创 03-Java框架FTPClient 使用rename()移动文件和文件重命名
作者简介：魔都技术专家，多家大厂后端一线研发经验，在分布式系统、和大数据系统等方面有多年的研究和实践经验，拥有从零到一的大数据平台和基础架构研发经验，对分布式存储、数据平台架构、数据仓库等领域都有丰富实践经验。绝对路径是以"/"开头的路径，相对路径是不以"/"开头的路径，关于两者的区别可以参考java FTPClient中的相对路径和绝对路径这篇文章，以免踩坑。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。但不优雅，多步操作易出各种问题，最好有方法一步调用。还可绝对路径和相对路径一起用。
2024-04-04 17:30:17
270
原创 Spring Data JPA日志打印SQL语句和入参真就这么简单吗？
作者简介：魔都技术专家，多家大厂后端一线研发经验，在分布式系统、和大数据系统等方面有多年的研究和实践经验，拥有从零到一的大数据平台和基础架构研发经验，对分布式存储、数据平台架构、数据仓库等领域都有丰富实践经验。各大技术社区头部专家博主。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。车联网核心平台-物联网连接平台、大数据平台架构设计及优化。目前主攻降低软件复杂性设计、构建高可用系统方向。交易平台及数据中台等架构和开发设计。中央/分销预订系统性能优化。活动&优惠券等营销中台建设。
2024-04-02 13:41:36
296
原创 JPA不识别MySQL的枚举类型
作者简介：魔都技术专家，多家大厂后端一线研发经验，在分布式系统、和大数据系统等方面有多年的研究和实践经验，拥有从零到一的大数据平台和基础架构研发经验，对分布式存储、数据平台架构、数据仓库等领域都有丰富实践经验。没法，只能考虑在保存和取出的时候自己转换，找到实体转换器AttributeConverter，自定义保存好取出时的数据转换，解决！java枚举的顺序从0开始递增，没法自己指定，我有些枚举并不是从0开始的，或者不是+1递增的，比如一些行业的标准代码。保存枚举的值，即toString()的值。
2024-04-01 21:03:47
562
1
原创 大厂的OLAP架构啥样的？
点击下方“JavaEdge”，选择“设为星标”第一时间关注技术干货！免责声明~任何文章不要过度深思！万事万物都经不起审视，因为世上没有同样的成长环境，也没有同样的认知水平，更「没有适用于所有人的解决方案」；不要急着评判文章列出的观点，只需代入其中，适度审视一番自己即可，能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。怎么想、怎么做，全在乎自己「不断实践中寻找适合自己的大道」1 ...
2024-04-01 00:02:10
848
原创 Java22了，为啥还都用8？
点击下方“JavaEdge”，选择“设为星标”第一时间关注技术干货！免责声明~任何文章不要过度深思！万事万物都经不起审视，因为世上没有同样的成长环境，也没有同样的认知水平，更「没有适用于所有人的解决方案」；不要急着评判文章列出的观点，只需代入其中，适度审视一番自己即可，能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。怎么想、怎么做，全在乎自己「不断实践中寻找适合自己的大道」1 ...
2024-03-30 21:46:33
547
原创 小米汽车为什么会成功？
点击下方“JavaEdge”，选择“设为星标”第一时间关注技术干货！免责声明~任何文章不要过度深思！万事万物都经不起审视，因为世上没有同样的成长环境，也没有同样的认知水平，更「没有适用于所有人的解决方案」；不要急着评判文章列出的观点，只需代入其中，适度审视一番自己即可，能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。怎么想、怎么做，全在乎自己「不断实践中寻找适合自己的大道」1 ...
2024-03-29 23:51:35
951
原创 Gitlab 实现仓库完全迁移，包括所有提交记录、分支、标签
作者简介：魔都技术专家兼架构，多家大厂后端一线研发经验，各大技术社区头部专家博主。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。但这只针对 public 的项目，若你是私有项目，还不行，差一步得填写原 gitlab 账号密码。在 gitlab 仓库页面，点击下载，注意使用 gz 格式！车联网核心平台-物联网连接平台、大数据平台架构设计及优化。目前主攻降低软件复杂性设计、构建高可用系统方向。如果你和我一样，不喜欢命令行，就看其他方案。如果你是打杂的，没管理员权限，这步也不行。本文由博客一文多发平台。
2024-03-28 15:57:42
615
原创 Redis官宣不再免费！开源界还能活多久？
点击下方“JavaEdge”，选择“设为星标”第一时间关注技术干货！免责声明~任何文章不要过度深思！万事万物都经不起审视，因为世上没有同样的成长环境，也没有同样的认知水平，更「没有适用于所有人的解决方案」；不要急着评判文章列出的观点，只需代入其中，适度审视一番自己即可，能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。怎么想、怎么做，全在乎自己「不断实践中寻找适合自己的大道」无聊...
2024-03-26 23:59:26
886
原创 当Java 22遇到 SpringBoot 3.3.0(下)
点击下方“JavaEdge”，选择“设为星标”第一时间关注技术干货！翻译自网络免责声明~任何文章不要过度深思！万事万物都经不起审视，因为世上没有同样的成长环境，也没有同样的认知水平，更「没有适用于所有人的解决方案」；不要急着评判文章列出的观点，只需代入其中，适度审视一番自己即可，能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。怎么想、怎么做，全在乎自己「不断实践中寻找适合自己的...
2024-03-24 23:20:42
652
原创 05-快速理解SparkSQL的DataSet
一个数据集是分布式的数据集合。Spark 1.6增加新接口Dataset，提供RDD的优点：强类型、能够使用强大lambda函数Spark SQL优化执行引擎的优点可从JVM对象构造Dataset，然后函数式转换（map、flatMap、filter等）操作。Dataset API在Scala和Java中可用。Python不支持Dataset API，但由于Python动态性质，许多Dataset API优点已经能使用（可通过名称自然访问行的字段row.columnName）。R的情况类似。
2024-03-24 22:41:33
320
原创 当Java 22遇到 SpringBoot 3.3.0！
作为一名 Java 和 Spring 开发者，现在是一个前所未有的好时机！我一直强调这一点。我们仿佛获得了一个崭新的语言和运行时环境，这一进步 - 奇妙地 - 保持了对历史版本的兼容。这是我目睹 Java 社区所开展的最具雄心壮志的软件项目之一，我们很幸运能够见证其成果的诞生。从现在起，我打算将 Java 22 和支持 Java 22 的 GraalVM 用于我的所有开发工作，我希望您也能跟我一起关注我，紧跟本系列专栏文章，咱们下篇再续！
2024-03-23 23:30:51
621
原创 当Java 22遇到 SpringBoot 3.3.0(上)
点击下方“JavaEdge”，选择“设为星标”第一时间关注技术干货！免责声明~任何文章不要过度深思！万事万物都经不起审视，因为世上没有同样的成长环境，也没有同样的认知水平，更「没有适用于所有人的解决方案」；不要急着评判文章列出的观点，只需代入其中，适度审视一番自己即可，能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。怎么想、怎么做，全在乎自己「不断实践中寻找适合自己的大道」Ja...
2024-03-23 23:11:23
1062
原创 03-SparkSQL入门
Spark SQL，结构化数据处理的Spark模块。Spark SQL官网误区：Spark SQL就是一个SQL处理框架，不仅是处理 SQL自 Spark 1.0 版本（2014 年 4 月）以来成为核心发布的一部分。与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据和正在执行的计算的更多信息。在内部，Spark SQL使用这些额外的信息执行额外的优化。与Spark SQL交互的几种方法包括SQL和Dataset API。
2024-03-23 20:22:54
879
原创 01-Spark的Local模式与应用开发入门
在 local 模式下，Spark 会使用单个 JVM 进程来模拟分布式集群行为，所有 Spark 组件（如 SparkContext、Executor 等）都运行在同一个 JVM 进程中，不涉及集群间通信，适用本地开发、测试和调试。SparkContext 是 Spark 应用程序的主入口点，负责与集群进行通信，管理作业的调度和执行，以及维护应用程序的状态。在正常情况下，创建多个 SparkContext 实例是不推荐的，因为这可能会导致资源冲突、内存泄漏和性能下降等问题。我才刚入门大数据诶，这么麻烦？
2024-03-22 19:56:03
1194
原创 汽车行业电商平台化架构演进之道
点击下方“JavaEdge”，选择“设为星标”第一时间关注技术干货！关注我，紧跟本系列专栏文章，咱们下篇再续！作者简介：魔都技术专家兼架构，多家大厂后端一线研发经验，各大技术社区头部专家博主，编程严选网创始人。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。负责：中央/分销预订系统性能优化；活动&优惠券等营销中台建设；交易平台及数据中台等架构和开发设计。1 架构演进 电商系统架构发...
2024-03-21 23:03:44
993
1
原创 ClickHouse最大QPS到底咋估算？
是用于分析的OLAP数据库，因此典型的使用场景是处理相对较少的请求 — 从每小时几个到每秒几十甚至几百个不等 — 但会影响到大量数据（几GB/数百万行）。但是在其他情况下，它的表现如何？让我们尝试用大量小请求来测试ClickHouse如何处理。这将帮助我们更好地了解可能的使用场景范围和限制。
2024-03-21 16:38:03
686
原创 深挖技术 or 深入业务？
点击下方“JavaEdge”，选择“设为星标”第一时间关注技术干货！关注我，紧跟本系列专栏文章，咱们下篇再续！作者简介：魔都技术专家兼架构，多家大厂后端一线研发经验，各大技术社区头部专家博主，编程严选网创始人。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。负责：中央/分销预订系统性能优化；活动&优惠券等营销中台建设；交易平台及数据中台等架构和开发设计。赚钱能力！ 程序员最应该钻研...
2024-03-20 23:06:30
853
1
原创 实现悲观协议，除了锁还能咋办？
并发控制机制的划分方法很多，没有统一标准，使用提出的划分标准，分为悲观协议与乐观协议两种。这里的乐观协议是上一讲提到的狭义乐观协议，悲观协议又分为锁和非锁两大类，我们简单介绍了2PL这一个分支。我们回顾了Percolator模型，按照S2PL的定义，Percoloatro本质就是S2PL，因此TiDB的乐观锁也属于S2PL。S2PL是数据库并发控制的主流技术，但是锁管理复杂，在实现串行化隔离级别时开销太大。而后，我们讨论了非锁协议中的串行化图检测（SGT）。
2024-03-18 09:54:53
788
1
原创 程序员入行忠告！
点击下方“JavaEdge”，选择“设为星标”第一时间关注技术干货！关注我，紧跟本系列专栏文章，咱们下篇再续！作者简介：魔都技术专家兼架构，多家大厂后端一线研发经验，各大技术社区头部专家博主，编程严选网创始人。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。负责：中央/分销预订系统性能优化；活动&优惠券等营销中台建设；交易平台及数据中台等架构和开发设计。1 主动解决【技术】问题 ...
2024-03-16 22:39:25
959
1
原创 数仓开发之ODS层
优秀可靠的数仓体系，需要良好的数据分层结构。合理的分层，能够使数据体系更加清晰，使复杂问题得以简化。以下是该项目的分层规划。
2024-03-15 14:32:23
346
1
原创 为啥你的项目总延期？
点击下方“JavaEdge”，选择“设为星标”第一时间关注技术干货！关注我，紧跟本系列专栏文章，咱们下篇再续！作者简介：魔都技术专家兼架构，多家大厂后端一线研发经验，各大技术社区头部专家博主，编程严选网创始人。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。负责：中央/分销预订系统性能优化；活动&优惠券等营销中台建设；交易平台及数据中台等架构和开发设计。案例一 有没有一种可能，就是...
2024-03-12 23:31:23
825
原创 碾压GPT-4！Claude3到底有多强？
2024年3月4日，官方宣布推出 Claude 3 模型系列，它在广泛的认知任务中树立了新的行业基准。该系列包括三个按能力递增排序的最先进模型：Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。每个后续模型都提供越来越强大的性能，允许用户为其特定应用选择智能、速度和之间的最佳平衡。Opus 和 Sonnet 现在已经可以在 claude.ai 和目前在普遍可用的 Claude API 中使用。Haiku 很快也会上市。
2024-03-12 14:19:44
752
原创 大厂裁员从谁开始？
点击下方“JavaEdge”，选择“设为星标”第一时间关注技术干货！关注我，紧跟本系列专栏文章，咱们下篇再续！作者简介：魔都技术专家兼架构，多家大厂后端一线研发经验，各大技术社区头部专家博主，编程严选网创始人。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。负责：中央/分销预订系统性能优化；活动&优惠券等营销中台建设；交易平台及数据中台等架构和开发设计。HRBP，基层小领导，[VP...
2024-03-11 22:42:21
731
原创 tsv文件在大数据技术栈里的应用场景
是的，\t是指制表符（tab），它通常用作字段分隔符在 TSV（Tab-Separated Values）格式的文件中。TSV是一种简单的文本格式，它使用制表符来分隔每一列中的值，而每一行则代表一个数据记录。上面的例子中，\t表示每个值之间的制表符，用来区分不同的列。当你在文本编辑器或者代码中见到\t，它代表的在实际的文件中通常是一个不可见的制表符。在大多数编程语言中，比如Python、Java等，制表符可以用转义字符"\t"来表示。
2024-03-11 22:15:32
1119
原创 这本书太好了！150页就能让你上手大模型应用开发
仅仅发布 5 天，ChatGPT 就吸引了 100 万用户——当然，数据不是关键，关键是其背后的技术开启了新的 AI 狂潮，成为技术变革的点火器。他们关于本书的书评如下。书如其名，这是一本有关大模型应用开发的极简入门手册，为初学者提供了一份清晰、全面的“最小可用知识”，带领大家快速了解 GPT-4 和 ChatGPT 的工作原理及优势，并在此基础上使用流行的 Python 编程语言构建大模型应用。这本书虽然是面向软件工程师的，但因为足够基础，所以我蛮建议不懂编程的朋友从这本书开始了解 AI 的细节。
2024-03-08 15:49:06
943
Spring基础讲义-java 入门必备
2022-11-05
南邮Windows编程课件
2017-11-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人