- 博客(532)
- 资源 (31)
- 收藏
- 关注
RSS订阅
原创 Typora Markdown 使用教程、使用技巧
Typora使用教程、使用技巧Typora是什么？Typora 是一款支持实时预览的 Markdown 文本编辑器。它有 OS X、Windows、Linux 三个平台的版本，并且由于仍在测试中，是完全免费的。官网下载地址：点击下载生成目录只需在相应的位置键入[TOC]，目录便会呈现，并且支持点击跳转。@[toc]快捷方式标题级别只需按快捷键Ctrl+1，Ctrl+2，……，Ctrl+6，就可以依次输入一级到六级标题文字加粗、倾斜、下划线Ctrl+B/I/U进入加粗/倾斜/下划线源
2020-12-14 17:10:37
3163
11
原创 K8S 部署和访问 Kubernetes 仪表板（Dashboard）
你可以使用 Dashboard 将容器应用部署到 Kubernetes 集群中，也可以对容器应用排错，还能管理集群资源。你可以使用 Dashboard 获取运行在集群中的应用的概览信息，也可以创建或者修改 Kubernetes 资源 （如 Deployment、Job、DaemonSet 等等）。例如，你可以对 Deployment 实现弹性伸缩、发起滚动升级、重启 Pod 或者使用向导创建新的应用。Dashboard 同时展示了 Kubernetes 集群中的资源状态信息和所有报错信息。
2024-04-25 13:24:27
125
原创 K8S Centos7 安装 K8S 1.26单机版
它支持对集群进行部署、扩容、升级、维护等操作，是 Kubernetes 集群管理的主要工具之一。它能够帮助你进行集群的初始化、添加新节点、重置集群状态等操作，简化了集群的部署和管理过程。kubeadm 通常用于搭建 Kubernetes 集群的第一步，它可以配置集群的网络、安装核心组件等。kubelet 接收来自 Master 节点的指令，根据这些指令来创建、启动、停止、监控 Pod，并与容器运行时（如 Docker）进行交互，确保 Pod 在节点上按预期运行。这里安装的版本是1.26.6。
2024-04-23 17:15:06
693
原创 本地Java根据m3u8地址解密ts文件
给出了加密方法为AES-128，获取key地址为https://xxx/1111，偏移量为0x39333764333063306139653264353066。在浏览器访问https://xxx/1111获取key，注意这个地址一般都有权限校验的。表示 Media Segment 已加密, 该值用于解密.（长度为16），十六进制数的字符串。解密后的文件就可以直接播放了。从m3u8中下载ts文件。
2024-03-18 10:10:00
437
原创 从零开发短视频电商 端到端测试Playwright实战CSDN搜索
由于在没有额外同步的情况下从多个线程使用相同的 Playwright 对象是不安全的，因此我们建议您为每个线程创建 Playwright 实例并专门在该线程上使用它。**保存上下文的身份验证状态并在所有测试中重用它。这绕过了每个测试中的重复登录操作，但提供了独立测试的完全隔离。我们建议在新的 BrowserContext 中运行每个测试用例，这样浏览器状态将在测试之间隔离。如果生成器找到与定位器匹配的多个元素，它将改进定位器，使其具有唯一标识目标元素的弹性。将包含您可以在测试中重用的存储状态。
2024-03-06 09:34:12
878
原创 利用Docker快速安装Jenkins
是 Docker in Docker（DinD）的缩写，它是一个特殊的 Docker 镜像，设计用于在容器内运行 Docker 守护进程。这允许你在容器内部执行 Docker 命令，并且该容器本身具有运行其他容器的能力，实现了在容器中运行 Docker 的特性。通过创建一个专用的网络，容器可以使用容器名称进行通信，而无需暴露真实的 IP 地址。这种做法对于一些需要保存状态的应用程序（比如数据库、持久化存储配置的应用程序等）非常常见，因为容器本身是临时的，挂载卷可以确保数据的持久性和在容器之间的共享。
2024-03-04 13:44:11
987
原创 Jenkins自动化部署之流水线模式部署
在Jenkins中，有不同类型的任务（项目）适用于不同的构建需求。以下是一些常见的Jenkins任务类型：自由风格项目（FreeStyle Project）：Maven项目：Pipeline流水线项目：Pipeline（流水线）是Jenkins中的一种工作流插件，允许你以代码的形式定义整个CI/CD过程。实现单个任务难以完成的复杂流程编排和可视化的工作。可编程性： 使用Groovy脚本语言编写Pipeline脚本，这意味着你可以通过代码控制流水线的每个步骤。可视化： 提供了可视化的流水线编辑器，帮助你直观地
2024-02-29 15:33:57
873
原创 Ubuntu上Jenkins自动化部署Gitee上SpringBoot项目
Jenkins 支持各种运行方式，可通过系统包、Docker 或者通过一个独立的 Java 程序。运行Jenkins需要以下Java版本:安装Maven配置中央仓库修改maven的setting指向阿里云mirrors下添加mirror安装GitNodeJS安装（可选）安装Jenkins1.下载 Jenkins，注意跟JDK对应的版本才行。2.打开终端进入到下载目录.3.运行命令 .4.打开浏览器进入链接 .5.复制初始密钥进行解锁Jenkins6.选择安装推荐的插件，然后等待
2024-02-26 20:50:20
1537
2
原创 炫技亮点 优雅处理数据流程 流水线模式
当一个复杂的任务可以分解为多个独立的阶段，每个阶段都完成特定的子任务时，可以考虑使用流水线模式。这有助于提高系统的模块化和可维护性。如果系统需要经常添加新功能或阶段，并且希望新的功能可以轻松地集成到已有的处理流程中，流水线模式提供了良好的可扩展性。当任务的不同阶段可以独立执行时，流水线模式允许并行处理，提高整体性能。这在处理大量数据或需要高效处理的场景中尤为重要。在软件开发中，特别是CI/CD流程中，流水线模式被广泛应用，用于自动化构建、测试和部署过程。
2024-02-22 17:11:27
427
原创 炫技亮点 优雅处理数据流程 过滤器模式
当你有一个包含大量数据或对象的集合，需要根据不同的条件进行过滤、排序或处理时，过滤器模式能够提供一种清晰的组织结构，让你能够轻松地添加、移除或修改过滤规则。如果你希望将处理流程拆分为一系列独立的组件，每个组件负责特定的处理逻辑，并且这些组件可以按照一定的顺序组成责任链，那么过滤器模式是一个不错的选择。当你需要在运行时动态地改变处理流程，可能是添加新的处理步骤或删除某些步骤，过滤器模式能够灵活地应对这种变化。
2024-02-21 17:24:21
993
原创 从零开发短视频电商 Tesseract OCR识别增强
还有第三个存储库，https://github.com/tesseract-ocr/tessdata， 其模型支持Tesseract 3传统OCR引擎和Tesseract 4 LSTM OCR引擎。还可以将单词添加到 Tesseract 用于帮助识别的单词列表中，或者添加常见的字符模式，如果您对期望的输入类型有很好的了解，这可以进一步帮助提高准确性。在Tesseract版本3.05（以及更早版本）中，处理反转图像（暗色背景和亮色文本）时没有问题，但在4.x版本中，请使用亮色背景上的暗色文本。
2024-01-26 23:27:45
949
原创 从零开发短视频电商 PaddleOCR Java推理 （五）ONNXRuntime引擎推理
python文本检测：https://github.com/PaddlePaddle/Paddle2ONNX/blob/develop/model_zoo/ocr/utils/predict_det.py。python文本识别：https://github.com/PaddlePaddle/Paddle2ONNX/blob/develop/model_zoo/ocr/utils/predict_rec.py。提示：一开始将两者都设置为1以查看性能。方法二：离线转换，pip安装工具，即可本地转换使用。
2024-01-17 14:37:43
1060
原创 从零开发短视频电商 PaddleOCR Java推理 （四）优化OCR工具类
【代码】从零开发短视频电商 PaddleOCR Java推理 （四）优化OCR工具类。
2024-01-15 23:17:31
740
原创 从零开发短视频电商 PaddleOCR Java推理 （三）优化文本检测模型输入和输出
值得注意的是，PaddleOCR的模型更新速度远远快于DJL，这导致了一些DJL的优化滞后问题。因此，我们需要采取一些策略来跟上PaddleOCR的最新进展。表示网络输入图像的最长边不能超过960， 如果超过这个值，会对图像做等宽比的resize操作，确保最长边为。如果输入图片的分辨率比较大，而且想使用更大的分辨率预测，可以设置。PaddleOCR提供了一系列测试图片，你可以通过点击。为正整数，一般设置为32 的倍数，比如960。则表示限制图像的最短边为960。来对图片的尺寸进行限制，
2024-01-15 17:09:35
657
原创 从零开发短视频电商 PaddleOCR Java推理 （二）优化 识别模型 Translator模型输入和输出
值得注意的是，PaddleOCR的模型更新速度远远快于DJL，这导致了一些DJL的优化滞后问题。因此，我们需要采取一些策略来跟上PaddleOCR的最新进展。PaddleOCR提供了一系列测试图片，你可以通过点击。的识别模型使用的输入形状为。默认的识别模型算法可以在。的识别模型默认使用的。这里有很多过时的了。我们就来优化这2点。
2024-01-14 22:05:17
659
原创 从零开发短视频电商 PaddleOCR Java推理 （一）飞桨引擎推理
GithubDJL在Java中，我发现两种主要的方式可以使用PaddleOCR。在此，我们不考虑通过Java进行本地部署服务的方式，而专注于两种更具可行性的方法。
2024-01-12 15:33:12
1590
原创 从零开发短视频电商 Tesseract OCR 的 Java 拓展库 javacpp-presets
项目地址：https://github.com/bytedeco/javacpp-presetsJavaCPP 是一个用于在 Java 中使用本地库的工具，它允许通过 Java 代码访问本地（C/C++）库，而无需编写过多的本地代码。这种方法可以使 Java 与其他语言编写的库进行集成，提供了对性能关键的原生功能的访问。JavaCPP 使用 Java 注解和本地代码生成，使得在 Java 中调用本地代码变得相对容易。
2024-01-09 13:23:11
1730
原创 Linux 安装Jupyter notebook 并开启远程访问
Jupyter目前更倾向于与Python 3.x 版本一起使用。因此，我建议你安装Python 3.x，并使用该版本来安装和运行Jupyter。确保你的系统上已经安装了Python。pip是Python的包管理工具，用于安装和管理Python库。这里只需你输入密码确认，然后他会自动帮你把生成含有密码的hash码输入到。查找Jupyter可执行文件的安装位置。上述命令可能需要一些时间，因为它会搜索整个文件系统。使用pip安装Jupyter。, 会让你输入密码，密码即为你上面设置的。保存并退出文本编辑器。
2023-12-29 15:34:24
1357
原创 从零开发短视频电商 爬虫在爬取时注意 robots.txt 和 sitemap.xml
robots.txt和。这两个文件提供了关于网站爬取行为和结构的重要信息。
2023-12-28 13:55:40
2187
1
原创 从零开发短视频电商 Sagemaker端点模型部署方式
分为两种模型托管方式单一模型端点多模型端点将多个模型托管在一个容器内，通过一个端点提供服务多模型端点提供了一种可扩展且成本效益的解决方案，用于部署大量模型。它们使用相同的资源池和共享的服务容器来托管所有模型。与使用单一模型端点相比，这降低了托管成本，因为提高了端点利用率。同时，由于Amazon SageMaker管理内存中的模型加载和根据端点的流量模式进行扩展，这也减少了部署的开销。以下图示说明了多模型端点与单一模型端点的工作方式的对比。
2023-12-27 14:02:54
359
原创 从零开发短视频电商 SageMaker实时推理实例和费用
注意每个region价格不一样。示例为：美东2-俄亥俄的价格主要找的都是CPU 4核原文：https://aws.amazon.com/cn/sagemaker/pricing/
2023-12-26 14:29:47
403
原创 从零开发短视频电商 在AWS上SageMaker部署模型自定义日志输入和输出示例
从零开发短视频电商 在AWS上用SageMaker部署自定义模型都是huaggingface上的模型或者fine-tune后的。为了适配jumpstart上部署的模型的http输入输出，我在自定义模型中自定义了适配的输入输出，可以做到兼容适配。
2023-12-22 11:24:32
1975
原创 从零开发短视频电商 在AWS上用SageMaker部署自定义模型
这个可以是java环境或者python环境。部署的都是从huggingface上的model或者根据huaggingface上的model进行fine-tune后的。",","refund","legal","faq"所有官方示例推理工具允许用户覆盖的默认方法。您需要创建一个名为code/的文件夹，其中包含文件。目录结构如下|- ....|- code/文件包含自定义推理模块，文件包含应添加的其他依赖项。覆盖加载模型的默认方法。返回值model将在predict中用于预测。
2023-12-20 13:01:11
1245
原创 从零开发短视频电商 OpenSearch/Elasticsearch 聚合操作
OpenSearch不仅仅是用于搜索的工具。聚合使您能够利用OpenSearch强大的分析引擎分析数据并从中提取统计信息。聚合的用例各异，从实时分析数据以采取某些行动，到使用OpenSearch仪表板创建可视化仪表板。OpenSearch可以在毫秒内对大规模数据集执行聚合。与查询相比，聚合消耗更多的CPU周期和内存。先来个总结表格：默认情况下，OpenSearch不支持在文本字段上进行聚合。因为文本字段被标记化，对文本字段的聚合必须将标记化过程反转回其原始字符串，然后基于此进行聚合。这种操作消耗大量内存并降
2023-12-14 22:25:04
1583
原创 从零开发短视频电商 OpenSearch/Elasticsearch 查询总结
OpenSearch 和 Elasticsearch 都是搜索和分析引擎，它们使用相似的查询语言。查询可以分为不同的类型，通常包括以下几类：查询语言一般用DSL和DQL。
2023-12-14 15:30:24
1312
1
原创 从零开发短视频电商 Java开发者的AI大模型（LLM）应用开发和设计-LangChain4j
GithubJava版langchain, 利用LLMs的力量增强你的java应用程序。该项目的目标是简化 AI/LLM 功能到 Java 应用程序的集成。一个简单且连贯的抽象层，旨在确保您的代码不依赖于具体实现，例如 LLM providers, embedding store providers,等。这允许轻松替换组件。上述抽象的多种实现，为您提供了多种 LLMs 和嵌入存储可供选择。获取您自己的数据own data（文档、代码库等）的能力，允许LLM 根据您的数据采取行动和做出响应。
2023-12-13 16:19:20
2952
2
原创 IntelliJ IDEA 自带HTTP Client接口插件上传文件示例
如何使用IntelliJ IDEA自带的HTTP Client接口插件进行文件上传的示例。在这个示例中，我们将关注Controller代码、HTTP请求文件（xxx.http），以及文件的上传和处理。
2023-12-13 12:55:24
1193
原创 从零开发短视频电商 使用Jsoup进行HTML爬取解析与操作
jsoup 是一个 Java 库，可简化实际 HTML 和 XML 的使用。它提供了一个易于使用的 API，用于使用 DOM API 方法、CSS 和 xpath 选择器进行 URL 获取、数据解析、提取和操作。jsoup 实现了 WHATWG HTML5 规范，并将 HTML 解析为与现代浏览器相同的 DOM。抓取从 URL、文件或字符串中抓取并解析 HTML查找使用 DOM 遍历或 CSS 选择器查找并提取数据操作操作 HTML 元素、属性和文本清理。
2023-12-12 20:35:15
1206
原创 IntelliJ IDEA 自带的 HTTP Client接口调用插件，替代 Postman
无论是在与团队内部协作开发时，还是在与第三方系统进行接口联调时，接口调用是不可或缺的一环。而在这个过程中，许多开发者会首选一款功能强大且易用的工具，其中最常见的就是。类似地，在 IntelliJ IDEA 中使用 HTTP Client 插件时，我们也可以借助类似的机制，以便在不同环境下轻松管理和切换配置。这样一来，我们可以通过在不同环境中使用不同的配置文件，轻松地适应不同的场景需求。然而，随着开发工具的不断演进，一些集成开发环境（IDE）也提供了强大的工具来简化和优化接口调用的过程。
2023-12-12 13:45:18
2666
原创 从零开发短视频电商 OpenSearch/ElasticSearch中数据类型介绍
在这种情况下，由于你不关心评分，而只关心筛选出年龄大于30岁的学生，使用过滤（Filter）通常会更快。在这个示例中，查询阶段找到包含指定字段和值的文档，然后过滤阶段通过范围条件筛选出那些日期在指定范围内的文档。类型是一个简单的嵌套对象，可以包含其他字段，但是这些字段是平等的，没有特定的关系。类型用于嵌套复杂结构的文档，并建立了父子关系，允许在子文档中使用独立的查询。适用于表示具有层次结构和相互关联的文档，如文章的评论、订单的商品列表等。适用于表示简单嵌套结构的文档，其中字段之间没有复杂的关联。
2023-12-11 21:17:50
1155
原创 从零开发短视频电商 用Java框架部署模型并推理 - Deep Java Library (DJL)
DJL 在 Java 中提供与 Hugging Face Tokenizers 支持的相同功能。以下代码显示了如何加载 Hugging Face 中的模型以及如何完成标记化。这里使用的模型为：distilbert-multilingual-nli-stsb-quora-ranking。模型带有特定的标记器，它提供不同的标记字典并转换不同标记中的单词和句子。选择引擎，必须将其添加到 Java 类路径中，即添加对应的 Maven 依赖。基本模型库，基本模型包中提供与引擎无关的。，可以很方便的加载使用内置模型。
2023-12-09 23:46:06
1658
原创 从零开发短视频电商 Low Level Client(推荐)连接OpenSearch进行CRUD
嗅探器利用RestClient提供的定期机制（默认定期时间为5min)，从集群中获取当前节点的列表，通过调用RestClient类中的setNodes方法来更新。ES允许用户自由选择要连接的节点，通过初始化客户端来配置节点选择器，以便筛选节点。因为证书问题，我们用的是测试环境，就不要费劲的去下载私有证书再安装了，直接配置opensearch支持http即可。在默认情况下，客户端以轮询的方式将每个请求发送到配置的各个节点中。配置后，对于每个请求，客户端都通过节点选择器来筛选备选节点。或者直接禁用安全插件。
2023-12-09 20:45:41
450
原创 从零开发短视频电商 AWS OpenSearch Service开发环境申请以及Java客户端介绍
快速的在AWS上申请一个低成本的Opensearch service用于开发阶段的联调测试，对步骤做了详细的记录和截图，同时还介绍了多种方式用java去连接opensearch去操作数据和索引
2023-12-08 17:26:36
1993
原创 从零开发短视频电商 在AWS SageMaker已创建的模型列表中进行部署
4.点击 “创建端点” 选项或者点击 “创建端点配置” 选项都可以进行部署。2.在 SageMaker 控制台的左侧导航栏中，选择 “模型” 选项。3.在模型列表中，找到您要部署的模型。1.导航到 SageMaker 控制台。5.在配置端点页面，您需要指定。选择创建端点进去后还是会进行。6.继续在配置端点页面，指定。9.去端点处查看启动情况。
2023-12-07 16:57:59
881
原创 从零开发短视频电商 Jmeter压测示例模板详解(无认证场景)
你可以设置一个基础定时器和一个随机范围，以便每个请求之间有一些随机的等待时间，通常添加在需要模拟用户请求之间的时间间隔的位置，常见的情况是将定时器添加在HTTP请求之前，以模拟用户在执行不同操作之间的停顿。响应断言是最常用的一种断言方法，主要是对响应结果中的文本内容进行断言，比如响应结果是否包含指定的值，或者是否等于指定的值。请注意，在进行实际的性能测试时，由于监听器会占用一些资源，建议在测试结束后禁用或删除不需要的监听器，以避免影响测试性能。常用的断言类型，它们分别用于验证不同方面的请求响应。
2023-12-06 22:50:55
965
原创 从零开发短视频电商 JMH压测真实示例DEMO
Dead-Code Elimination (DCE) ，即死码消除，编译器非常聪明，有的代码没啥用，就在编译器被消除了，但这给我做基准测试带了一些麻烦，比如上面的代码中，baseline 和 measureWrong 有着相同的性能，因为编译器觉得 measureWrong这段代码执行后没有任何影响，为了效率，就直接消除掉这段代码，但是如果加上return语句，就不会在编译期被去掉，这是我们在写基准测试时需要注意的点。如果你的初始化操作，是和方法相关的，那最好使用 Invocation 级别。
2023-12-06 15:57:56
482
原创 IntelliJ IDEA 智能（AI）编码工具插件
是一个建立在尖端AI技术上的代码加速工具包，通过与编辑器的轻松集成，它可以让使用者专注于成为最好的软件开发人员，而不仅仅是搬砖者。通义灵码是阿里推出的基于通义大模型，提供代码智能生成、研发智能问答能力的人工智能编码助手，经过海量优秀开源代码数据训练，可根据当前代码文件及跨文件的上下文，为你生成行级/函数级代码、单元测试、代码注释等等。代码建议：根据代码上下文提供代码片段、函数甚至完整的类，从而提供相关且上下文准确的建议。它支持自动化例行任务、AI 驱动的代码完成、实时代码分析和键入时的错误检查。
2023-12-05 09:22:32
2943
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人