- 博客(1736)
- 收藏
- 关注
原创 Elastic 线下 Meetup 将于 2024 年 4 月 27 号在重庆举办
2024 Elastic Meetup 重庆站活动,由 Elastic、新智锦绣联合举办,现诚邀广大技术爱好者及开发者参加。
2024-04-12 09:23:04 1321 1
原创 Elasticsearch:ES|QL 动手实践
在我之前的文章 “”,我对 Elasticsearch 的最新查询语言 ES|QL 做了一个简单的介绍。在今天的文章中,我们详细来使用一些例子来展示 ES|QL 强大的搜索与分析功能。
2023-11-14 10:03:24 1552 2
原创 Elastic:如何成为一名 Elastic 认证工程师,Elastic 认证分析师及 Elastic 认证可观测性工程师
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计,Elasticsearch 雄踞排行榜第一名,并且市场还在不断地扩大:能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证,在业界也得到了很高的认知度。得到认证的工程师,必须除了具有丰富的 Elastic Stack 知识,而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书,也代表了个人及公司的荣誉。针对个人的好处是,你可以..
2020-10-28 11:54:13 22058 18
原创 Elastic:开发者上手指南
你们好,我是Elastic的刘晓国。如果大家想开始学习Elastic的话,那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里,我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习:1)Elasticsearch简介:对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster, n..........................................................
2020-02-25 20:01:55 141134 94
原创 Elastic:培训视频 - 在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全
在这篇文章中,我将会把我写的有些内容录制成视频,供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装:优酷,腾讯 Elastic Stack docker 部署:优酷,腾讯 Elasticsearch中的一些重要概念(Cluster/Shards/Replica/Document/Type/Index):优酷,腾讯 开始使用El...............
2020-01-06 15:31:54 15345 12
原创 Elasticsearch 简介
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时,Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起,就形成了 ELK软件栈。他们三个共同形成了一个强大的...
2019-08-08 16:04:31 166163 31
原创 Elasticsearch:简化 KNN 搜索
在这篇博客文章中,我们将深入探讨我们为了使 KNN 搜索的入门体验变得更加简单而做出的努力!我们在 Elastic 处理 knn 搜索的方式在不断进化,我们持续引入新功能和改进,因此这些参数和整体评估很可能很快就会过时!我们总是在密切关注,一旦发生变化,我们将确保跟进并相应调整我们的配置!需要记住的一件重要事情是,这些值仅作为简化入门体验和非常通用用例的合理默认值。用户可以轻松地在自己的数据集上进行实验,并根据自己的需求进行相应调整(例如,在某些情况下,召回率可能比延迟更重要)。
2024-04-18 08:49:18 747
原创 追溯历史:SIEM 中的生成式人工智能革命
网络安全领域仿佛是现实世界的一个映射,安全运营中心(security operation center - SOC)就像是你的数字警察局。网络安全分析师就像是警察,他们的工作是阻止网络犯罪分子对组织发起攻击,或者在他们尝试攻击时将其阻止。当发生攻击时,类似于数字侦探的事件响应人员会从多个不同的来源收集线索,以确定事件的顺序和细节,然后制定补救计划。为了实现这一目标,团队需要将许多(有时是数十个)产品结合起来,以确定攻击的全貌并识别如何在业务遭受损失和损害之前停止威胁。
2024-04-17 14:56:09 553
原创 Elasticsearch:如何将 MongoDB 数据引入 Elastic Cloud
Elastic Cloud 是由 Elastic 提供的基于云的托管服务。Elastic Cloud 允许客户在亚马逊网络服务 (AWS)、谷歌云平台 (GCP) 和微软 Azure 上部署、管理和扩展他们的 Elasticsearch 集群。MongoDB 是一种流行的 NoSQL 文档导向数据库,它以类似 JSON 的文档形式存储数据。以下是使用 Elastic MongoDB 连接器将数据从 MongoDB 数据库导入并同步到 Elasticsearch 的逐步指南。
2024-04-17 11:10:19 930
原创 Elasticsearch .NET 客户端的演变
在 .NET 世界中,与 Elasticsearch 的集成长期以来一直由 NEST 库提供支持,该库作为开发人员与 Elasticsearch 强大的搜索和分析功能进行交互的强大接口。NEST 是出于对 Elasticsearch 本地 .NET 客户端的需求而诞生的,由于其丰富的功能集和无缝的集成能力,很快就受到了开发人员的欢迎。在的近 14 年时间里,NEST 一直忠实地跟踪 Elasticsearch 的发布。
2024-04-16 20:40:50 563
原创 RAG (Retrieval Augmented Generation) 结合 LlamaIndex、Elasticsearch 和 Mistral
在这篇文章中,我们将讨论如何使用 RAG 技术(检索增强生成)和 Elasticsearch 作为向量数据库来实现问答体验。我们将使用 LlamaIndex 和本地运行的 Mistral LLM。
2024-04-16 14:30:19 973
原创 向量数据库与图数据库:理解它们的区别
向量数据库将数据组织成广阔的、多维空间中的点,而不是行和列。每个点代表一条数据,其位置反映了它相对于其他数据的特征。可以将其想象成一个宇宙,其中每颗行星都是一条数据,它们被组织成与相似的行星更近,与相似度较低的行星更远的方式。它通过将数据存储为高维向量来实现这一点,这些向量是数据特征的数值表示。这些向量捕捉了它们所代表的数据的本质,这就是它们如何能够在多维空间内进行编码和组织的原因。在多维空间中,两个点越接近,它们的基础数据就越相似。这就是为什么向量数据库擅长相似性搜索的原因。
2024-04-16 09:43:05 856
原创 NLP vs. LLMs: 理解它们之间的区别
随着人工智能持续发展并在无数行业解决问题,技术的一个关键部分是能够无缝地桥接人类语言和机器理解之间的差距。这就是自然语言处理(NLP)和大型语言模型(LLMs)的用武之地。它们提供了独特而专业的方法,将人类沟通的力量与软件和机器连接起来。简单来说,NLP 和 LLMs 使我们能够与软件进行类似人类的对话。NLP 是翻译者,基于定义的规则和结构分析和操作人类语言。这使得机器能够理解语法、句法和上下文的细微差别,从而能够计算情感、提取信息和进行机器翻译。LLMs 则是大脑。通过大量的文本数据驱动,它
2024-04-15 22:50:08 6032 8
原创 改进 Elastic Agent 和 Beats 中的事件队列
在 8.12 版本中,我们引入了性能预设 —— 一种更简单的方法,用于调整 Elastic Agent 和 Beats 以适应各种场景。这提高了常见环境的性能,而过去通常需要进行详细调整。从 8.13 版本开始,我们专注于改进我们的内部库,以更好地支持这些预设。其结果是我们的内部事件队列进行了重写,为所有 Beats 带来了降低的内存使用。在我们的内部基准测试套件中,Filebeat 8.13 在所有预设上显示出大约 20% 的内存减少。在这篇文章中,我们将探讨如何实现这一点。
2024-04-15 14:59:17 1523
原创 ChatGPT 和 Elasticsearch:使用 Elastic 数据创建自定义 GPT
ChatGPT Plus 订阅者现在有机会创建他们自己的定制版 ChatGPT,称为 GPT,这替代了之前博客文章中讨论的插件。基于本系列的第一部分的基础 —— 我们深入探讨了在 Elastic Cloud 中设置 Elasticsearch 数据和创建向量嵌入 —— 这篇博客将指导你完成开发一个定制的 GPT 的过程,该 GPT 旨在与你的 Elasticsearch 数据无缝交互。
2024-04-14 20:26:04 4129 5
原创 在 Elasticsearch 中扩展 ML 推理管道:如何避免问题并解决瓶颈
是时候考虑语义搜索运营了吗?无论你是一位经验丰富的搜索工程师,希望探索新的人工智能功能,还是一位机器学习专家,希望更多地利用搜索基础设施来增强语义相似性模型 —— 充分利用这些领域的交集可能需要熟悉一些新概念。虽然 Elasticsearch 提供了一些快速启动指南,比如(或者对于本地的 Elasticsearch, 你可以参考 “”),但当你希望扩展推理过程时,会引入更多的配置选项。
2024-04-13 09:48:09 1326 1
原创 Elasticsearch:从 ES|QL 到 PHP 对象
从 elasticsearch-php v8.13.0 开始,你可以执行 ES|QL查询并将结果映射到 stdClass 或自定义类的 PHP 对象。我们可以使用 esql()->query() 端点在 PHP 中执行 ES|QL 查询。该查询的结果是一个表数据结构。这是使用 columns 和 valuse 字段以 JSON 形式表示的。在 columns 字段中,我们有 name 和 type 定义。]);
2024-04-10 11:36:59 2378 7
原创 Elastic 现在提供 OpenTelemetry SDK 的发行版
OpenTelemetry 是一个厂商中立的可观测性框架和工具包,支持在应用程序和分布式微服务架构中的跟踪、指标和日志等遥测信号。OpenTelemetry 是由一系列标准推动的,旨在提供一致的方法来监测和观察应用程序行为。OpenTelemetry 是在云原生计算基金会(CNCF)的保护伞下孵化的项目,目前是第二活跃的项目,仅次于 Kubernetes。你可以在OpenTelemetry 网站上阅读更多关于采用 OpenTelemetry 的概念、术语和技术的内容。
2024-04-10 09:27:32 1082
原创 Elastic:5 个原因解释为什么可观察性和安全性能够很好地协同工作
网站可靠性工程师(site reliability engineers - SREs)和安全分析师 (security analysts) —— 尽管担任着非常不同的角色 —— 分享了许多相同的目标。他们都采用主动监控和事件响应策略来识别和解决潜在问题,以避免这些问题影响服务。他们同样都将组织的稳定性和韧性作为优先事项,旨在最小化停机时间和中断。
2024-04-10 08:23:19 692
原创 用于可观察性的 Elastic AI 助手摆脱了 Kibana!
Elastic、节省时间的助手、生成模型、API、Python,以及展示我们技术新工作方式的潜力?当然,我会将这项工作移到我的项目列表的顶部!如果说 2023 年是弄清楚生成式 AI 和检索增强生成(RAG)的一年,那么 2024 年将是生产化生成式 AI RAG 应用程序的一年。公司开始发布参考资料和架构,企业正在将生成式应用程序集成到他们的业务线中。Elastic 正在效仿,将不止一个而是两个 AI 助手集成到 Kibana 中:一个在可观察性中,一个在安全性中。今天,我们将与前者一起工作。
2024-04-09 16:07:26 1326
原创 使用 Meltano 将数据从 Snowflake 导入到 Elasticsearch:开发者之旅
在 Elastic 的搜索团队中,我们一直在探索不同的 ETL 工具以及如何利用它们将数据传输到 Elasticsearch,并在传输的数据上实现 AI 助力搜索。今天,我想与大家分享我们与 Meltano 生态系统以及 Meltano Elasticsearch 加载器的故事。Meltano 是一个声明式的代码优先数据集成引擎,允许你在不同的存储之间同步数据。在上有许提取器 (extractors) 和加载器 (loaders) 可用。
2024-04-09 09:01:13 1596 1
原创 Elastic:加速生成式人工智能体验
搜索驱动的人工智能和开发人员工具专为速度和规模而打造。在大型语言模型(LLM)和生成式 AI 的每日突破中,开发者站在了这场运动的最前沿,影响着它的方向和可能性。在这篇博客中,我将分享 Elastic 的搜索客户是如何利用 Elastic 的向量数据库和开放平台,为搜索驱动的 AI 和开发者工具加速和扩展生成式 AI 体验,为他们提供了新的增长途径。Dimensional Research 进行的最近一次开发者调查并得到 Elastic 支持的结果显示,。
2024-04-08 08:37:27 1527 1
原创 Elastic AI Assistant for Observability 和 Microsoft Azure OpenAI 入门
最近,ElasticAI 观测助手现已正式向所有 Elastic 用户开放。该 AI 观测助手为 Elastic 观测提供了一种新工具,提供了大型语言模型(LLM)连接的聊天和上下文洞察,以解释错误并建议纠正措施。类似于微软 Copilot 是一款人工智能伴侣,为开发人员引入了新的能力并提高了生产力,Elastic AI 观测助手是一款可以帮助你快速从你的可观测数据中获得更多价值的人工智能伴侣。
2024-04-07 17:21:11 1080
原创 Elasticsearch:我们如何演化处理二进制文档格式
这项服务是在 Elastic 8.9.0 版本发布时(作为 Beta 版本)推出的。它是一个专用的独立服务器,能够通过 REST API 接收你的二进制文档作为输入,并响应其纯文本内容,以及一些最小的元数据。通过将该流程与我们的连接器和 Elasticsearch 分离开来,我们创建了一个可以轻松水平扩展的服务。这样,成本和速度之间的权衡就可以轻松控制,你不必为其中一个进行优化而被束缚。此外,该服务的分离允许你在边缘附近部署它,以避免大型文件负载的额外网络跳跃。
2024-04-05 16:14:54 1717 5
原创 生成式人工智能的现状:我们对 3,000 多名技术领导者进行的全球调查
Elastic 生成人工智能报告着眼于组织如何采用生成人工智能。我们很高兴地宣布发布《》,该报告揭示了全球早期生成人工智能实施的期望和挑战。该报告与 Vanson Bourne 合作制作,汇集了 10 个国家从事 IT、分析和数据工作的 3,200 名决策者和影响者的数据点和行业见解。我们试图了解组织目前如何实现生成人工智能、他们面临哪些挑战、他们正在使用的策略以及他们发现了哪些机会。该调查包括来自美国、英国、法国、德国、新加坡、印度、澳大利亚、西班牙、荷兰和日本的回复。
2024-04-02 17:50:27 710
原创 将 Elasticsearch 向量数据库引入到数据上的 Azure OpenAI 服务(预览)
Microsoft 和 Elastic 很高兴地宣布,全球下载次数最多的库 Elasticsearch 是公共预览版中 Azure OpenAI Service On Your Data 官方支持的向量存储和检索增强搜索技术。这项突破性的功能使你能够利用 GPT-4 等 OpenAI 模型的强大功能,并结合 RAG(检索增强生成)模型的高级功能,直接在 Azure 上为你的数据提供企业级安全性。请在阅读 Microsoft 的公告。
2024-04-01 10:13:48 987
原创 何时应用 RAG 与微调
充分发挥 LLM 的潜力需要在检索增强生成(RAG)和微调之间选择正确的技术。大型语言模型利用一种称为预训练的技术,对互联网、代码、社交媒体和书籍等大量文本数据集进行预训练。这使他们能够生成文本、回答问题、翻译语言等,而无需任何特定于任务的数据。然而,他们的知识仍然有限。
2024-03-31 21:46:42 6948
原创 Elasticsearch 开放 inference API 增加了对 Cohere Embeddings 的支持
我们很高兴地宣布 Elasticsearch 现在支持 Cohere 嵌入!发布此功能是与 Cohere 团队合作的一次伟大旅程,未来还会有更多合作。Cohere 是生成式 AI 领域令人兴奋的创新者,我们很自豪能够让开发人员使用 Cohere 令人难以置信。
2024-03-29 22:25:56 836
原创 Elasticsearch 和 Kibana 8.13:简化 kNN 和改进查询并行化
在 8.13 版本中,Elastic 引入了向量搜索的重大增强,并将 Cohere 嵌入集成到其统一 inference API 中。8.13 现已—— 唯一包含此最新版本所有新功能的托管 Elasticsearch 服务。你也可以及我们的云编排产品 —— Elastic Cloud Enterprise和Elastic Cloud for Kubernetes —— 以获得自我管理的体验。
2024-03-28 13:26:57 1710 1
原创 Elastic 8.13:Elastic AI 助手中 Amazon Bedrock 的正式发布 (GA) 用于可观测性
今天,我们很高兴地宣布 Elastic 8.13 的正式发布。8.13 版本的三个最重要的组件包括 Elastic AI 助手中 Amazon Bedrock 支持的正式发布 (general availability - GA),新的向量搜索配置以及 Logstash 的新的集成过滤插件。
2024-03-28 08:54:18 2002
原创 Elastic Search 8.13: 为开发者简化嵌入和排名
Elasticsearch 8.13 扩展了能力,使开发者能够利用人工智能和机器学习模型创建快速和卓越的搜索体验。与 Apache Lucene 9.10 集成,测量向量搜索性能在基准测试中超过 2 倍,扩展了可以在几乎实时执行的搜索的复杂性。我们增加了原生的 Learning to Rank (LTR) 功能,简化了对 Top-N 结果进行重新排名,这对于检索增强生成(RAG)用例至关重要 —— 在这些用例中,大型语言模型(LLM)需要在尽可能最佳的上下文中操作。
2024-03-28 08:25:11 1220 2
原创 Elasticsearch:语义搜索即服务处于卓越搜索的中心
在这篇博客中,我们探索了在企业卓越中心实施语义搜索的过程。模型选择:ELSER 是一个为开箱即用用例设计的检索模型,这使得它成为寻求灵活性、速度和流线型实施的搜索中心的简单选择。模式设计:与纯向量数据库不同,Elasticsearch 同样可以执行传统的 BM25 搜索,并且能够在同一上下文数据库和查询中原生地过滤和聚合元数据以及向量搜索。其结果是能够显著简化应用复杂性和相比于纯向量数据库所需的工具数量。
2024-03-26 11:54:37 1238
原创 Elasticsearch:使用在本地计算机上运行的 LLM 以及 Ollama 和 Langchain 构建 RAG 应用程序
Ollama 是一个轻量级且灵活的框架,专为在个人计算机上本地部署 LLM 而设计。它通过直观的 API 简化了 LLMs 的开发、执行和管理,并提供了一系列预配置模型,可立即在各种应用程序中使用。其设计的核心是将模型权重、配置和数据捆绑到一个统一的包中,并封装在模型文件中。该框架具有一系列精选的预量化、优化模型,例如 Llama 2、Mistral 和 Gemma,可供部署。
2024-03-25 18:55:17 1707
原创 Elasticsearch:虚拟形象辅助和对话驱动的语音到 RAG 搜索
搜索已经从产生简单结果的简单文本查询发展成为容纳文本、图像、视频和问题等各种格式的复杂系统。
2024-03-25 09:15:58 637
原创 通过 Elastic AI Assistant for Observability 进行警报管理,最大限度地提高 IT 效率
管理和关联 Elastic Observability 中的信号和警报随着组织采用日益复杂和互连的 IT 系统,各种监控工具生成的大量警报带来了严峻的挑战 - 我们如何有效地筛选噪音以识别和响应最关键的问题?事件管理和关联是 IT 服务管理领域两个不可或缺的支柱。本技术博客深入探讨了为什么这些实践在维护数字基础设施和服务的健康、安全和性能方面不仅是可取的,而且是至关重要的。它还分析了生成式人工智能如何支持这一学科。
2024-03-24 16:08:23 1242 1
原创 Elastic 被评为 2024 年 Fast Company 最具创新力的公司
12 年来,Elastic 一直被誉为搜索领域的领导者,但我们不仅仅是一个搜索引擎,Elastic 还是一家搜索分析公司,正在重塑企业探索、分析和利用数据的方式。现在,在生成式 AI 时代,我们正在将搜索与 AI 的力量相结合,使开发人员和企业用户能够通过在所有数据中找到重要的相关答案来推动更好的业务成果。,这是一款由 ESRE 提供支持的开放式生成式 AI 助手,旨在实现网络安全和可观测性的简单易用化,它使各种技能水平的用户都能够灵活应用。更多有关学习 Elastic 开发技术的文章,请详细阅读 “
2024-03-22 17:32:21 418
原创 如何使用 Elasticsearch 作为向量数据库
在今天的文章中,我们将很快地通过 Docker 来快速地设置 Elasticsearch 及 Kibana,并设置 Elasticsearch 为向量搜索。
2024-03-22 13:34:14 1777 1
原创 使用 Elastic 作为全局数据网格:将数据访问与安全性、治理和策略统一起来
将所有组织数据可用于一个统一的层中,提供互联网搜索的速度和规模,一次性解决了许多问题。在此之前,每个应用程序都被设计为只能访问其自己仓库的数据,现在所有数据都合并在一起,通过一个统一的访问点、一个统一的 API,使用规范化的查询和排名方法共同访问。Elastic® 的搜索分析平台整合了数据网格的所有核心功能,并且在平台上所有输入的数据上启用了广泛的额外功能,例如机器学习、自然语言处理(NLP)和语义搜索、检测、警报、可视化、仪表板、报告等等,所有这些功能都集成在一个平台上。
2024-03-21 13:34:35 1140
原创 Elasticsearch:将 ILM 管理的数据流迁移到数据流生命周期
在本教程中,我们将了解如何将现有数据流(data stream)从索引生命周期管理 (ILM) 迁移到数据流生命周期。现有的 ILM 管理的支持指数将继续由 ILM 管理,直到它们过期并被 ILM 删除;但是,新的支持索引将由数据流生命周期管理。这样,数据流逐渐从由 ILM 管理迁移到由数据流生命周期管理。
2024-03-21 11:04:49 1458
原创 Elastic 线下 Meetup 将于 2024 年 3 月 30 号在武汉举办
2024 Elastic Meetup 武汉站活动,由 Elastic、腾讯、新智锦绣联合举办,现诚邀广大技术爱好者及开发者参加。
2024-03-20 13:15:49 1205 2
04-小米在 Elasticsearch 服务成本治理的实践-周明裕 武汉 2024.03.30
2024-04-01
03-AI Assistant - 李捷 武汉 2024.03.30
2024-04-01
02-腾讯云 ES 结合 AI 场景的实践与探索 - 刘忠奇 武汉 2024.03.30
2024-04-01
01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 武汉 2024.03.30
2024-04-01
04-阿里云 Elasticsearch Serverless 低成本弹性能力解读 杭州 1.6 2024
2024-01-08
02-Elasticsearch 8.x 向量搜索使用详解 杭州 1.6 2024
2024-01-08
03-Elasticsearch大宽表应用案例实践探索 杭州 1.6 2024
2024-01-08
01 - Elasticsearch 简单而高效的管道查询语言- ES QL 杭州 1.6 2024
2024-01-08
02-微盟技术沙龙-ES在商品中台的落地 12.21 2023 online
2023-12-22
01-微盟 Elasticsearch 运维实践
2023-12-22
03-Vega 或 Vega-Lite二次开发 Kibana 接口可视化 12.02 2023 Beijing
2023-12-03
01-Elasticsearch Relevance Engine - meetup 11.16 2023
2023-11-17
02-基于Apache SeaTunnel的MySQL到Elasticsearch实时同步解决方案-线上 meetup11.16
2023-11-17
04-腾讯云 Elasticsearch 助力企点业务腾飞 meetup 上海 10.21 2023
2023-10-23
03-腾讯云ES在搜索场景的建设及优化经验分享 meetup 上海 10.21 2023
2023-10-23
02-腾讯云 Elasticsearch 新篇章 meetup 上海 10.21 2023
2023-10-23
01-Elasticsearch Relevance Engine meetup 上海 10.21 2023
2023-10-23
04-腾讯云大数据 Elasticsearch 开启 Serverless 新范式 meetup 成都 8.19 2023
2023-08-19
02-Elasticsearch AI 大模型搜索引擎介绍与演示 meetup 成都 8.19 2023
2023-08-19
01-Vector search 及 Elastic NLP meetup 成都 8.19 2023
2023-08-19
持续进化,腾讯云大数据Elasticsearch 服务 开启 Serverless 新范式
2023-08-09
Elasticsearch 和 ChatGPT 的力量:利用生成式 AI 彻底改变搜索应用程序
2023-07-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人