- 博客(261)
- 资源 (116)
- 收藏
- 关注
RSS订阅原创 3个要点全面提升SQL数据安全
大家好，SQL 是一种功能强大且被广泛使用的操纵关系数据库的语言。数据库开发人员和管理员应该重视数据库安全并承担保护数据安全的责任，确保数据不会被未经授权的访问、修改或删除。本文将介绍 SQL 数据库安全的相关基本概念和技术，帮助大家了解常见的安全威胁并采取适当的措施保护好数据。
2024-04-26 18:15:44
479
原创 基于Python剖析蒙特卡洛模拟算法
明确使用蒙特卡洛模拟要分析的问题。这包括识别出影响该问题的所有相关因素，理解这些因素的概率分布，并设定你期望通过模拟达到的目标。示例：一家公司想要预测某种产品明年的销售情况。需要考虑影响销售的各种变量，如市场需求、生产成本和产品定价等。模拟的最终结果是预测出总销售量。目标是使用蒙特卡洛方法模拟特定证券代码的日常收益，影响未来价格的变量基于：当前证券价格证券的历史波动性，即价格的可变性投资回报率，考虑随时间的复合回报# 第 1 步：定义问题目标：预测证券-V00的未来价格。
2024-04-26 13:40:14
406
原创 LangChain结合DSPy，高效实现提示工程自动优化
总之，DSPy 和 LangChain 的结合开辟了一种新颖的提示优化方法，特别是在直接数据可用性有限的情况下。通过按需生成合成数据，并结合先进的优化技术，即便在数据匮乏的情境下，也能实现提示的高效优化。这不仅极大地扩展了开发人员和研究人员的工具箱，增强了他们与语言模型协作的能力，同时也为那些数据获取受限的应用领域开辟了新的应用前景。文中所描述的合成提示优化技术，不仅为解决数据不足的问题提供了实用的解决方案，更展现了DSPy和LangChain联合在高级AI模型训练与优化上的巨大潜力。
2024-04-24 20:44:42
203
原创 深度学习框架TensorFlow和PyTorch的选取
首先，让我们简要介绍一下每个框架：TensorFlow：由Google Brain开发，TensorFlow是一个全面的机器学习生态系统。它提供了灵活的架构，既可以进行底层控制，又可以进行高层抽象。TensorFlow拥有庞大的社区和丰富的资源，使其成为生产环境中的热门选择。hl=zh-cnPyTorch：由Facebook的AI研究实验室创建，PyTorch以其动态计算图和易用性而闻名。它为构建神经网络提供了一种更直观和Pythonic的方法。
2024-04-24 17:06:12
980
原创 使用Python+opencv实现自动扫雷
大家好，相信许多人很早就知道有扫雷这么一款经典的游戏，更是有不少人曾听说过中国雷圣，也是中国扫雷第一、世界综合排名第二的郭蔚嘉的顶顶大名。扫雷作为一款在Windows9x时代就已经诞生的经典游戏，从过去到现在依然都有着它独特的魅力：快节奏高精准的鼠标操作要求、快速的反应能力、刷新纪录的快感，这些都是扫雷给雷友们带来的、只属于扫雷的独一无二的兴奋点。本文将介绍使用Python+OpenCV实现自动扫雷。
2024-04-20 18:30:23
849
1
原创 使用LangChain和Llama-Index实现多重检索RAG
大家好，在信息检索的世界里，查询扩展技术正引领着一场效率革命。本文将介绍这一技术的核心多查询检索，以及其是如何在LangChain和Llama-Index中得到应用的。
2024-04-18 17:57:26
1052
原创 高效可扩展，使用Dask进行大数据分析
大家好，Dask技术作为并行计算领域的创新力量，正在重塑大数据的处理模式。这项开源项目为Python语言带来了强大的并行计算能力，突破了传统数据处理在扩展性和性能上的瓶颈。本文将介绍Dask的发展历程、架构设计，并分析其在大数据分析和并行计算中的重要影响，以及Dask在推动数据处理技术进步中的关键作用。
2024-04-16 20:59:51
871
原创 数据科学中10个常用的高级SQL查询方法
大家好，作为一名数据分析师或数据科学家，熟练掌握SQL对于操作数据库和提取数据库中的见解至关重要。本文将探讨每个数据分析师和数据科学家都应该熟悉的10个高级SQL查询，助力提升数据分析技能。
2024-04-16 20:55:31
272
原创 基于LangChain，使用自有知识库创建GPT智能体
大家好，Langchain智能体在定制对话界面方面具有实际应用潜力，能够灵活适应并满足用户的多样化需求。借助Langchain，开发者可以整合多种格式数据，如URL链接或PDF文件，来构建一个专属知识库。这个知识库不仅能够为智能体提供丰富的信息资源以回答问题，还能结合搜索引擎或Zapier等工具，实现更多自动化功能。本文详细介绍如何搭建Langchain智能体，使其能够依据PDF文档内容提供答案，并通过Zapier平台自动化发送邮件。通过这些流程，大家能够深入了解并实践Langchain智能体的强大功能。
2024-04-14 21:27:43
1142
原创 使用LangChain和GPT-4，创建Pandas DataFrame智能体
大家好，数据分析和数据处理是数据科学领域每天都在进行的基本任务。高效和快速的数据转换对于提取有意义的见解和基于数据做出明智决策至关重要。其中最受欢迎的工具之一是Python库Pandas，它提供了一个功能强大的DataFrame工具，使用灵活直观的结构简化了这些任务。然而，DataFrame需要编写代码，对于没有编程知识的人来说可能具有挑战性。为了弥补这一差距，使数据分析更广泛地应用，LangChain和OpenAI的GPT-4的组合非常有用。
2024-04-14 21:13:46
1238
原创 自然语言处理NLP：文本预处理Text Pre-Processing
大家好，自然语言处理(NLP)是计算机科学领域与人工智能领域中的一个重要方向，其研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。本文将介绍文本预处理的本质、原理、应用等内容，助力自然语言处理和模型的生成使用。
2024-04-12 13:26:36
1827
原创 自然语言处理NLP关键知识点
自动文本摘要是自然语言处理（ NLP ）技术的一种应用，它可以将一篇较为冗长的文章摘要成一段较为简洁明了的内容，便于人们快速浏览和理解。自动文本摘要技术主要包括以下几个方面：1．文本处理：从原始文本中去除噪声和冗余信息，例如标点符号、停用词、重复词语等。2．句子分割：将文本分割成单独的句子，便于后续处理和分析。3．文本向量化：将每个句子转换成向量表示，便于计算机进行处理和比较。4．句子重要度评估：使用各种算法和技术来评估每个句子的重要度，例如 tf - idf 、 TextRank 等。
2024-04-12 12:27:49
971
原创 PostgreSQL强势崛起，选择它还是MySQL
PostgreSQL，或称Postgres，是一个关系数据库管理系统（RDBMS），通常用于以表格形式在数据库中存储、组织和检索结构化数据。由于其可扩展框架和可靠性，该RDBMS是业界最广泛使用的。Postgres是一个开源工具，可以免费下载和使用。Postgres与所有主要操作系统兼容，并支持多种扩展和插件。除了作为存储数据的工具外，Postgres还提供了独特的SQL方言，使得数据的交互和管理变得更加灵活和高效。
2024-04-11 21:36:17
1394
原创 Ray框架解析，轻松入门Python分布式机器学习
Ray是一个开源的Python库，专注于并行和分布式计算。上图展示了从宏观角度观察，Ray的生态系统主要由三个关键部分组成：1) Ray系统的核心：提供基础的并行和分布式计算能力2) 可扩展的机器学习库：包括Ray团队开发的原生库，也包括社区贡献的第三方库。3) 工具：用于在各种集群环境或云服务上轻松启动和管理集群。这样的架构设计使Ray能够灵活适应不同的计算需求和环境，为用户提供强大的计算支持。Ray为蚂蚁集团的融合引擎提供了分布式计算基础。
2024-04-11 17:13:43
1246
原创 4种检测Python缺失值的方法
大家好，在数据科学和分析领域，遇到数据缺失更多是常规而不是例外。缺失值可能会使分析结果出现偏差，导致错误的结论，并且通常还会干扰数据处理流程。解决这些缺失对于保持分析的完整性至关重要。本文将介绍在Python中识别NaN（非数字）值的不同方法，在处理Python中的缺失值时，方法在很大程度上取决于正在处理的数据结构。
2024-04-07 20:30:35
494
原创 入门微调预训练Transformer模型
大家好，HuggingFace 为众多开源的自然语言处理（NLP）模型提供了强大的支持平台，让这些模型能够通过训练和微调来更好地服务于各种特定的应用场景。在大型语言模型（LLM）迅猛发展的今天，HuggingFace 提供的核心工具，特别是 Trainer 类，极大地优化了 NLP 模型的训练过程，开发者得以更加高效地实现模型定制和优化。
2024-04-07 20:24:16
638
原创 LLMOps快速入门，轻松开发部署大语言模型
LLMOps（Large Language Model Operations）是机器学习运营（MLOps）的演变，专门针对大型语言模型（LLMs）的独特需求和挑战。LLMOps 超越了MLOps的通用模型生命周期管理，更加专注于大型语言模型。核心目标是确保大型语言模型能够高效、稳定地运行，并能够持续提供高质量的输出，这包括但不限于模型的训练、调优、部署、监控和优化等环节。LLMOps对于实现大型语言模型在各种应用场景中的成功落地起着关键作用。
2024-04-05 18:36:15
1389
原创 多模态AI全解析：概念、应用与风险
现代生成式人工智能工具（Generative Artificial Intelligence Tools）所取得的突破性成果正逐步拉近人们与人工通用智能（AGI）的距离。AGI是理想化的人工智能系统，旨在模拟人类在广泛任务中的理解和应用知识的能力。这一愿景的核心在于理解人类的学习机制——人类大脑如何通过五种感官收集信息，并将这些信息存储、处理以形成新的认知和决策。早期的生成式AI模型，如ChatGPT，主要处理文本输入并输出文本，这类单模态交互虽然有效，但并不能完全模拟人类的多样化学习方式。
2024-04-05 18:21:49
1166
原创 使用LangChain编写图检索查询实现RAG
大家好，检索增强生成（Retrieval-Augmented Generation，简称RAG）是一种先进的人工智能技术，通过整合大型语言模型（LLM）的内部知识和外部权威数据源，来提升生成式AI模型的表现。本文将介绍如何有效编写检索查询，进一步提升LLM的输出质量，使用Python和Langchain框架（专为与LLM互动而量身打造的平台）来详细阐述这一过程。通过这种方式，开发者能够更精确地从大量数据中提取所需信息，从而在各种应用场景中实现更高质量的AI生成内容。
2024-04-03 22:44:06
686
原创 自然语言处理NLP概述
大家好，自然语言处理(NLP)是计算机科学领域与人工智能领域中的一个重要方向，其研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。本文将从自然语言处理的本质、原理和应用三个方面，对其进行概述。NLP是一种机器学习技术，使计算机能够解读、处理和理解人类语言，其本质就是人类和机器之间沟通的桥梁。人类使用自然语言交流，如中文、英文等，狗通过叫声和其他身体语言交流，机器使用数字信息进行交流。人类与机器之间存在交流障碍，因为人类不直接理解数字信息，而机器不直接理解自然语言。
2024-04-03 22:25:58
1627
原创 使用LangChain SQLChain连接LLM和SQL数据库
大家好，近年来大型语言模型（LLMs）因在多个领域的文本生成能力受到广泛关注。然而，LLMs有时会产生错误或生成无意义的文本，这种现象常被称为“幻觉”。例如，询问ChatGPT法国是什么时候赠送给立陶宛维尔纽斯电视塔的，ChatGPT可能错误地会回答“在1980年”，这与事实不符，因为法国与维尔纽斯电视塔毫无关系。为了减少LLM在特定领域产生此类错误信息（即“幻觉”），可以将其连接到一个包含准确结构化数据的SQL数据库。
2024-04-02 20:56:09
1207
原创 10个大幅提升MySQL效率的使用技巧
大家好，MySQL是一种广泛使用的关系型数据库管理系统，无论是个人项目还是企业级应用，都可以从中受益。然而，要充分利用MySQL的潜力，掌握一些高效的技巧可以事半功倍。本文将介绍十个让大家在MySQL开发中更加得心应手的技巧。
2024-04-02 20:50:31
399
原创 大模型时代5个最顶级的向量数据库
大家好，数字时代推动我们进入了由人工智能和机器学习为主导的时代，向量数据库已经成为存储、搜索和分析高维数据向量的不可或缺的工具，本文将介绍5个顶级的向量数据库。
2024-03-25 19:50:17
588
原创 大模型时代的向量数据库：原理解析和应用案例
大家好，在人工智能领域，数据处理和加工的需求愈发增加。随着人们深入探索AI高级的应用，如图像识别、语音搜索和推荐引擎等，数据的复杂性也在不断地增加。此时传统的数据库存储方式已不能完全满足需求，向量数据库应运而生。与传统数据库存储标量值不同，向量数据库专门设计用于处理多维数据点，也称为向量。这些向量在多个维度中表示数据，可以被视为在空间中指向特定方向和大小的箭头。数字时代推动我们进入了由人工智能和机器学习为主导的时代，向量数据库已经成为存储、搜索和分析高维数据向量的不可或缺的工具。
2024-03-25 19:45:26
1263
原创 8个DevOps中不可不知的Linux命令
大家好，DevOps工程师经常使用Linux，掌握基本的Linux命令对于有效的系统管理非常必要。本文介绍在DevOps中使用Linux的基本命令，在Linux中首先需要学习如何移动，这意味着使用命令来浏览文件夹和查找文件。
2024-03-16 16:15:18
989
原创 回归学术圈，何恺明MIT第一堂AI课
这篇论文是2019年、2020年和2021年Google Scholar Metrics中被引用次数最多的论文，同时也构建了现代深度学习模型的基本组成部分（例如在Transformers、AlphaGo Zero和AlphaFold等领域的应用）。2016年，何恺明凭借ResNet再次荣获CVPR的最佳论文奖，此外，他的另一篇论文入围了CVPR2021的最佳论文候选。大家好，3月7日，麻省理工学院电气工程与计算机科学系副教授·何恺明，迈上讲台，并成功地进行了他人生中的首堂教学课程。而助教的人数高达17人！
2024-03-16 16:08:35
492
原创 自然语言处理NLP：tf-idf原理、参数及实战
大家好，tf-idf作为文体特征提取的常用统计方法之一，适合用于文本分类任务，本文将从原理、参数详解和实际处理方面介绍tf-idf，助力tf-idf用于文本数据分类。tf 表示词频，即某单词在某文本中的出现次数与该文本中所有词的词数的比值，idf表示逆文本频率（语料库中包含某单词的文本数、倒数、取log），tf-idf则表示词频 * 逆文档频率，tf-idf认为词的重要性随着它在文本中出现的次数成正比增加，但同时会随着它在整个语料库中出现的频率成反比下降。
2024-03-14 18:14:56
1600
原创 自然语言处理NLP：姓名相似度
大家好，自然语言处理会涉及到一致性验证特征。英文的姓名相似度包含用户自己填写的姓名、身份证上ocr识别的姓名、征信报告中用户姓名，可以作为模型特征使用、也可以作为业务的个人信息验证规则使用，本文简单介绍其计算逻辑。
2024-03-14 17:13:04
1147
原创 12个实用的Python技巧
大家好，Python 是顶级编程语言之一，它具有许多程序员从未使用过的许多隐藏功能。这是一个step参数，可以通过采取几个步骤来分割列表，此外可以使用 step 参数来反转整数。Python还支持带有For和While循环的 Else，当循环完成其迭代而没有任何中断时，将执行此else语句。有时正在访问的键不存在于字典中，这会导致键错误。Doctest将测试功能并显示测试报告，如果检查下面的示例，需要在三引号中编写一个测试参数。这可以设置 Python 程序的递归限制，请查看以下代码示例更好地理解。
2024-03-13 19:34:04
422
原创 入门LLMs开发：LangChain
使用LangChain，可以在统一的界面中轻松与不同类型的LLMs进行交互，管理模型版本，管理提示版本，并将LLMs连接在一起。如果想要构建由LLMs驱动的应用程序，需要管理以下几个方面：不同类型的LLM、模型版本、提示版本和模型链接。大家好，像OpenAI的GPT-4这样的大型语言模型（LLMs）已经风靡全球，它们可以自动执行各种任务，如回答问题、翻译语言、分析文本等。为了充分利用LangChain，将希望将其与不同的组件，如模型提供商和API，集成在一起，可以为希望连接到的每个提供商设置环境变量。
2024-03-12 19:59:07
379
原创 探索性数据分析EDA的数据可视化
在Python中，通常使用以下几种类型的可视化进行探索性数据分析：柱状图（用于显示不同类别之间的比较）、折线图（用于显示随时间或不同类别的趋势）、饼图（用于显示不同类别的比例或百分比）、直方图（用于显示单个变量的分布）、热图（用于显示不同变量之间的相关性）、散点图（用于显示两个连续变量之间的关系）、箱线图（用于显示变量的分布并识别异常值）。大家好，数据可视化是探索性数据分析的重要组成部分，因为它有助于分析和可视化数据，以获得对数据分布、变量之间的关系和潜在异常值的启示性见解。解释：男性患心脏病的风险更高。
2024-03-12 19:44:22
1366
原创 一篇文章简单介绍YOLO v1到v8的演变
本文测试了从2016年到2023年制作的几乎所有YOLO模型，多年来流行的数据科学工具和库演变是很有趣的，从低级代码到高级方法的趋势，这些方法可以做任何事情。YOLO模型是使用COCO（Common Objects in Context，知识共享署名4.0许可）数据集进行训练的，为了简化起见，直接将所有80个标签名称放入了代码中，还使用了OpenCV的`NMSBoxes`方法将嵌套的矩形组合在一起。最后，可以运行正向传播，使用“forward”方法将运行计算并返回所请求的层输出：。
2024-03-10 18:23:46
1002
原创 精通Python函数，深入了解*args和**kwargs
大家好，如果能在Python中创建适应不同场景的函数，而无需每次都重写它们，会使得操作简洁方便，这就是*args和**kwargs的魔力所在。就像为函数准备了一个神奇的袋子，可以装下任意多的参数——使代码更整洁、更灵活。为了帮助大家更好地理解Python中的*args和**kwargs，接下来展示一下如果没有这些概念，代码将会是什么状态。这里展示一个简单的函数simple_sum如果想将更多的数字相加，不得不为每种情况创建新函数，这既不优雅也不灵活。
2024-03-10 17:09:07
939
原创 详细比较Python、Julia、Rust
大家好，Python、Julia和Rust三种编程语言具有一定相似性，也有一些明显的差异。本文对这些语言进行详细的比较，举例说明三者的主要特点和特性，帮助大家更好地了解这三种语言，并能在编程时选择合适的语言进行开发。
2024-03-09 19:17:41
972
原创 10个高级的SQL查询方法
大家好，SQL 是管理和分析关系数据库的基本工具。掌握基本的SQL命令能够完成简单的数据查询和操作，但是如果想从数据中提取更有价值的信息，数据分析工作者应该深入学习和掌握高级的SQL技巧。
2024-03-09 16:38:15
798
原创 5个影响Python性能的错误及提升代码效率技巧
大家好，Python 脚本的运行速度过慢通常会影响所有相关人员的体验，甚至可能威胁到项目的成功。本文将介绍一些常见的影响性能的错误，并提供可行的修复方法和代码示例。
2024-03-08 19:25:50
952
原创 在PyCharm中使用Jupyter Notebooks实现高效开发
大家好，在数据科学领域，Jupyter Notebooks已成为一种流行的工具，许多专业人士都在使用它来进行数据分析、机器学习等任务。有时，我们希望在更加强大、功能齐全的IDE环境中运行Jupyter笔记本，以提高工作效率和开发体验。PyCharm就是个不错的选择。PyCharm 可以与 Jupyter Notebooks 集成，帮助更好地运行和开发Jupyter Notebooks，以便更轻松、高效地处理数据科学和机器学习任务。
2024-03-07 19:44:36
1607
原创 RAG全解析和LangChain代码实现
大家好，自从人们意识到可以用自有数据为大型语言模型（LLM）增效之后，就开始讨论如何最有效地弥合 LLM 的通用知识与专有数据之间的差距。围绕着微调还是检索增强生成（RAG）哪个更适合这一问题，人们展开了激烈的争论。本文重点介绍 RAG 的概念，首先介绍其理论，然后会继续展示如何使用LangChain进行编排、OpenAI 语言模型和 Weaviate 向量数据库来实现一个简单的 RAG 流水线。
2024-03-06 13:43:16
1372
基于OpenCV的目标跟踪实例(源码)
2024-04-26
Python+opencv实现跳一跳小游戏自动跳跃(源码)
2024-04-26
Python制作GUI图形界面源码
2024-04-26
基于opencv的停车场空余车位实时监测系统(源码)
2024-04-20
基于YOLOv8+Streamlit实现球员和足球检测与跟踪(附源码)
2024-04-19
基于CNN和LSTM的Python图像字幕生成器(附源码)
2024-04-18
Python神经网络实现交通标志识别项目源码
2024-04-18
基于神经网络的交通流预测模型源码
2024-04-17
Python爬虫实现百度翻译源码
2024-04-16
基于springboot+vue的二手交易电商系统(源码)
2024-04-11
基于Spring Boot的宠物领养系统设计实现(代码＋报告)
2024-04-09
Python深度学习识别MINST书写数字项目源码
2024-04-08
基于Python和opencv手势识别控制电脑音量
2024-04-07
基于Python与YOLOv4的垃圾检测识别系统(源码)
2024-04-03
Python爬取美食网站菜谱可视化分析
2024-03-30
Python GUI制作下载图片的可视化exe工具源码
2024-03-21
Python实现实用的RFM用户分层模型源码
2024-03-20
Python对用户评论数据进行情感倾向分析可视化源码
2024-03-20
Python实现自动发送邮件和发送钉钉消息源码
2024-03-20
Python股票基金数据查询与预测工具
2024-03-19
基于深度学习的雷达回波短临外推源码
2024-03-16
K-Means聚类实现银行客户分群（.ipynb请用jupyter打开）
2024-03-16
Python爬取猫眼电影数据及可视化
2024-03-13
基于YOLO深排序和光流的高性能多对象跟踪
2024-03-12
基于Django创建卡路里计算器
2024-03-11
基于Python开发的商城网站(源码+文档)
2024-03-09
Python人脸识别签到考勤系统(含源码)
2024-03-08
Python深度强化学习求解动态旅行商问题源码
2024-03-07
Python数据分析员工离职因素(源码+数据)
2024-03-05
Python商品销售数据分析可视化系统
2024-02-05
Python基于驾驶员面部特征的疲劳检测系统源码
2024-02-05
Python轨道交通客流预测系统源码
2024-02-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人