- 博客(32)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 LLM 构建Data Multi-Agents 赋能数据分析平台的实践之②：数据治理之二（自动处理）
1、提示词设计：设计一个总结报告的基础框架，包含目的、背景、过程、结论、建议等。"""2、Agent的构建| prompt| llm。
2024-04-07 18:16:12
372
原创 LLM 构建Data Multi-Agents 赋能数据分析平台的实践之②：数据治理之一
数据治理不仅是产业数字化转型的基石，更是推动产业向更高层次、更精细化、更智能的方向发展的重要引擎。通过科学有效的数据治理实践，产业能够在数字化进程中实现数据驱动的决策与行动，最终达到转型升级的战略目标。1、数据质量保障： 数据治理首先确保产业数据的准确无误、完整一致和时效恰当。通过建立数据管理制度、执行数据质量检查和管控流程，产业能够显著提高数据质量，消除错误和冗余，增强对内部及外部数据源的信任程度，为后续数据分析和应用提供坚实的基础。
2024-03-18 18:25:15
942
原创 LLM 构建Data Muti-Agents 赋能数据分析平台的实践之①：数据采集
在推进产业数字化的过程中，数据作为最重要的资源是优化产业管控过程和提升产业数字化水平的基础一环，如何实现数据采集工作的便利化、高效化、智能化是降低数据分析体系运转成本以及推动数据价值挖掘体系的基础手段。随着数字化在产业端的推进，仅仅依靠各产业各企业内部的业务系统数据是不够的，一方面当前大量的数据集中在互联网，实时的、历史的、以及有价值的数据往往集中在专业行业网站、门户网站；另一方面行业最新的动态、知识更新往往沉淀在互联网平台上。
2024-03-08 19:17:32
1483
原创 LLM RAG 多种方式装载LLM的实践
基于行业SOP、行业标准、互联网实时信息等领域外部知识构建私域知识向量模型，设计RAG系统用于多文档、多源数据、多维数据的检索器，设计优化双编码、联合编码等方法的信息生成器，使得生成组件能够更深入地理解问题背后的上下文，并产生更加信息丰富的回答。结果分析：对于文档内存在的表格，目前简单的检索链和问答链无法给出精准的回答，分析原因应该是表格数据的检索还是需要使用CSV文件的嵌入以及CSV-chain才能获取精准的答案。将某企业的数据治理方向的一些文档做成私有知识库，基于私有知识库回答数据治理方面的问题。
2024-01-22 18:40:06
706
原创 基于LLMs构建产业多智能体
随着信息技术的发展以及产业数字化的发展，在产业端，信息系统的建设和应用场景的搭建日渐完善，如何从完备的业务系统中挖掘数据价值以及如何从业务互联走向数据驱动决策成为产业数字化的新发展阶段。目前主要由数据中台承担数据汇聚、数据分析、数据价值挖掘的探索以及融合互联各业务系统。但是以数据中台解决产业业务系统协同及数据价值挖掘难题，存在以下三点问题：1、工作量大，产业各环节产生的数据海量，信息的处理要靠工程师经验构建大量的数据分析模型，数据的获取、清洗、特征处理、建模等耗费大量时间；
2023-09-24 12:30:00
212
原创 LLM赋能产业数智化业务系统升级的思考
2022年是人工智能的一个分水岭，ChatGPT，DALL E[ DALL E：是一款可以根据文本描述创建图像的AI工具。]和Lensa[ Lensa：是一款AI美图软件。]等几个面向消费者的应用程序发布了，它们的共同主题是使用生成式人工智能（AI Generated Content，简称AIGC），这是人工智能领域的一次范式转换。当前的人工智能使用模式检测或遵循规则来帮助分析数据和做出预测，而Transformer[ Transformer：是特征抽取器，用于特征抽取的一种深层级网络结构。
2023-08-22 18:57:40
260
1
原创 知识图谱在畜牧业中的应用产品化
在前篇中介绍了一个知识图谱用于畜牧行业中猪只饲养追溯的实例（https://blog.csdn.net/weixin_43990004/article/details/111942435）。本例将拓展出基于知识图谱的批次化管理情况监控思路及实现路径。1、批次化管理简要介绍批次化管理是生猪养殖中具有极其重要的一种管理模式。批次化管理模式主要有以下优点：1）员工工作量的减少：批次化管理可以使配种、分娩等繁重工作可以分配在每周固定日期进行，可以根据计划进行调休。2）养殖配置更趋完善合理化：批次化管理不仅能
2021-03-08 20:28:40
503
原创 数据分析特征工程方法
https://www.kaggle.com/dgomonov/new-york-city-airbnb-open-data 纽约市Airbnb开放数据美国纽约市的Airbnb列表和指标（2019）
2021-01-21 19:05:02
568
1
原创 知识图谱在畜牧业中的应用实例
在金融、医疗、电商等很多垂直领域，知识图谱正在带来更好的领域知识、更低金融风险、更完美的购物体验。更多的，如教育科研行业、图书馆、证券业、生物医疗以及需要进行大数据分析的一些行业。笔者认为产业互联网领域，知识图谱更有发展的空间，因为无论是智慧产业、还是产业+互联网，需要更多的产业理论知识的结合。放到农业领域更是如此，当前数字农业的发展瓶颈在于新兴技术与农业理论知识结合广度不够、深度更是远远不够，全国建成的数字农业示范点，虽然有一些节点带来了收益，更多的是“盆景”，许多仅仅沦为参观展示的功能载体。基于知...
2020-12-30 18:22:15
1095
1
原创 基于text_rank的猪市新闻文本摘要
前言随着互联网的普及、信息获取途径的增加，每天都有不断涌现的海量信息，海量的信息虽然提供了多样的观点，但也极易造成信息的冗余，一方面增加了获取关键、有效观点的难度和时间成本，另一方面增加了遗漏重要信息的风险。从大量的文本信息中提取重要内容，已成为一个重要的需求，自动文本摘要技术提供了一个高效的解决方案。自动文本摘要的技术主要分为抽取式摘要和生成式摘要，抽取式摘要生成技术的基本思想是根据一定的评分标准从原始文本中去抽取其中的多个关键句子或关键单词组成摘要文本，要中所有的内容均来自于原始文本，常用的算法..
2020-10-09 14:07:25
372
1
原创 图像处理：基于keras构建FCN用于猪只图像分割
- FCN简介FCN实际上就是利用CNN底层反卷积上采样得到图像轮廓实现实例分割的过程。博客上已经有很多解析整个过程的技术文章。详见[https://blog.csdn.net/qq_36269513/article/details/80420363]。(https://blog.csdn.net/qq_36269513/article/details/80420363)上采样解析过程如下数据源随便百度获取猪只图像。利用labelme进行数据处理实现过程- 数据预处理导入相关库f
2020-06-14 10:54:43
851
原创 生猪市场数据分析（五）：迁移学习应用于咨询分类初探
0、项目背景上篇博客说到，农业领域标准的数据集较为稀少，只能寄希望与其他领域已经开放的标准数据集或者预训练模型。本项目借助于标注好的微博情绪文本构建text_CNN模型，进而结合少量标注的生猪市场新闻数据构建迁移学习模型。1、数据源新浪微博标注好的数据来自于https://github.com/murufeng/ChineseNlpCorpus，共计36 万多条，带情感标注 新浪微...
2020-04-28 19:54:04
186
原创 生猪市场数据分析（三）：基于新闻咨询的生猪市场透视01
项目概述通过抓取各大养殖专业网站新闻咨询，构建生猪市场新闻主题模型，构建生猪市场咨询情绪值，进而透视生猪市场状态。新闻文本获取主要新闻网站：中国养猪网、猪价格网。构建数据获取框架导入模块from selenium import webdriverimport pandas as pdimport re中国养猪网新闻咨询获取，并保存为txt文件至本地。url_bas...
2020-03-24 21:23:09
269
原创 生猪市场数据分析（二）
0概述上文获取到了广西建设项目备案数据并对备案数据进行了初步的清洗，本文将就清洗好的数据进行分析。主要目的为（1）近几年建设猪场的概况：投资趋势、猪场数量分布；（2）探求非洲猪瘟爆发以来猪场建设的意愿及趋势；（3）透视未来猪场建设趋势。1数据处理导入数据data1 = pd.read_excel('../全国生猪项目/猪场分析/备案系统数据/各省市登记表详细数据/广西数据清洗.xlsx...
2020-03-14 18:57:18
510
原创 现代农业产业园建设体系之智慧农业
根据农业的发展及与现代农业产业园协同的要求，智慧农业技术引进现代农业技术体系是一个提升劳动效率、降低劳动成本的关键点之一。0-智慧农业技术现状智慧农业是以信息和知识为核心要素，通过将互联网、物联网、大数据、云计算、人工智能等现代信息技术与农业深度融合，实现农业信息感知、定量决策、精准控制、智能操作的全新的农业生产方式（赵春江），是农业信息化发展从数字化到网络化再到智能化的高级阶段。随着国家加...
2020-01-03 20:35:32
2373
原创 智慧农业项目建设体系之数字化育种体系建设
数字化育种体系建设框架2.育种过程现代生猪遗传育种的流程一般为 母猪性能测定——遗传评估——综合育种指数评估——选留方案制定； 母猪性能测定分为测定站测定与场内测定，个体测定、同胞测定和后裔测定、大群测定和抽样测定。测定的指标包括数量性状、质量形状、经济性状。性能测定的指标如下： 遗传评估根据《全国种猪遗传评估方案（试行）》的要求及建议，一般采用动物模型BLUP法进...
2019-11-21 21:49:12
3950
1
原创 智慧农业项目建设体系之生猪市场决策分析系统
0 生猪市场决策分析系统框架企业的终极使命是“挣钱”，所以市场的波动是一个需要极其重视的地方。对于生猪养殖来说，行业内存在“猪周期”。所谓猪周期，猪周期是一种经济现象，指“价高伤民，价贱伤农”的周期性猪肉价格变化怪圈。“猪周期”的循环轨迹一般是：肉价高——母猪存栏量大增——生猪供应增加——肉价下跌——大量淘汰母猪——生猪供应减少——肉价上涨。猪肉价格高刺激农民积极性造成供给增加，供给增加造成肉价...
2019-10-08 19:08:24
748
原创 智慧农业项目建设体系之质量追溯平台建设体系
质量追溯平台的意义及建设体系0.国家监管层面国内生猪养殖区域转移升级的需要、非洲猪瘟等疫情的爆发、环保规制、食品质量安全事件影响民生等叠加因素的影响，对于国家食品及农业部门而言，猪牛羊及粮食的稳定供应和质量安全保障正面临严峻挑战。建立覆盖区域的食品/粮食质量追溯的需求极为重要。1.消费者对食品质量安全信息的知情权俗话说“民以食为天”，食物是人类赖以生存的物质基础。身体的生长发育和组织更新所...
2019-09-11 21:13:25
1238
原创 智慧农业项目建设体系之疫病监测预警系统及数据分析
疫病监测预警系统的意义及建设体系智慧农业项目建设重点及初衷即是要对养殖场的生产管理提供信息化技术的支持及详尽、精准的生产意见。疫病监测预警系统作为养殖企业生物安全体系措施实施、疫情风险等...
2019-07-18 15:48:49
3668
1
原创 智慧农业项目建设体系之精准饲喂系统及数据分析
0.精准饲喂的意义及体系建设智慧农业项目建设的重点及初衷即是要对养殖场的生产管理提供信息化技术的支持及详尽、精准的生产意见。精准饲喂作为近些年来规模化猪场兴起的管理手段，在提升生产效率，降低生产成本上具有重要的作用。面向规模养殖模式的精准养殖技术体系所要求数据完备、数据精准、数据协同和数字化评估方面。总结而论，精准饲喂体系包含以下几个方面的工作：饲养理论基础、硬件设备、软件平台、系统平台、数...
2019-07-01 19:18:42
4459
原创 智慧农业精准环境监控体系建设及环境综合评价模型
精准环控体系建设框架在智慧农业建设过程中首先想到的恐怕就是针对整个农业覆盖区的环境进行监控，而这也是极有必要的。舒适的环境有利于作物、畜禽的生长及繁殖，尤其是对于畜禽养殖来说，不适的环境极易引发疾病、厌食、腹泻等问题，进而影响养殖场的生产效率及提升养殖成本。可以这么说，随着国家信息化建设的大规划、大支持，在农业领域物联网系统的建设已经逐步成熟。在传感器的发展、控制策略的研究及相关数据的分析上...
2019-06-20 18:45:41
2166
原创 权重计算方法
AHP方法AHP算法计算层次权重其基本步骤为将问题分解为不同的组成因素，按照因素间的相互关系或者隶属关系将因素按不同因素聚集集合，形成一个多层次的分析结构模型，并由此构建判断（或成对比较）矩阵，依据判断矩阵对层次进行单排序并检验是否通过一致性检验，最后计算某一层次所有因素对于最高层(总目标)相对重要性的权值，称为层次总排序。其流程图如图所示：图# AHP算法计算流程1.建立层次结构模型将决...
2019-06-10 16:58:47
31326
原创 生猪价格预测及决策讨论
前一篇博客讨论了生猪价格的一些影响因素以及价格预测的模型表现，基于GA-BP神经网络的模型极容易出现欠拟合的现象：在生猪价格出现“暴涨”或“暴跌”的现象时。模型的预测结果欠佳。因此，本文将继续探讨基于SVM模型的生猪价格预测策略的建构和表现，并且将谈论基于价格预测的企业决策思路。（基于神经网络的价格回归及其分析：https://blog.csdn.net/weixin_43990004/artic...
2019-05-26 22:39:09
2505
5
原创 基于神经网络的价格回归及其分析
1.生猪价格影响因素生猪价格往往受到众多因素的影响，从生猪行业的专业知识来看，其影响因素可以归结于以下几点：母猪存栏量季节性特征：生猪生产季节性，猪肉消费的季节性周期性素：也即猪周期，猪价因为供需不均衡而产生的周期性变动养猪成本因素：饲料原料价格波动；饲料原料主要有豆粕、玉米等国家政策：环保政策、养猪补贴政策等不确定的进口猪肉不确定的失控疾病率：非洲猪瘟等重大疫情猪肉以外的肉类...
2019-05-17 20:19:48
2556
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人