- 博客(112)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Postgresql中常见的执行计划解释
PostgreSQL中的执行计划（或查询计划）是数据库管理系统用来详细说明如何执行特定SQL查询的一系列操作步骤。对于涉及多个表的查询，执行计划显示了表之间是如何连接的，比如使用嵌套循环连接（Nested Loop Join）、合并连接（Merge Join）或散列连接（Hash Join）等方法。如果你还想看到执行该查询时的实际运行时间和资源消耗，可以使用EXPLAIN ANALYZE，这将执行查询并提供更详细的执行统计信息。遇到复杂的语句跑不动，通过执行计划分析下会有好的优化方法。
2024-03-20 16:26:43
419
原创 Matlab r2020b版本下载及安装过程
13 替换dll文件：找到前面下载的安装包文件夹，该文件夹下有个Crack文件夹，复制该文件夹下的libmwlmgrimpl.dll文件，粘贴到软件的安装位置目录下的bin文件夹下，系统默认安装时，文件夹路径为C:\Program Files\Polyspace\R2020b\bin\win64\matlab_startup_plugins\lmgrimpl。7 点击浏览，在弹出的文件选择对话框中选择下的安装包中Crack文件夹下的许可文件，点击打开，然后点击下一步。后的 “是”，然后点击“下一步”
2024-03-16 19:40:14
825
原创 Python下载和处理GDELT 2.0 事件数据
gdlet每时每刻监控着每个国家的几乎每个角落的100多种语言的新闻媒体—印刷的、广播的和web形式的，识别人员、位置、组织、数量、主题、数据源、情绪、报价、图片和每秒都在推动全球社会的事件，GDELT为全球提供了一个自由开放的计算平台。
2024-03-15 13:42:28
994
原创 Postgresql中触发器的使用
在这里，我们创建了一个名为update_employee_modtime的触发器，它在employees表上每次行被INSERT或UPDATE之前被触发。在PostgreSQL中，触发器是一种特殊类型的函数，它会自动在数据库上执行特定操作之前或之后触发。设计触发器时要考虑其对性能的潜在影响，尽可能优化触发器函数的代码。在上面的函数中，NEW是一个特殊的记录类型，它包含了触发器执行后的行的新值。触发器本身：这是触发器的定义，它连接触发器函数和一个表，并指定何时触发（例如，在INSERT之前、之后或代替）。
2024-02-28 17:54:53
712
1
原创 Postgresql中VACUUM操作原理和应用
VACUUM操作在PostgreSQL中的底层原理涉及几个关键概念，包括MVCC（多版本并发控制）、事务ID包裹、以及垃圾回收机制。我们逐一解析这些概念，以及它们是如何与VACUUM操作相互作用的。
2024-02-28 09:36:23
1105
原创 Elasticsearch中Document Routing特性
Document Routing在Elasticsearch中是一种高级特性，它允许用户在索引文档时指定一个路由值。通过这种方式，可以确保具有相同路由值的所有文档都存储在同一个分片中。这对于提高查询效率特别有用，因为它允许查询只针对包含相关文档的特定分片，而不是整个索引。
2024-02-07 18:09:54
1142
原创 Elasticsearch的Index Lifecycle Management（ILM）
Elasticsearch的Index Lifecycle Management（ILM）功能提供了一种自动化管理索引生命周期的方式。ILM使得用户可以基于特定的条件（如索引的年龄、大小等）来自动执行如回滚、删除等操作，进而优化存储和提高查询性能。ILM主要包括四个阶段：Hot、Warm、Cold和Delete，每个阶段都可以自定义一系列的操作。
2024-02-06 10:32:25
1019
原创 Elasticsearch 中的索引的分区(Shards)和副本(Replicas)的使用
创建索引时指定分片和副本数当您通过Elasticsearch的REST API创建一个新的索引时，可以在请求体中使用settings部分来指定该索引的分片数（number_of_shards）和副本数（number_of_replicas）。
2024-02-06 10:22:40
1810
原创 Elasticsearch单个索引数据量过大的优化
当Elasticsearch（ES）中的单个索引（index）的数据量变得过大时，可能会遇到性能下降、查询缓慢、管理困难等问题。。
2024-02-06 09:58:05
1440
原创 Postgresql数据库存储过程中的事务处理
当一个存储过程（Procedure）内部调用另一个存储过程时，事务的处理方式依赖于几个关键因素，包括你的具体需求、PostgreSQL的版本以及是否使用了嵌套事务（在PostgreSQL中通常通过保存点（Savepoints）实现）。4. 回滚事务（ROLLBACK）：如果事务中的任何SQL操作失败，或者你出于某种原因需要撤销事务中的所有操作，你可以使用ROLLBACK命令来回滚事务。如果需要更细粒度的控制，或者在一个长的事务中部分地回滚到某个特定点，可以使用保存点（Savepoints）。
2024-02-04 14:59:53
842
原创 POSTGRESQL中ON CONFLICT的使用
在 PostgreSQL 中，ON CONFLICT 子句是用在 INSERT 语句中的一种机制，它可以帮助你处理当插入操作遇到违反唯一性约束（比如唯一索引或主键约束）时的情况。使用 ON CONFLICT 子句，你可以指定当违反唯一性约束时应该采取的操作，比如忽略这个插入，或者更新已经存在的行。
2024-01-10 10:03:20
1314
原创 postgresql数据库中的建表和约束
comment on column pdw_sample_receive_item_t.id_card is '病例卡号';comment on table pdw_sample_receive_item_t is '数据仓库层_病历基本信息';另外注意postgresql数据库中大小写是敏感的；
2023-12-12 14:12:21
412
原创 postgresql中创建外表查询报错问题
42P01] ERROR: relation "order_info_t" does not exist 在位置：PL/pgSQL function lims.get_order_type_f(character varying) line 16 at SQL statement remote SQL command: SELECT count(*) FROM lims.sample_order_v。在B库创建外表指向A库的视图，A库的视图中使用了函数，并且函数中使用了表order_info_t，
2023-12-07 10:43:16
676
原创 ES7版本索引创建失败问题处理
The mapping definition cannot be nested under a type [_doc] unless include_type_name is set to true
2023-02-21 19:29:19
2546
1
原创 2022中国面向人工智能的数据治理行业研究报告
前言：数据与数据治理数据资产数字经济的“货币”，早已不限于数字形式“数据资产化”是企业发展的重要内涵。“数据”并不仅指以数字形式存储的信息，根据其特性及治理方法可以划分为内部数据与外部数据，结构化数据、非结构化数据与半结构化数据，元数据与主数据等。正在上传…重新上传取消数据爆发IT设施“扩容”、IoT广泛连接带来数据暴增数据时代来临，大量业务数据被采集、存储，以支撑企业数字化和创造经济效益。但很多企业早期的信息化建设缺乏统筹规划，导致数据孤岛，数据不规...
2022-05-19 21:47:47
1929
原创 数据仓库设计规范
1-为什么要有规范？俗话说的好，无规矩不成方圆，没有规范岂不乱套了? 老彭觉得，规范是为了解决团体作战中的效率和协同问题，是对最终交付质量的有力保证。工作中有没有遇到类似的问题？ 接到了一个需求，不知道该从那张表出数，表A貌似可以，表B好像也行。问了同事甲，他说他每次都是从C表出的。对着三张表探索了好久，发现谁跟谁都对不上，算了吧，我从源头再算一次吧，结果又变出来一张表D。 数据库里几千张表，好像我用到的也就那么十几张，其它的都是干啥用的呢，问了一圈没有人知道，删掉吧？更没有人敢动。
2022-05-19 10:37:04
1897
原创 Python中的下划线、双下划线
单下划线和双下划线在Python变量名和方法名中都有各自的含义。有些仅仅是作为约定，用于提示开发人员；而另一些则对Python解释器有特殊含义。
2022-01-04 14:11:01
9011
1
原创 IDEA本地maxcompute开发环境搭建
1.本地完成idea的安装2.安装MaxCompute Studio插件确认安装后，重新启动IntelliJ IDEA，完成插件安装。3.管理项目连接(1).创建MaxCompute Studio项目(2).创建MaxCompute项目连接这里建议把配置信息放到一下配置文件中，可以直接选择配置文件中读取，该配置文件后续也可以提供给MaxCompute客户端（odpscmd）的客户端链接项目使用完成以上步骤之后就能在本地看到项目中的元数据和资源信息：..
2021-12-31 15:39:46
2308
原创 shell 脚本中字符串截取
假设有变量 var=http://www.weichengke.csdn/123.htm1. # 号截取，删除左边字符，保留右边字符。 1 echo ${var#*//} 其中 var 是变量名，# 号是运算符，*// 表示从左边开始删除第一个 // 号及左边的所有字符即删除 http://结果是 ：www.weichengke.csdn/123.htm.2. ## 号截取，删除左边字符，保留右边字符。 1 ech...
2021-09-22 15:51:53
1116
原创 国际业务跨越多个时区的数据处理方案
国际业务跨越多多个国家或者地区的时候，业务数据也会随着时区的不同产生不统一的发生时间，这就会给数据抽取，加载，清洗，统计等多个环节带来很多问题。
2021-06-05 16:35:57
2025
2
转载 GMT UTC CST ISO 夏令时 时间戳
日期/时间的处理是平时开发中非常常见的场景，若只是简单的格式化场景那就还好，一旦涉及到时区、跨地域跨时区时间转换场景，甚至当还有GMT时间、UTC时间等一堆概念堆上来的时候，总是心理发虚，招架不住。在地球村的信息化时代背景下，跨国企业/跨国做生意的公司越来越多，所以我们程序员遇到不同时区之间的日期/时间转换/显示的概率大大增加。譬如说：电商平台的商品下单时间，你给中国人页面里展示北京时间是ok的，但你总不能给美国人也展示北京时间吧？否则美国人看到很多订单的下单时间是凌晨1、2点，还以为午夜凶铃呢。
2021-05-31 15:34:16
1092
原创 python连接mysql—读取配置文件中数据库连接信息
1.新建一个db_config.ini文件，如下2.新建一个readconfig.py文件，读取配置文件的信息import configparsercf = configparser.ConfigParser()# 读取配置文件，如果写文件的绝对路径，就可以不用os模块cf.read("E:\Crawler\config.ini") # 获取文件中所有的section(一个配置文件中可以有多个配置，如数据库相关的配置，邮箱相关的配置， 每个section由[]包裹，即[sec.
2021-04-28 18:58:59
2513
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人