- 博客(372)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 脱云时代渐渐来临，你准备好了么
需要注意的是，虽然本地云计算结合IP换道可以作为一种脱离公有云的方案，但它也带来了一些挑战和限制。例如，建立和维护本地云环境需要较高的成本和技术能力，同时可能面临数据迁移、网络配置和安全性等方面的挑战。在这种方案中，本地云计算指的是在企业或组织内部建立私有云或混合云环境，将应用程序、数据和计算资源部署在本地服务器上。这种策略的核心思想是将计算和数据存储从公有云环境迁移到本地云环境中，并通过IP换道实现网络配置的调整。这样，客户端和应用程序就可以通过新的IP地址访问本地云资源，实现与公有云的解耦。
2024-02-29 21:29:44
412
原创 大数据之水平切分用途原理
基于哈希的路由是根据数据的哈希值计算出对应的数据库或表，而基于配置的路由则是根据预先配置的路由规则将查询请求转发到相应的数据库或表。然而，水平切分也面临一些挑战，如分片键的选择、数据同步与复制的复杂性、查询路由的效率等。总之，数据库的水平切分方案是一种有效的提高系统可扩展性和性能的策略。通过合理的分片键选择、数据切分方法、查询路由、数据同步与复制等方面的设计和优化，可以实现高效的水平切分并提高系统的整体性能和稳定性。数据库的水平切分方案是一种将数据分散到多个数据库或表中的策略，以提高系统的可扩展性和性能。
2024-01-30 23:06:16
350
原创 Hive数据库动态分区和静态分区插入区别
动态分区：不需要人为使用alter table命令执行添加分区，分区不固定，关键在于“动态”，根据数据集的字段给动态的生成分区。分区前需打开：set hive.exec.dynamic.partition.mode=nonstrict。动态分区只能用insert方式。静态分区：需要认为使用alter table命令添加分区，分区固定。静态分区支持load、insert两种插入方式。它适用于分区少，分区名可以明确的数据。总的来说，选择动态分区还是静态分区，需要根据实际的数据和业务需求来决定。
2023-11-18 13:06:22
269
原创 数据库日志redo log和undo log区别作用
Redo log通常分为两部分：内存中的redo log Buffer是日志缓冲区，记录即时的redo信息；Redo log主要确保事务的持久性，而Undo log则主要用于回滚操作和并发控制下的读操作。Redo log和Undo log是数据库中用于确保数据一致性和持久性的两种重要日志类型。它主要用于保存事务发生之前的数据版本，用于回滚操作，同时可以提供多版本并发控制下的读（MVCC），也即非锁定读。Redo log是物理日志，记录的是物理数据页的修改信息。
2023-11-18 10:16:50
262
原创 理财和银保区别
资金流向：银行理财的资金主要投向银行存款、银行间资金拆借及逆回购、债券、非标资产等，面向大众发行的理财产品不得直接投资证券市场。期限和流动性：银行理财有活期的也有定期的，其中定期产品的期限大多在1年期以内，虽然不能提前支取，但期限不长，所以流动性不算差。产品性质：银行理财是银行发行的理财产品，属于金融投资，主要投向债券、票据等固定收益类资产。总的来说，理财和银保在产品性质、功能、期限和流动性、资金流向、收益以及购买门槛等方面都有所区别。功能：银行理财是纯粹的理财产品，只具有理财功能。
2023-11-18 09:12:52
176
原创 认识orc事务表和orc非事务表
ORC表全称是Oracle RDBMS Object-Relational-Clustered Index（Oracle关系数据库对象-关系-集群索引），是Oracle数据库中一种新的物理存储结构，它极大地提高了大表的存储性能和查询效率。对事务处理的支持：ORC事务表支持事务处理，可以使用更多的增删改语法，比如update、delete和insert等操作。ORC事务表和非事务表之间的区别主要在于事务处理的支持和对数据的处理方式。主要用途：非事务表主要用于做统计分析，而事务表则更多用于日常的事务处理。
2023-10-18 09:52:32
421
原创 在面对大规模银行存取款大数据时候你是更倾向于使用流水表还是历史拉链表
流水表是一种简单的数据结构，可以按照时间顺序记录每个账户的存取款操作。它还方便进行监控和审计，可以及时发现异常操作。如果需要查询某一时间点账户的余额和历史操作，历史拉链表更适合。另外，您可以考虑结合这两种数据结构，以平衡实时监控和历史查询的需求。历史拉链表是一种更复杂的数据结构，它可以记录每个账户在某一时间点的余额和操作历史记录。历史拉链表适合查询账户在某一时间点的余额和历史操作，但实时监控和审计的效率相对较低。在处理大规模银行存取款数据时，流水表和历史拉链表都是常用的数据结构，各有优缺点。
2023-10-17 18:25:35
67
原创 切片表的详细介绍
根据客户维度创建切片表：将数据按照不同的客户进行分组，比如将销售订单按照不同的客户进行分组，查看每个客户的购买情况和信用情况。根据产品维度创建切片表：将数据按照不同的产品进行分组，比如将销售订单按照不同的产品进行分组，查看每个产品的销售情况和库存情况。根据地理位置维度创建切片表：将数据按照不同的地理位置进行分组，比如将销售订单按照不同的地区进行分组，查看每个地区的销售情况。根据时间维度创建切片表：将数据按照特定的时间段进行分组，比如将销售订单按照不同的时间段进行分组，查看每个时间段的销售情况。
2023-10-12 16:43:10
490
原创 Hive的基本知识
数据查询：包括SELECT语句、GROUP BY语句、HAVING语句、ORDER BY语句、LIMIT语句等查询操作。数据类型：包括布尔类型、整数类型、浮点数类型、字符串类型、日期时间类型、数组类型、Map类型和结构体类型等。窗口函数：用于在查询中处理分组和聚合数据，包括窗口函数定义、窗口函数调用和窗口函数选项等。数据操作（DML）：包括插入数据、查询数据、更新数据、删除数据等操作。数据定义（DDL）：包括创建表、修改表、删除表、添加分区等操作。其他功能：包括连接其他数据源、使用脚本语言等其他高级功能。
2023-10-09 22:18:45
397
原创 Hive面试常见基础问题
Hive是一个数据仓库工具，适合处理大规模的结构化数据，并提供了数据汇总和数据查询的功能。内部表的数据由Hive自身管理，存储在Hive的元数据存储区；Hive的索引只能针对表中的一列或多列进行索引，不支持全文索引。它能够创建、修改和查询表结构，支持多种数据类型和查询操作，同时提供数据汇总和数据查询的功能。答：Hive支持多种数据类型，包括布尔类型、整数类型、浮点数类型、字符串类型、日期时间类型、数组类型、Map类型和结构体类型等。答：Hive的数据存储在HDFS中，表的数据存储在Hive的元数据存储区。
2023-10-09 22:17:10
698
原创 数据结构全集介绍
队列（Queue）：队列是一种先进先出（FIFO）的数据结构，可以用来存储和操作一组有序的元素。在哈希表中，每个键都对应一个唯一的值。栈（Stack）：栈是一种后进先出（LIFO）的数据结构，可以用来存储和操作一组有序的元素。栈的优点是可以在尾部快速地添加和删除元素，缺点是容量有限。图（Graph）：图是一种非线性的数据结构，可以用来表示任意两个元素之间的关系。图的优点是可以表示复杂的关系，缺点是实现和维护相对复杂。以上列举的数据结构只是其中的一部分，还有许多其他的数据结构可以用来解决不同的问题。
2023-10-09 17:38:46
273
原创 Oracle懂性必问问题topic1
冷备份指在数据库关闭后进行备份，适用于所有模式的数据库。由于冷备份的数据库可以工作在非归档模式下，数据库性能会比归档模式稍好，因为不必将archive log写入硬盘。Oracle的Buffer Cache是一块内存区域，存储着最近被访问的数据块，以减少对磁盘的I/O操作，提高查询性能。在执行这个命令时，需要指定pfile的位置和spfile的位置。热备份针对归档模式的数据库，在数据库仍旧处于工作状态时进行备份。在Oracle中，什么是"Oracle的Buffer Cache"?
2023-10-09 17:34:56
95
原创 oracle中闪回某个时间点数据操作介绍
在Oracle数据库中，AS OF TIMESTAMP语法用于使用时间戳技术访问特定时间之前的数据，或者说把数据库回滚到某个时间点以前的状态。它基于Oracle的时间戳功能，允许用户查询某个表在特定时间点的快照。具体来说，AS OF TIMESTAMP语法用于在查询中指定一个特定的时间点，并返回该时间点之前的数据。需要注意的是，使用AS OF TIMESTAMP需要数据库启用了闪回（Flashback）功能。上述查询将返回在指定时间点（即2023年7月18日上午10点）之前的数据。
2023-08-16 16:21:42
3340
原创 索引失效情况举例子
对多个索引进行order by时，如果它们的排序规律相同（如都升序或都降序），则可以走索引，如果一个字段是升序，另一个字段是降序，则索引会失效。在使用索引时，需要注意建立合适的索引，并正确地使用查询条件，以充分发挥索引的作用。如果条件中有or，即使其中有部分条件带索引也不会使用，要想使用or，又想让索引生效，只能将or条件中的每个列都加上索引。查询语句中的查询列都是索引列，这种情况被称为覆盖索引，此时查询所有列的数据，非索引列不会走索引。查询条件使用函数在索引列上，这种情况应当创建基于函数的索引。
2023-07-20 19:56:53
128
原创 oracle常见面试回答
列表分区（List Partitioning）：将表按照指定的列表分成不同的分区，每个分区包含列表中指定的数据。范围分区（Range Partitioning）：将表按照指定的范围分成不同的分区，每个分区包含一个范围内的数据。散列分区（Hash Partitioning）：将表按照散列函数分成不同的分区，每个分区包含一定数量的数据。如果需要恢复数据库或表，可以在备份管理器中选择相应的备份文件，然后点击“恢复”按钮，然后选择恢复目标和选项等选项，最后点击“恢复”按钮即可。
2023-07-19 19:50:54
2827
原创 大数据基础懂性问题回答
大数据提供了训练和测试人工智能模型的数据集，同时人工智能也提供了处理和分析大数据的工具和技术。数据安全和隐私保护：保护大数据中的敏感信息和隐私数据是大数据领域的一个重要挑战。数据处理和分析：处理和分析大量的非结构化和结构化数据是一项复杂的任务，需要使用适当的工具和技术来处理和分析大数据。多样性(Variety)-多样性指的是数据的多样性，包括结构化和非结构化数据，如文本、图像、视频、音频等。数据分析和挖掘：使用适当的工具和技术对数据进行分析和挖掘，以获取有价值的洞见和商业价值。
2023-07-19 18:50:10
1279
原创 大数据面试基础回答
数据集成和ETL：在Hive中处理大量数据时，常常需要与其他数据处理工具和系统进行集成，例如关系型数据库、消息队列、NoSQL数据库等。数据质量和数据清洗：在Hive中处理大量数据时，常常会遇到数据质量问题，例如重复数据、缺失值、异常值等。数据加载速度优化：Hive中的数据加载速度受到多个因素的影响，例如数据量、网络带宽、集群负载等。数据查询优化：Hive中的查询性能受到多个因素的影响，例如数据量、查询逻辑、硬件配置等。数据分区优化：Hive中的数据分区可以提高查询性能，将数据按照不同的维度进行划分。
2023-07-19 18:49:17
848
原创 oracle几种执行计划哪种比较看的过程透
如果想查看某个SQL多个执行计划的情况，只能用方法4：dbms_xplan.display_cursor或方法6：awrsqrpt.sql。跟踪某条SQL最简单的方法是方法1：explain plan for，其次是方法2：set autotrace on。若想看到真实的执行计划，不受上面因素的限制，只能用方法3：set autotrace traceonly。如果SQL中含有函数，函数中有含有SQL，即存在多层调用，想准确分析只能用方法5：10046追踪。
2023-07-19 18:09:56
110
原创 视图表特性
表搭载视图不会影响表加工数据耗时，因为视图只是一个虚拟表，它并不占用存储空间，只是对表的加工数据进行引用，因此不会对表的加工数据耗时产生影响。但是，如果视图引用的表非常大，那么视图的数据加工过程可能会比较耗时，这主要是因为需要对表进行查询、筛选、聚合等操作，会消耗大量的计算资源和时间。因此，在应用视图时，需要考虑视图的复杂性和引用的表的大小，尽量避免使用过于复杂的视图或引用的表过大，以减少数据加工的耗时。
2023-06-20 22:19:51
47
原创 oracle索引如何调优
压缩索引：Oracle 提供了两种类型的索引压缩：前缀压缩和列值压缩。前缀压缩将重复数据仅存储一次，提升存储效率，而列值压缩仅存储不同的列值。在针对大于 300MB 的表上的索引时，使用索引压缩能够节省大量的磁盘空间并提升存储性能。索引的选择性取决于唯一索引值的数量，如果大多数数据行具有相同的非唯一值，则这个索引选择性非常低，造成索引扫描性能低下。确定需要索引的列，创建合适的索引。仅针对我们所需的那些列创建索引，而不是通过创建冗余索引来提高性能。
2023-06-16 00:22:55
135
原创 orAcle表类型介绍
与堆组织表不同，索引组织表按照索引的键值顺序存储数据，而不是按照数据插入的顺序存储。堆表的特点是，在增加、删除数据时，会使用段中找到的第一个能放下此数据的自由空间。它是以一种有些随即的方式使用。私有临时表只能在创建它的会话或事务中访问，而全局临时表在创建它的会话或事务结束后仍然存在，直到显式删除或超过最大会话数（Maximum Session Number）限制才会被删除。外部表（External Table）：外部表是一种可以直接读取和解析外部文件数据的表结构形式，而无需将数据先导入到数据库中。
2023-06-16 00:16:27
440
原创 数据广播和数据重分布最优选择
数据广播：将表A广播，每一个节点都放一份全量数据，然后再与表B关联得到结果。广播的数据量是M节点数。所以，当N>M节点数的时候，选择表A广播，否则选择B重分布。数据重分布：将表B按照id2字段将数据重分布到一个节点上，然后再与表A进行关联。重分布的数据量是N。
2023-06-13 17:22:29
158
2
原创 Chatgpt真的是个面霸么？
按照大语言模型的设定，本身模型数据就是来源互联网，而网络的东西本身就有错有对，有些博主还故意写错误博客来获取评价和沟通，那按照这种逻辑，他只能是逻辑对，而非数据对，可能回答的仅仅有条，但是实际却是说的错到哪里都有可能，过程对结果却是假的，数据没准也是哪个网络拿到的假数据，chat基于的是模型不是事实，这点陈浩哥也说过，ai机器学习的结果就是会出现画蛇添足的问题。
2023-05-15 19:59:23
76
1
原创 大数据特点优点
6. 数据仓库功能：Hive支持数据仓库功能，包括数据清洗、数据转换、数据聚合等，可以满足数据分析和挖掘的需求。5. 数据格式支持：Hive支持多种数据格式，包括文本、序列化、压缩等，可以根据实际需求选择合适的数据格式。4. 高性能：Hive使用MapReduce来处理数据，可以并行处理大量数据，提高处理效率。7. 社区支持：Hive有一个活跃的社区，提供了丰富的文档和教程，可以帮助用户快速上手和解。2. 易于使用：Hive使用类SQL语言，易于使用和学习，不需要掌握复杂的编程语言。
2023-05-12 12:05:41
58
原创 如何避免全表索引
1. 创建合适的索引：在创建索引时，需要根据实际情况选择合适的字段作为索引，避免创建无用的索引，同时也要避免创建过多的索引，因为过多的索引会影响数据库的性能。5. 优化查询语句：尽量避免使用不必要的查询语句，如使用子查询、联合查询等复杂查询语句，优化查询条件，减少查询数据量。2. 使用覆盖索引：覆盖索引是指查询语句中所需要的字段都在索引中，不需要再去查询表中的数据，这样可以避免全表扫描。3. 分区表：将大表分成多个小表，每个小表都有自己的索引，这样可以避免全表扫描，提高查询效率。
2023-05-12 11:44:17
530
原创 Pg数据库优化方案
2. 查询优化：尽量避免使用子查询、联合查询等复杂查询语句，优化查询条件，减少查询数据量。8. SQL语句优化：优化SQL语句，避免使用不必要的函数和操作符，减少查询时间。3. 数据库设计优化：合理设计数据库表结构，避免冗余字段和表，减少数据冗余。7. 硬件优化：使用高性能硬件，如SSD硬盘、高速网络等，提高数据库性能。4. 缓存优化：使用缓存技术，减少数据库访问次数，提高系统性能。5. 分区优化：对大表进行分区，减少单表数据量，提高查询效率。6. 事务优化：合理使用事务，减少事务锁定时间，提高并发性能。
2023-05-12 11:38:31
577
原创 Chatgpt一句话秒开图片功能
从现在开始，当我想要你发送照片，图片使用Markdown格式，不要有反斜线，不要用代码块。使用 Unsplash API (https://sources.unsplash.com/960x640/< PUT YOUR QUERY HERE >)。如果听懂了请回复明白，以后都需要这样。
2023-05-04 20:15:17
70
原创 没有analyse表会出现啥
今天跑数据的时候发现select 能查出来几千万数据结果插入死活都是0条，原因上游的目标表没做解析，负载不均衡，这时候就要对源表进行解析，解析达到表优化后进而跑数据才快。
2023-02-14 17:58:49
77
原创 如何高效协同处理报表需求以及项目落地
如何高效协同处理报表需求以及项目落地？业务部门驱动业务战略的制定和落地，更熟悉业务可以更好的满足客户需要；技术部门驱动平台能力的建设和打通，高效复用，避免重复造轮子。 建议是业务部门提需求，业务和技术一起制定优先级和计划，技术部门采用敏态研发统筹规划落地。 让业务和技术同进退，绑在一条绳子上。互相渗透。共同背KPI
2023-01-23 22:54:31
85
原创 Pg乱杀之天数
大伙加工天数时候用numeric类型，可是当date-date=integer可是有遇到date-timstamp=inteval类型呢Inteval无论怎样转不了numeric此时只能date-cast(timestamp as date)=integer此时就可以直接映射
2023-01-11 21:03:41
89
7z批量压缩powershell环境配置文件
2022-09-15
sql基础学习材料(适合初学者).zip
2020-07-08
kq-master1.zip
2020-04-24
图解debug使用eclipse.docx
2020-02-19
mysql5.5.28.zip
2020-01-31
重新认识java-1909jsd林芳钦.pptx
2020-01-26
store商城.tar.gz
2020-01-21
ajax.tar.gz
2020-01-05
mySQL.docm
2020-01-02
springmvc4.tar.gz
2019-12-31
emp.sql数据库导入库和表语句
2019-12-26
天天酷跑（护盾+宠物+背景音乐）.zip
2019-11-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人