仲培艺-CSDN博客

原创沃趣赵晨 | 从技术岗位到产品经理：漫谈IT产品经理的生存之道

2018年4月20日，沃趣科技“匠心·新征程”专题产品发布会在杭州蝶来望湖宾馆盛大开幕，以沃趣最新一代数据库私有云产品QData T5为首，特邀杭州市经信委、高新区（滨江）政府、杭州市中小企业服务中心等单位，以及业内专家学者、合作伙伴与媒体人相约西子湖畔，一同见证沃趣科技专注数据库领域的六载进阶征途，共话数据云产业发展趋势。沃趣科技基于产品在实现数据库产品高性能、高可用的基础上，...

2018-05-08 09:27:13 3180

原创 PGConf US 2018 圆满落幕，中国PG分会备受关注

美国时间2018年4月20日，为期五天的PGConf US 2018圆满落幕。本届大会云集了Joshua D.Drake、Bruce Mojian等社区元老及技术大咖，汇聚了EDB、Pivotal、第二象限等实力企业，吸引了七百余名参会者，涵盖学生、DBA、开发人员等人群。中国开源软件推进联盟PostgreSQL分会首次亮相国际盛会，受到了国际社区及其他区域社区的关注。本次大会贡献了为期五...

2018-04-24 16:54:57 868

原创 PGConf US 2018 Day3 速报

PGConf US 2018在今天举行了会议开幕式，PGConf联合主席Jim Mlodgenski宣布会议开始。在开幕式上，联合主席Joshua D.Drake在对会议安排进行说明时，特别对中国PG分会进行了介绍，并宣布PGConf将于2019年在中国组织活动。PGConf APAC（亚洲PGConf）组织人Sachin Dabir同中国PG分会代表就双方的PG会议活动组织情况进行了...

2018-04-23 10:34:29 763

原创瀚高王亮：解读《PB级数据仓库和开源Greenplum数据库》

摘要：《PB级数据仓库和开源Greenplum数据库》是来自Pivotal Software公司的Marshall Presser的主题培训，介绍了GreenPlum系统一些技术方案。Marshall Presser 是Pivotal的数据实验室工程师，帮助用户来解决使用GreenPlum做大数据分析时候遇到的一些问题。本文是瀚高软件工程师王亮对此培训的总结及解读。Petabyte S...

2018-04-20 15:17:16 2696 1

原创 PGConf US 2018 Day2 速报

Day2： 2018年4月17日星期二美国纽约泽西城 PGConf US 2018第二天的主题依旧以PGConf培训为主，同时开放区的现场布置工作也启动。中国PG分会及企业代表进行了展位布置，这是中国PG社群组织首次在国际社区中的首次公开亮相。大会图集PGConf的创始人Joshua D.Drake及社区元老Bruce Momjian对瀚高软件代表中国参会表...

2018-04-20 15:04:27 491

4月16-20日，第七届Postgres Conference US大会（以下简称“PGConf US”）在美国纽约泽西城召开。PGConf US是美国最大的PostgreSQL教育和宣传平台，每届大会都将安排持续一个周的系列活动，包括培训、主题演讲及分组会议。中国PG分会代表一行赴美参与此次盛会，下面由瀚高软件研发工程师王亮为各位带来首日的会议速报。中国PG分会代表一行与Bruce Momjia...

2018-04-18 10:13:29 923

原创中国PostgreSQL分会赴美参与PGConf US大会

4月16-20日，第七届Postgres Conference US大会（以下简称“PGConf US”）将在美国纽约泽西城召开。PGConf US是美国最大的PostgreSQL教育和宣传平台，每届大会都将安排持续一个周的系列活动，包括培训、主题演讲及分组会议。历届PGConf US大会参与者已达到70000余人次，涵盖学生、DBA、开发人员等人群，从初学者到资深专家，从初创公司到世界五百强企业...

2018-04-16 10:55:13 653

原创湖北移动湛颖：撇开浮夸，正视差距

2017年10月21-22日，PostgreSQL 2017中国技术大会于深圳科兴科学园国际会议中心圆满收官。拥抱开源，聆听不同，广纳业界同好，与众PGer共话PostgreSQL的前世今生，来年他日。学术界浮躁之风日盛的当下，有说眼下国内的技术圈恰如滚水入茶，茶菁空悬，浮而未歇，需要的或许正是撇开浮沫残菁，冷静观之，正视差距，从跟跑到并跑——漫漫长路，我们还能走得更远。湖北移动网优中心规...

2018-01-24 15:59:29 804

原创平安科技汪洋：专业+优雅，聊聊你不知道的程序员艺术

跬步以积，云上看PostgreSQL的生态发展之路 2017年10月21-22日，PostgreSQL 2017中国技术大会于深圳科兴科学园国际会议中心圆满收官。拥抱开源，聆听不同，广纳业界同好，与众PGer共话PostgreSQL的前世今生，来年他日。近来，“程序员”似乎逐渐成为大家调侃的对象，“无趣”、“不修边幅”等标签化误解更是屡见不鲜，甚至成为许多技术从业者的“自黑”台词，但平安科技...

2017-12-28 09:16:34 5123

原创 BDTC 2017 | 潜能无限，深度剖析大数据在交通旅游领域的应用实践

【CSDN现场报道】12月7日-9日，由全球最大中文IT社区CSDN承办的“2017中国大数据技术大会”（BigData Technology Conference 2017，简称BDTC 2017）在北京新云南皇冠假日酒店隆重举行。本次大会以“大数据与智能为主题，聚焦最纯粹的技术干货分享，和最接地气的深度行业案例实践，汇聚国内外顶尖技术专家，共论最新的大数据技术实践与发展趋势。时代更迭，大数据技...

2017-12-12 12:54:53 1341

原创 BDTC 2017 | 有法必依，细究合规检查风向标之大数据安全与政策法规

2017-12-12 12:31:59 1062

原创容器化RDS｜调度策略

导语前文《数据库容器化｜未来已来》我们介绍了基于Kubernetes实现的下一代私有 RDS。其中，调度策略是具体实现时至关重要的一环，它关系到RDS 集群的服务质量和部署密度。那么，RDS 需要怎样的调度策略呢？本文通过数据库的视角结合Kubernetes的源码，分享一下我的理解。 It was the best of times, it was the worst of times。—— ...

2017-11-28 16:38:45 800

原创瀚高王硕：从Oracle到PostgreSQL，细数如何一步步打造完整的PG生态链

2017年10月21日，PostgreSQL 2017中国技术大会于深圳科兴科学园国际会议中心圆满收官。拥抱开源，聆听不同，广纳业界同好，与众PGer共话PostgreSQL的前世今生，来年他日。数据库作为最关键的基础设施，渗透技术领域的方方面面，而一个数据库的流行绝非偶然，PostgreSQL在中国历经多年磨合，面对前进途中的掣肘质疑，作为一个PostgreSQL学习中的爱好者，对此，又...

2017-11-24 14:57:49 2912

原创海量数据刘惠：有的放矢，浅析目标导向下的企业管理之道

2017年10月21日，PostgreSQL 2017中国技术大会于深圳科兴科学园国际会议中心圆满收官。拥抱开源，聆听不同，广纳业界同好，与众PGer共话PostgreSQL的前世今生，来年他日。作为企业管理的核心组成部分，团队的重要意义毋庸置疑，放眼当下，1+1>2 的理论在重复了太多次之后，似乎更多被视作心灵鸡汤式的短暂激励，团队归属感、企业文化氛围等抽象用语亦成了谈起这些话题时...

2017-11-09 14:41:57 671

原创拥抱开源，聆听不同的声音——2017 PostgreSQL大象汇暨第八届PostgreSQL中国技术大会行记...

活动介绍： 2017年10月21日，PostgreSQL 2017中国技术大会于深圳科兴科学园国际会议中心圆满收官。 “PostgreSQL大象汇”是由PostgreSQL中国用户会发起，一年一度的PG技术盛会，到2017年已经是第7屇。正值PostgreSQL 10新版本发布之机，今年大会特意邀请到PostgreSQL开源社区创始人之一的Bruce Momjian到来，为中国用户...

2017-11-03 14:16:57 499

原创 MongoDB Priamry为何持续出现oplog全表扫描？

线上某 MongoDB 复制集实例（包含 Primary、Secondary、Hidden 3个节点），Primary 节点突然 IOPS 很高，调查后发现，其中 Hidden 处于 RECOVERING 状态，同时 Priamry 上持续有一全表扫描 oplog 的操作，正是这个 oplog 的 COLLSCAN 导致IO很高。2017-10-23T17:48:01.845+0800 I CO...

2017-10-27 22:55:07 1142

原创 Oracle 12c R2版本Application Containers特性（一）

在Oracle Database 12c R2版本中，Oracle带来新的Application Containers特性，该特性对原有的多租户功能进行了增强，在CDB root容器中可以创建一个叫做Application root的容器，类似于CDB root，可在其内创建多个依赖于Application root的Application PDBs，其架构图如下：“Application”在Ap...

2017-10-13 16:55:56 2042

原创图数据库在CMDB领域的应用

【导语】在上期的图数据库介绍中，我们对什么是图数据库，以及图数据库所擅长的领域做了一个初步的介绍，也收到了众多的反馈和咨询，特别要求我们对图数据库在一些具体行业的应用能做一些深入介绍。为此，从本期文档开始，笔者将用一系列文章对图数据库在一些专门领域的部署和应用做专题介绍。第一期，将讲述图数据库在CMDB领域的建模和应用场景。传统CMDB的弊端CMDB，英文名Configuration Ma...

2017-10-12 15:50:42 4397

原创 MongoDB serverStatus.globalLock深入解析

【摘要】 MongoDB的用户在遇到性能问题时，经常会关注到serverStatus.globalLock指标，但对指标的含义不是很明确，本文会深入解释下globalLock指标的含义。PRIMARY> db.MongoDB的用户在遇到性能问题时，经常会关注到 serverStatus.globalLock 指标，但对指标的含义不是很明确，本文会深入解释下 globalLock 指标...

2017-09-30 11:10:21 867

原创十年磨一剑，在开发，为开发：MongoDB 2017中国用户组大会随行二三记

萌乃伊始，阔为坦途——后起而不怯，兼而力求在业界创造更多可能，这或许就是MongoDB（萌阔）想要对外传达的理念。2017年9月9日，2017 MongoDB中国用户大会在上海龙之梦万丽酒店圆满收官。十载转瞬，MongoDB几经迭代，填过坑改过道，一步步踏上非关系型数据库首席。其间种种，一言难弊，下面本次大会的议程随行录，将带你速览MongoDB的前世今生，来年他日。【MongoDB 中国...

2017-09-26 09:21:42 652

原创网易数据运河系统NDC设计与应用

【导语】 NDC是网易近一年新诞生的结构化数据传输服务，它整合了网易过去在数据传输领域的各种工具和经验，将单机数据库、分布式数据库、OLAP系统以及下游应用通过数据链路串在一起。除了保障高效的数据传输外，NDC的设计遵循了单元化和平台化的设计哲学，本篇文章将带大家近距离了解NDC的设计思路和实现原理。NDC简介NDC全名Netease Data Canal，直译为网易数据运河系统，是网易针...

2017-09-20 09:22:25 2833

原创 MySQL InnoDB Update和Crash Recovery流程

首先介绍了Redo，Undo，Log Sequence Number (LSN)，Checkpoint，Rollback Pointer (ROLL_PTR)，Transaction ID (TRX_ID)，Transaction Serialization Number(TRX_NO) 是什么？然后介绍了MySQL Update过程中发生了什么？Redo,Undo,双写之间如何...

2017-09-19 17:10:45 885

原创 MongoDB应用案例：使用MongoDB存储商品分类信息

【摘要】电商业务一个基本的功能模块就是存储品类丰富的商品信息，各种商品特性、参数各异，MongoDB 灵活的文档模型非常适合于这类业务，本文主要介绍如何使用 MongoDB 来存储商品分类信息，内容翻译自User case - Product Catalog 关系型数据库解决方案上述问题使用传统的关系型数据库也可以解决，比如以下几种方案针对不同商品，创建不同的表比如音乐专辑、电影这2种...

2017-09-15 16:03:04 4773

原创 Oracle 12c数据库优化器统计信息收集的最佳实践（三）｜何时不需要收集统计信息...

虽然优化器需要准确的统计信息来选择最优的执行计划，但是有些场景下，收集统计信息比较困难，或消耗资源较高，或收集统计信息不能及时完成，那么就需要另一种备选策略。不稳定的表不稳定的表即随着时间的变化，数据会发生巨大变化的表。例如，一个订单队列表，一天的开始它是空的，随着时间推移，订单会填满这个表，一旦某一订单被处理又会从这个订单表中删除，一天的结尾表又会变为空。如果你依赖于自动收集统计信息job来维护...

2017-09-14 09:53:35 761

原创 DB-Engines 2017年9月数据库排名发布

近日，DB-Engines发布了2017年9月数据库排名。数据库排行9月数据库排名依旧没有大波动，纵观前二十名榜单，前十次序依旧稳固，其后仍然是位置互换式的小调整——关系型数据库Hive上升一位暂列19座次，SAP HANA顺应落至20位，其余无变动。在得分方面，本次Oracle、MySQL以及Microsoft SQL Server三者均呈较大幅度的掉分，下滑值依次为8.78、27.69、12....

2017-09-07 17:15:43 329

原创 Oracle 12c数据库优化器统计信息收集的最佳实践（二）

何时收集统计信息为了选择最佳执行计划，优化器必须可以获得有代表性的统计信息。有代表性的统计数据不必是最新的，而是一组能够帮助优化器确定执行计划中每个操作所能返回的行数。自动统计信息收集任务Oracle会在预定义维护窗口期间 (工作日10pm 到2am 和周末6am 到2am )收集数据库中所有缺失统计信息或者统计信息过期对象的统计信息，您可以在Oracle企业管理器或使用DBMS_SCHEDULE...

2017-09-07 10:10:27 1938

原创 Oracle 12c数据库优化器统计信息收集的最佳实践（一）

导语Oracle优化器会为SQL语句产生所有可能的访问路径（执行计划），然后从中选择一条COST值最低的执行路径，这个cost值是指oracle估算执行SQL所消耗的资源。为了让优化器能够精确计算的每一条执行计划的COST值，这就需要被执行SQL语句所需访问的所有对象（表和索引等）和系统有必要的描述信息。这些必要的信息通常被称为optimizer statistics（优化器统计信息）。理解和管理...

2017-09-01 15:59:03 1990

原创 MongoDB Sharding Chunk分裂与迁移详解

【摘要】云数据库MongoDB版基于飞天分布式系统和高性能存储，提供三节点副本集的高可用架构，容灾切换，故障迁移完全透明化。 MongoDB Sharding关于MongoDB Sharding的原理，如果不了解请先参考：关于MongoDB Sharding，你应该知道的MongoDB Sharded Cluster架构原理注：本文的内容基于MongoDB 3.2版本。Pr...

2017-08-31 14:15:19 3818

原创 MongoDB查询优化：从10s到10ms

【摘要】本文是我前同事付秋雷最近遇到到一个关于MongoDB执行计划选择的问题，非常有意思，在探索源码之后，他将整个问题搞明白并整理分享出来。付秋雷曾是Tair（阿里内部用得非常广泛的KV存储系统）的核心开发成员，目前就职于蘑菇街。背景苏先生反馈线上某条查询很慢（10+ seconds），语句相当于：db.myColl.find({app:"my_app",requestTime:{$gte:14...

2017-08-25 10:50:41 40730 5

原创 2017 MongoDB中国用户大会部分嘉宾访谈集萃

从数据库新秀到如今非关系数据库领域的龙头，MongoDB已然走过十载。十年节点，回眸小驻，为了让更多中国用户了解这个为开发者而生的数据库，MongoDB中国2017大会将于9月9日在上海龙之梦万丽酒店火热开启。据悉，本年度大会规模空前，阵容强大。除了CEO Dev Ittycheria再次亲临现场发表主旨演讲外，巴克莱银行、大和资本市场、太平洋保险、安盛集团等国际知名企业重量级人物亦受邀在列。此外...

2017-08-24 14:39:07 416

原创 Amazon Aurora深度探索（二）

【前情提要】 Amazon Aurora深度探索（一） Aurora的存储架构存储层的设计和实现，体现了“the log is the database”，其含义是日志中包含了数据的信息，可以从日志中恢复出用户的数据，所以数据不一定必须再独立存储一份。而数据库的核心不仅是数据，保障数据的拥有ACID特性的事务和提供便捷查询的SQL语句，对以数据为基础提供商业的交易服务更...

2017-08-18 10:04:48 2393

原创 Amazon Aurora深度探索（一）

【导语】 Amazon的Aurora自从问世，就备受关注，其性能和实现架构是被关注的热点。2017年，Amazon发表了一篇论文，披露其实现的一些技术细节。本文在此背景下，对Aurora系统的实现从整体架构、存储、事务处理三个方面进行深入探讨，并从数据库内核技术实现的角度对Aurora做了一定的推测。2017年，Amazon在SIGMOD上发表了论文《Amazon Aurora: Desi...

2017-08-17 11:12:15 3547 2

原创探析大数据需求下的分布式数据库

一、前言大数据技术从诞生到现在，已经经历了十几个年头。市场上早已不断有公司或机构，给广大金融从业者“洗脑”大数据未来的美好前景与趋势。随着用户对大数据理念与技术的不断深入了解，人们已经开始从理论探索转向对场景落地的寻找，让大数据在企业中落地并开花结果。从大数据的管理和应用方向集中在两个领域。第一，大数据分析相关，针对海量数据的挖掘、复杂的分析计算；第二，在线数据操作，包括传统交易型操作以及海量数据...

2017-08-11 14:25:02 2652

原创浅谈分布式锁

【前言】随着互联网技术的不断发展，数据量的不断增加，业务逻辑日趋复杂，在这种背景下，传统的集中式系统已经无法满足我们的业务需求，分布式系统被应用在更多的场景，而在分布式系统中访问共享资源就需要一种互斥机制，来防止彼此之间的互相干扰，以保证一致性，在这种情况下，我们就需要用到分布式锁。分布式一致性问题首先我们先来看一个小例子：假设某商城有一个商品库存剩10个，用户A想要买6个，用户B想要买5...

2017-08-11 11:03:10 1771 1

原创 MySQL统计信息相关表介绍

相信大家都了解MySQL中的统计信息，那么统计信息是存放在哪里呢？我们怎么去查看？在MySQL中提供了两个表记录统计信息的相关内容，分别是 innodb_table_stats与innodb_index_stats。下面就这两个表的内容，与大家进行一些分享。innodb_table_stats这个表里面的内容还是比较好理解。重要的列：last_update就是最后一次收集统计信息的时间clus...

2017-08-10 17:05:59 1705

原创 DB-Engines 2017年8月数据库排名发布总体走势复归平稳

近日，DB-Engines发布了2017年8月数据库排名。数据库排行经历过此前一系列暴跌暴涨，8月数据库得分走势渐趋平缓，前二十名涨跌幅皆控制在十分以内。前十席位本月无变动，为首的三巨头自不必提，Oracle、MySQL、Microsoft SQL Server继续保持队形，或首此前波动影响，本月均有不同程度掉分，依次为7.00分、8.81分及0.52分。搜索引擎式数据库Elasticsearch...

2017-08-04 17:11:55 271

原创 mysqldump与innobackupex备份过程知多少（完结篇）

【前文传送门】mysqldump与innobackupex备份过程知多少（一）mysqldump与innobackupex备份过程知多少（二）mysqldump与innobackupex备份过程知多少（三）2. 现在看innobackupex2.1 innobackupex备份过程解读A库清空查询日志：[root@localhost ~]# echo > /home/mysql/da...

2017-08-02 11:33:36 4045

原创【Oracle 12c Flex Cluster 】Leaf Node的故障迁移

Oracle 在12c中使用hub-and-spoken技术实现了Flex Cluster的功能(即RAC集群中的每个节点不再需要既运行ASM实例又运行DB实例，各节点可以扮演不同的角色)。相比12c以前的版本，该功能使集群规模的扩大和缩减变得更加靠谱。原因如下：集群中各节点间网络的互相干扰变得更少。关键的集群组件争用更少，如OCR、VOTING DISK。一个Flex Cluster中可以...

2017-08-01 15:36:32 300

原创 mysqldump与innobackupex备份过程知多少（三）

【前文传送门】mysqldump与innobackupex备份过程知多少（一）mysqldump与innobackupex备份过程知多少（二）1.3 mysqldump有什么坑吗？想必大家都知道，mysqldump备份时可以使用--single-transaction + --master-data两个选项执行备份（老实讲，为图方便，本人之前很长一段时间，生产库也是使用mysqldudmp远...

2017-07-29 19:10:33 463

原创 MySQL 5.7并行复制中并行的真正含义

MySQL 5.7并行复制初理解我们知道MySQL 5.7并行复制引入了两个值last_committed和sequence_number。last_committed表示事务提交的时候，上次事务提交的编号，在主库上同时提交的事务设置成相同的last_committed。如果事务具有相同的last_committed，表示这些事务都在一组内，可以进行并行的回放。这个机制也是Commit-Paren...

2016-07-27

京东大规模高访问量业务下的技术及架构支撑-田琪

2016-07-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人