- 博客(97)
- 收藏
- 关注
RSS订阅原创 【学习笔记】mysql 数据库备份与恢复体验
在与RDS互通的ECS上登陆数据库查看一个表的记录id 100，name xd1执行备份数据库命令mysqldump--skip-triggers -h数据库访问地址 --protocol=TCP -u数据库用户名 -p数据库密码 -P3306 --databases rds_test1_0 --tables xdtest_0 --log-error=/root/dbbak/mysqldump_error.log > /root/dbbak/bak.sql从...
2020-06-30 20:10:22
367
原创 【java】java开发环境配置
JDK1.8安装##可选 windows jdk1.8下载地址 https://yuque.antfin-inc.com/bilin.xubilin/wfi8g5/tldpi0linux jkd1.8 下载地址 https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html下载 tar.gz 包 选择64位的操作系统将jdk包 解压压测服务器上tar -xvf jdk-8u251-linux-x64
2020-06-18 23:04:58
351
原创 对中年危机的思考
【开场笑话】“35岁是程序员工作的终点”。有人不同意中年危机这种说法，因为按照某些鸡汤所说，努力干上一万小时，争取成为“高精尖的一小撮人”，不就完美躲开中年危机了么？ 其实，这完全是正确的废话：以大神为参照的话，我缺的不是努力，而是智力。通俗地说就明白了：我本来是一位朴素的老农名，一心探索宇宙爆炸的奥秘，可是我在连无理数都还没有学明白的时候，回头一看，地里的麦苗早让驴给啃了。====...
2020-02-06 21:10:28
1090
原创 书籍《活着》读后感
【尝试三句话说清核心观点】1、新中国解放前后，老百姓努力活着的一个故事，光是活着已经很幸运了。在2020年新型冠型病毒宅家防护之际，重读《活着》，对人生有新的领悟。2、主人公 福贵 多次遭受白发人送黑发人的打击后，依然坚强地活着和善待这个世界，这也许是理解了一切事物之后的超然吧。3、人生是一场长跑，每一步都算数，短暂的损失也许是未来的福报，比如龙二抢了福贵的地主之位，却被当做地主枪毙了，...
2020-02-02 11:47:22
1405
原创 书籍《终生成长》读后感
【尝试三段话说清核心观点】1、固定型思维认为能力是固定的，更关心别人如何评价自己，如果成功代表聪明，则自信增加；如果失败代表不够聪明，则畏惧挑战。成长型思维认为能力是可以提高的，失败只以为不够努力和方法不对，更关心能否提高自己。因此我们看到有些人热衷于证明自己优秀或假装优秀，而有些人却能向骆驼一样沉住气专注学习提升自己。2、和别人对比，指责别人的问题，是固定型思维的典型特征。和自己的过去对...
2020-01-05 10:30:39
717
原创 【容灾演练】双机房容灾切换演练笔记
【背景】近日参与了xx客户的主备双机房演练，日常流量承接在主机房。容灾演练时，将流量切换到备机房，验证备机房是否能正常工作。【网络架构】关键技术点：1、主备机房流量切换通过公网DNS进行切换。切换速度取决于DNS缓存更新的速度，三大运营商可能需要半小时。一些云计算厂商，如阿里云的商业DNS切换速度更快，据说是分钟级甚至秒级。2、手机本身也有dns缓存，最简单清缓...
2020-01-01 11:19:45
2362
转载 【学习笔记】浅识session和cookie的机制
【背景】近期有个容灾切换项目涉及到客户端访问新机房的时候，session可能丢失的场景，学习一下session的原理。信息来源：https://www.cnblogs.com/wangpei/p/4884840.htmlhttps://blog.csdn.net/qq_33322074/article/details/88659594会话技术：从打开一个浏览器访问某个站点...
2019-11-13 20:58:17
157
原创 【学习笔记】浅识蚂蚁金服中间件产品“任务调度Schedule”
【背景】从蚂蚁金服官方网站资料上，初步了解任务调度的功能，把关键信息记录下来加深印象。编号 信息项 详情 1 产品概述 任务调度提供分布式任务调度框架，实现任务的分布式处理。 产品优势： 金融级高可用：支持机房级容灾，单机或单机房故障都不影响当前任务的执行，保障业务的正常执行。 高可靠高扩展：支持无限水平扩展，无性能容量瓶颈，监控任务的...
2019-11-10 18:27:28
997
原创 【学习笔记】异构数据源之间的数据同步工具-DataX
【背景】近期一个项目涉及Oracle和阿里巴巴的数据库OceanBase之间数据同步，需要一个工具来实现2种数据源之间的数据同步方案，客户需求是离线同步即可，刚好DataX是开源的，能够满足这个需求。【信息来源】这个博客写得非常好。手打copy一份，加深自己的印象。https://www.cnblogs.com/jiangbei/p/9430476.htmlDataX是什么...
2019-11-04 21:34:28
1374
原创 【学习笔记】浅识蚂蚁金服中间件产品“消息队列MQ”
根据蚂蚁金服官网公开的“蚂蚁金融科技-中间件1.3.0-消息队列2.8.15-使用指南V20190810.pdf”，记录消息队列MQ的一些关键功能和原理。序号 信息项 详细描述 1 蚂蚁MQ的独特优势 1、提供同步和异步消息。 2、发布者系统、消息代理组件及订阅者系统均支持集群水平扩展，可根据业务消息量动态部署计算节点。 3、支持事务型消息，保障消息与发...
2019-11-03 22:12:34
474
原创 【学习笔记】大数据相关术语
近期在了解阿里云大数据相关产品，做个简单笔记，相关术语的含义。数据仓库：英文名称为Data Warehouse，简称DW，研究和解决从数据中获取信息，满足企业商业决策和分析、数据化运营而创建，为企业提供数据智能来指导业务流程改进和优化时间、成本、质量和控制。商业智能：英文名称为Business Intelligence，简称BI，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技...
2019-11-03 21:12:00
473
原创 【学习笔记】浅识蚂蚁金服大数据产品“数据集成平台DIP”
信息来源：https://tech.antfin.com/docs/2/127816先一下蚂蚁金服大数据产品“数据集成平台”的相关术语，核心亮点：多数据源、任务调度编号 信息项 详情 1 数据集成平台DIP 包括：数据工厂DQS(Data query service)和任务调度服务JSS(Job scheduling service) 2 ETL脚本...
2019-10-29 21:56:07
894
原创 【学习笔记】浅识蚂蚁金服大数据产品“数据洞察分析平台DI”
信息来源：https://tech.antfin.com/docs/2/127816心得：一个报表工具，好像微软的Excel也能做。没错，简单的报表Excel能做，但是最核心的是Excel不支持外部多样的数据源。相关术语：编号 信息项 信息详情 1 数据洞察分析平台 DI 数据洞察分析平台是一个BI (商业智能Business Intelligence...
2019-10-29 21:53:28
781
原创 【容灾心得】浅谈业务补偿
【背景】设计一个十全十美的容灾方案，在技术和成本上是非常大的挑战，因此可以考虑服务降级和业务补偿。场景：Redis、Memcache、OCS（阿里云产品）通常用户缓存用户登录信息，这样使得用户不用频繁登录系统。在容灾切换到新的机房后，连接信息通常会失效，如果考虑缓存全部自动同步到备机房，技术难度较大。解决方案：业务支持幂等重试，即重试时也会获得相同的结果。...
2019-10-29 20:15:07
276
1
原创 【学习笔记】容灾场景下涉及常见的数据类型
【背景】近期基于阿里云和蚂蚁的产品做容灾方案，最难处理的是数据，因此整理一下涉及的数据类型，做个学习笔记。不对的地方，持续纠正。常见的数据存储类型 阿里云产品 蚂蚁产品 开源产品 说明 OTS -- hbase 表格存储，列式存储，HBase在物联网、车联网、用户画像、对象存储、AI、Feeds、GIS等场景有广泛应用 OSS -- ...
2019-10-27 18:08:13
274
原创 【学习笔记】tcpdump抓包 wireshark分析网络性能
tcp抓包命令：tcpdump -s 0 -i any -vvv -w /tmp/1.pcapwireshark 查看2个IP之间的网络时延：菜单栏 Statistics→TCP Stream Graph→Round Trip time 效果如下：往返时间（round-trip time, RTT）是指一个数据包从发出到确认被成功接收所需要的时间。或者说，往返时间就是数据包抵达目的地的...
2019-10-25 19:11:37
1659
原创 【学习笔记】为什么zookeeper的节点个数是奇数
【说人话的描述】拜占廷将军典故：古罗马时代有个强大的帝国叫拜占庭，她的军队非常强大，周围有10个小国家，饱受拜占庭帝国的欺压。但是，必须同一时间有6个以上的国家进攻才有可能打败拜占庭帝国，否则就一定会战败。问题出现了，古时候军队之间的通信完全依赖于人，如果一个国家的军队里有奸细，无论是下令的将军还是传信的通信兵，都可能会使得另外9个国家收到假消息，从而造成作战失败。那么如果你是一个小国的国王，...
2019-10-24 21:10:19
248
原创 【学习笔记】什么是Dubbo？
[说人话的描述]二手房交易过程，卖家、中介、买家、房管局之间最大程度保证交易安全，消除交易纠纷（解除耦合），交易结束后各回各家。[行业术语]Dubbo是Alibaba开源的分布式服务框架，最大特点是按照分层的方式架构，使用这种方式可以是各个层之间解耦合（或者最大限度松耦合）。从服务模型的角度看，Dubbo采用的是一种非常简单的模型，要么是提供方提供服务，要么是消费方消费服务。D...
2019-09-04 00:48:32
164
原创 【学习笔记】什么是REST？
【说人话的通俗描述】媒婆给一个女孩介绍了多个男孩，告诉女孩所有男孩的家在哪里（风景区别墅、普通小区、乡镇），以及可以要求男孩做什么（比如开车去兜风，买花来相亲，带我去看电影等等）。那么女孩在发出要求时，告诉媒婆，选住在哪里的男孩，要他开车去兜风。【行业术语】ReST：Representational State Transfer 表现形式状态转换 （这个解释好烧脑）本质：服务端提供给...
2019-08-12 22:10:14
734
原创 【学习笔记】什么是RPC？
【说人话的描述】几个闺蜜在逛街，有人说突然想起快递没收，要回去收快递。另外一个人说，打个电话回去给老公去收快递就行了。远程操作老公收快递这个过程，叫做远程操作。【行业术语】RPC（Remote Procedure Call）远程过程调用，它是一种通过网络从远程计算机上请求服务，而不需要了解底层网络技术的协议。RPC协议假设客户端和服务端已经知道对方有哪些接口，参数的格式是什么。...
2019-08-12 21:01:47
175
原创 【学习笔记】《为什么OceanBase架构特别适合双十一》
文章来源：http://blog.sina.cn/dpool/blog/s/blog_3fc85e260102wr0f.html?type=-1【尝试三句话说清楚核心观点】1、OB作为准内存数据库，经过2016年双十一验证，比传统数据库更合适像双十一、聚划算、秒杀以及银行国库券销售等短时间突发大流量的场景。2、OB是基线数据（SSD硬盘）+增量数据（内存）的架构，达到了准内存数据...
2019-08-11 23:15:20
1204
原创 【学习笔记】《2012年我们为什么选择从零开始做OceanBase数据库》
来源：http://blog.sina.cn/dpool/blog/s/blog_3fc85e260102wr0g.html?type=-1【尝试三句话说清楚此文核心观点】1、为什么要自研OceanBase数据库：商业数据库昂贵的软件/硬件/服务费用；扩容周期长阻碍业务创新；传统数据库无法实现高可用所需的主备库实时一致性。2、自研数据库有哪些门槛：关系数据库的理论和产品20多年无...
2019-08-11 00:46:26
1801
原创 网络案例：路由最长匹配原则解决跨网段路由冲突的问题
【问题描述】1、备机房服务器为172.17.21.100 网关为172.17.21.254，去ping主机房服务器的物理IP 172.16.21.101不通，但是ping主机房物理网段的网关172.16.21.254就能通。【排查思路】1、检查备机房到主机房的容器网段是否正常。--测试结果：备机房物理网段到容器网段能够ping通。2、检查tcp包在网络上的路径，在备机房物理机上分别t...
2019-07-14 19:22:49
655
原创 文章【人与人最大的差距，不在贫富，而在认知】读后感
【尝试三句话说清核心观点】1、不同认知层次的人，是会有交流困难，不必和每个层次的人达成一致观点。2、事业上的成功受很多因素影响，一命二运三风水，四积阴德五读书，六名七相八敬神、九交贵人十修身。3、了解自身欲望，找到人生价值，快乐是水到渠成的事情。【认知的9个层级】1、凭好恶：心理年龄如婴儿，常因情绪化犯错，认知不足总是引起窘态，却找不到解决办法。2、守常规：书呆子不会变通、依靠习惯而...
2019-06-18 23:39:59
1507
原创 网络基础知识：Trunk、Bond、mode4
【背景】近期项目涉及到硬件服务器的交付，组网涉及到Trunk、Bond、mode4，做一个学习笔记。【为什么要做mode4 ？】硬件都有故障率，为了做到硬件冗余高可用，通过软件配置将两个或多个（一般是两个）网卡绑定（Bond）为1个逻辑网卡，绑定模式常见的是mode4，业务访问就通过逻辑网口，因此硬件故障就对业务透明了。【怎么做mode4 ？】服务器和交换机上要配置同一种mode类型...
2019-06-18 22:46:09
13749
原创 书籍《在线》读后感
【尝试三句话说清楚此书的核心观点】1、数据的价值在于处理和流动。政府近年来宣传的“让数据跑路”“办事只跑一次”，其背后最大难题是要将分散在各厅局委办的数据处理和流动起来，才能实现更加惠民和创造新价值。数据处理需先进的理念和技术，数据流动难点在不同利益体的博弈。2、公有云是基于信任的生意。为了获得更好的生活体验，我们并不会因为害怕家装和保险的骚扰推销电话就放弃买房买车，即便知道我们个人信息被...
2019-06-09 10:28:38
5556
原创 书籍《图说区块链》读后感
【尝试三句话说清楚】1、区块链怎么出现的？从石器时代记账->刻画和绘图记账->结绳记事->流水账->单式记账法->复式记账法->会计记账，始终存在假账/坏账的问题，基于区块链的分布式账本应运而生，为价值转移过程中的信用背书，解决 假账和坏账 添加了新的手段。2、区块链基础架构分为6层，包括数据层、网络层、共识层、激励层、合约层、应用层。笔者认为作为区块链...
2019-04-21 11:28:59
2065
原创 【影响人一生发展的关键因素】一命二运三风水，四积阴德五读书，六名七相八敬神，九交贵人十修身
【背景】最近和一位阅历丰富的前辈聊天，聊到了人生，为什么看似条件差不多的两个人，其发展结果却是千差万别的，然后聊到了理学的一句话“一命二运三风水，四积阴德五读书，六名七相八敬神，九交贵人十修身”。我们看到条件差不多的两个人，只是在某些方面相似，比如读书能力或者人际关系，而影响人成功的因素既有外部客观因素，也有自身努力的内在因素。明白这些因素，也许会让我们在面对困难时，少一些焦虑。...
2019-04-16 14:49:58
10671
1
原创 【区块链概念-0】什么是区块链技术
区块链：一种去中心化的分布式账本技术。【说人话的通俗描述】三口之家由小朋友记账，爸爸可能贿赂小朋友做假账，比如爸爸偷偷买个游戏机没有记到帐上。如果三个人都在各自记账，每个人都能看到总账，就没法做假账了。图1：集中式记账，即有控制中心（小朋友）在记账图2：分布式记账，所有人都在记账。爸爸做假账就要被妈妈很快发现。【行业术语】 现实...
2019-04-16 08:42:19
428
原创 【数据工场dataworks-2】数据开发之核查出新增的错误数据
【学习背景】上一节课参考阿里云的课程《使用MaxCompute进行数据质量核查》把所有操作执行了一遍，遗留了一项课后作业：手工向订单表插入一条错误的数据，执行分析流程，确认结果表是否多了一条记录。目的是掌握dataworks的SQL语句用法和验证这种方法进行实时数据分析的可行性。【操作步骤】1、通过阿里云官网了解dataworks的SQL插入语句的用法，见帮助文档：https...
2019-03-30 00:59:53
641
原创 【数据工场dataworks-1】数据开发之数据质量的核查
【学习背景】近期陆续有客户咨询公有云大数据的方案，对比了阿里云、腾讯云和华为云的产品，感觉阿里云的方案丰富性和资料的易用性方面都是做得最好的，而且有淘宝双十一的成功经验，决定好好学习一下阿里云大数据的方案。今天先从阿里云的课程《使用MaxCompute进行数据质量核查》开始。【学习思路】在阿里云上购买课程，参照实验课程进行操作。先模仿，再优化。【实验背景】ABC是一...
2019-03-27 23:33:54
4548
2
原创 【胡思乱想-1】一句话说清楚什么是靠谱？
一个人靠不靠谱，其实就看这三点：“凡事有交代，件件有着落，事事有回音”高级点说，这叫闭环思维：你把一件事交给一个人后，完全不用操心后续，因为你知道他肯定能落实，就算没办好，也能及时给你一个回馈，这就叫靠谱。做事靠谱分三层：做完是底线，做好是符合预期，做到极致是超预期，是惊喜，是成为不可替代之人的必经之路。只有做事极致的人，才会有开挂的人生。下面这个故事能说明靠谱和不靠谱的差别...
2019-03-27 21:04:26
528
原创 【业务中台-2】阿里巴巴做业务中台的价值理念
信息来源：书籍《企业IT架构转型指导-阿里巴巴中台战略思想与架构实践》第二章“构建业务中台的基础-共享服务体系” 读书笔记。【尝试三句话说清楚】1、业务中台的核心是通过“服务复用”，构建“大中台，小前端”来满足快速发放业务的市场需求，比如“聚划算”团购平台在投入10多个人开发1个半月就上线，速度远超过其他电商平台从零开始的模式。2、业务中台沉淀了会员/商品/店铺/支付/...
2019-03-26 23:52:43
4645
1
原创 【业务中台-1】阿里巴巴做业务中台的背景以及企业数字化转型的痛点
信息来源：书籍《企业IT架构转型指导-阿里巴巴中台战略思想与架构实践》第一章“阿里巴巴集团中台战略引发的思考” 读书笔记。【尝试三句话说清楚】1、阿里巴巴早期的淘宝（C2C）、天猫（B2C）、1688（B2B）是3套独立体系，技术团队一方面支撑不了发展太快的业务，同时重复3倍的工作量让开发同学累成狗了仍然被不断投诉对业务支撑不足，因此阿里巴巴决定将前端业务中公共、通用的业务（用户...
2019-03-25 00:26:54
1820
原创 书籍《蚂蚁金服-科技金融独角兽的崛起》读后感
【尝试三句话说清楚】1、“异地多活”、“面向全球化的数据开放”等技术架构，帮助支付宝从淘宝的一个支付部门蜕变为能够支撑全球海量用户交易的蚂蚁金服，始终坚持提升支付成功率来追求极致的用户体验，并沉淀了大量用户行为数据，从而将支付宝从一个简单的“支付+账户”功能扩大到理财、消费、金融、保险等诸多领域。2、支付宝作为蚂蚁金服的核心产品，其核心竞争力是做到了用户体验和账户安全的最佳平衡，快捷支付、...
2019-03-20 12:37:18
1580
原创 【市场洞察-1】2019年腾讯云渠道招募会传递了什么信息
【背景】2019年3月份，腾讯云在全国各地开展渠道招募会，通过介绍腾讯云的渠道政策、解决方案和案例，吸引和招募云合作伙伴。【尝试三句话说清楚】1、腾讯在重庆和成都已交付公有云节点，而阿里云和华为云在西南区域没有节点，因此腾讯云对于四川、重庆政务市场“数据不出省”的需求高度匹配，西南地区有较强的区域竞争力。2、腾讯云2019年除了游戏、视频的优势市场外，将重点发力政务、金融、电...
2019-03-15 18:53:38
983
1
原创 【公有云相关概念和应用场景-7】什么是反亲和性
亲和性：将多个东西尽量放在一起。 反亲和性：将多个东西尽量分开。【说人话的通俗描述】春季流感高峰期，感冒的小朋友会被劝回家休息，避免传染给其他小朋友。这个隔离动作在IT行业叫反亲和性。【行业术语】在应用没有容器化之前，原先一个虚机上会装多个组件，进程间会有通信。但在做容器化拆分的时候，往往直接按进程拆分容器，比如业务进程一个容器，监控日志处理或者本地数据放在另一个...
2019-03-15 09:01:42
7008
1
原创 【容灾架构】淘宝网/支付宝 异地多活 架构原理学习笔记
【学习背景】最近在看一本书《蚂蚁金服-科技金融独角兽的崛起》，正看到第七章“技术攻坚”简单介绍了一下支付宝的架构从第一代的烟囱架构、第二代的分布式架构，第三代的云计算架构，其中有个词“异地多活”出现了一次，但没有详细描述。之前接触的容灾方案，顶多就是两地三中心的双活架构+异地备份，特地从一些公开的资料中尝试学习一下阿里巴巴“异地多活”的架构是什么样的？【为什么两地三中心架构满足不...
2019-03-12 22:05:32
2209
原创 【云主机迁移原理】华为云主机迁移服务SMS的原理分析
【背景】前几天给一个客户演示华为云主机迁移工具SMS时，迁移脚本提示源主机上没有rsync工具，导致脚本启动失败。由于华为云官网提供的迁移工具是编译后的可执行文件，无法看到工具的源代码。通过这个提示推测，应该是利用rsync来实现文件级的迁移能力。【主机迁移工具原理】1、通过华为云公开的SMS迁移文档 https://support.huaweicloud.com/sms_faq...
2019-03-11 23:28:04
2361
2
原创 电视剧《绝密543》观后感
【尝试三句话说清楚】1、建国初期，台湾屡屡派遣高空侦察机窥视大陆的军事部署情况，我国空军在苏联技术和装备支持下，开始建设地对空导弹部队。2、作为王牌的一营，掌握苏军的技术和拥有最新装备，因犯教条主义、唯上主义，同时优越感强，对外部环境的变化，学习和应变能力不足，面对敌机来犯时，屡屡拦截失败。3、作为后备的二营，营长肖占武在缺人才、旧装备、无经验的困难下，首先团结全营思想和目标，创造出“...
2019-03-09 08:38:26
5798
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人