- 博客(71)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 关于Linux，开源社区与国产化的本质区别
因为生产力驱动而非理想主义驱动。开源运动的蓬勃发展来自于GNU(GNU is not unix)，Richard·Matthew·Stallman领导着一群黑客，带着对比尔·盖茨的鄙视，制定了GPL协议，以后人人都能从伟大的前人身上学习到源代码的精髓，让软件的获取更加自由，此后开源运动蓬勃发展，极大地推动了人类信息科技进步，这就是典型的理想主义。世界级的创造其实都来自于天才对于理想的坚持。我们再追溯软件的本质精神。比尔·盖茨在1976年的公开信提出私有软件不该被盗取共享的宣言之前，软件的主流
2023-02-12 21:04:19
2274
1
原创 MooseFS和Hadoop两个分布式文件系统各有什么优缺点？
MooseFS是一家波兰公司开发的分布式文件系统，相对于Google体系，Apache支持的Hadoop HDFS来说，小众了许多。一、从分布式架构的角度看两者都属于中心结构，这点上是区别于GlusterFS这种去中心化的分布式文件系统架构。MooseFS的元数据管理主服务叫做MasterServer，而HDFS是NameNode。它们都是在管理着元数据目录树以及负责不同数据节点的分布式协作。因此从分布式架构角度看，两者的中心化特性所带来的分布式优劣是不分伯仲的。这种中心化的特征我以前提
2022-10-16 09:54:28
2398
4
原创 工程师们不断推动下的云服务架构
记得自己在2003年把握住了宝贵的面试机会，成为了一名Java程序员，那个时候我参与的项目还在使用JSP，Servlet，JavaBeans和JDBC所组合的最原始的Web应用框架，Spring framework的流行还要等到两年以后。作为原始的应用框架，如果是一位牛逼的资深级程序员，一定能写出最整齐、简洁与极致高性能的代码，但是对于需要更多人参与进来的软件工程来讲，原始的框架很容易导致混乱，因此各种Web架构总是被顶尖的工程师们不断更新迭代，推陈出新，引导大众工程师们去关注业务本身而非琐碎的技术问题。
2022-10-01 12:08:46
2577
4
翻译 Apache Druid 实时分析数据库入门介绍
入门介绍主要是基于做了一些翻译和个人加工，大家若英文好，也可以直接看官网介绍。Druid首先是一个完全开源的分布式时序数据库，这一点要优于InfluxDB（因为它只是单机版开源，分布式版本只存在于InflluxDB enterprise）。...
2022-08-03 18:26:02
4442
原创 大数据技术训练舱：Redis的分布式实践（上）从零开始编译、安装、配置Redis6，规范化搭建Java工程测试
本章为上篇主要是从零开始配置一个Redis实例，然后编写一个开发规范化的Java工程，连接Redis进行测试。
2022-08-01 15:18:35
1833
4
原创 CentOS 7上集群化部署Apache Druid 0.22实时分析数据库
Apache Druid依赖深度存储、元数据库和分布式协调器。深度存储主要是解决数据高可靠问题，也就是说，如果Druid数据节点的持久化数据出现丢失，可以从深度存储中恢复。深度存储可以使用本地文件、Hadoop HDFS、Amazon S3等方式，我们这里选择HDFS。元数据库存储集群元数据，包括Datasouce、Segments、Supervisors、Tasks、Rules等前期配置元数据与运行期产生的各项元数据。我们可以使用Derby、MySQL、PostgreSQL等方式，我们这里选择Po
2022-07-17 17:18:49
1946
原创 CentOS7下安装PostgreSQL11数据库
1.获取PG的Repo文件我们通过如下命令就可以知道repo文件的安装目录：[root@node4 ~]# rpm -ql pgdg-redhat-repo/etc/pki/rpm-gpg/etc/pki/rpm-gpg/RPM-GPG-KEY-PGDG/etc/yum.repos.d/pgdg-redhat-all.repopgdg-redhat-all.repo文件为yum远程安装提供了PostgreSQL的远程安装源。2.安装PostgreSQL客户端和服务端...............
2022-07-03 18:35:25
2275
原创 探索Cassandra的去中心化分布式架构
关系型模型之父Edgar F. Codd，在1970年Communications of ACM 上发表了《大型共享数据库数据的关系模型》，成为了永恒的经典，关系模型的语义设计易于理解，语法上嵌套、闭环、完整，因此在数据库领域，关系模型普及与流行了数年之久。在此之后，IT世界涌现了很多非常著名的RDBMS（关系型数据库系统），包括了Oracle、MySQL、SQLServer、DB2、PostgreSQL等。但是RDBMS的技术发展由于架构上的限制，遇到了很多问题，例如：关系模型的约束必须在设计前明确定义好
2022-07-03 14:34:47
5718
1
原创 作为程序员，职业规划需要注意的四个阶段
通过下图程序员职业路线规划，我们来试着解读各年龄阶段，程序员们心中的困惑。程序员职业路线规划图 对于程序员职业路线规划，我给出一个参考，定义为四个阶段：在30岁之前，我们入行程序员，主要心思就是要专注于不断提升自己的技术能力和领域业务的学习能力，因为现在随随便便一套主流的技术栈（例如：Springframework技术栈）从入门到精深，就要耗去程序员新手至少3年的时间去实战与运用，这还不算上业务领域的知识学习。因此自身技术能力体系的构建与成熟是这个阶段的关键。当然，我说的是肯下苦而且比较有悟性的程序员，遇到
2022-06-21 21:36:31
2884
1
原创 作为过来人，写给初入职场的程序员的一些忠告
四点忠告：技术上懂得模仿、不要搞复杂人际关系、一入行就要注重健康、远离烂公司和烂人。新手入行后，首先一定是没有抓地力，对于领导安排的工作一开始的感觉就是混沌，就好像秧苗直接插入到了泥地里。对于新人最好的技术学习就是模仿作为新人的你，进入项目组后，第一时间要去看代码，看现有工程的代码这是第一位，不要局限于自己工作部分的代码，而应是整个工程的代码，这个过程可能不懂，特别混沌，没有关系，这个过程就是找感觉。工程必要的文档架构和数据库表设计也要看。接着就是根据领导分配的任务，自己在工程中找相似的别人写的代码，开始模
2022-06-17 19:10:51
3484
1
原创 需要很高的天赋才能成为天才程序员吗？
如果你说程序员需要天赋才行，可在我程序员人生的二十年期间我见过的很多程序员水平都不怎么样，很难谈得上天赋，但程序员这碗饭还是端得好好的，一直到现在。如果你说程序员不需要天赋，我也见过很多根本谈不上悟性的程序员的工作效果能把身边的同事气得吐血，有时候他们也会自知之明的淡出程序员这个行业。因此有没有天赋跟能不能成为程序员没有必然关系！然而有一个事情我是确定的，那就是我见过所有能力级别很高的程序员，都是持续性不断地提升自我能力的人！我们可以把他们视为有天赋的程序员。因此这个问题我认为极具价值的地方
2022-06-13 16:35:56
3494
5
原创 大学期间零基础如何开展编程学习
大学生学习编程，谨记的关键点就是学习要系统化，要立足于自学，要学那些用的上的技术，更不要浪费最宝贵的大学时光。作为零基础的人，说到学前端还是后端的问题，就好像刚从沙漠里走出来的人，你会问他是喝自来水还是喝白开水吗?......
2022-06-12 21:18:41
1669
原创 程序员到了35岁之后的一些转型思考
从30岁开始，做得不错的程序员必然技而优则仕，带团队、做项目、有自己的思想，希望有朝一日伴随公司能实现敲钟，财务自由。其实这里出现了一个极大的隐患，那就是程序员做技术管理是否可持续？在我的认知世界，很多程序员在35岁之前就已经准备弱化甚至放弃技术提升了，想进入到一个纯管理的技术状态。但是，这一切的不稳定隐患会来自于企业本身，也就是说企业发展好、不内耗，作为管理层的技术人也能水涨船高，一旦企业衰败，进入管理层的技术人必然两头落空，也就是说，艰苦的付出不仅不能兑现，甚至还有被排挤走风险，然而技术能力还在一直荒废
2022-06-11 12:28:51
4021
13
原创 探索入门云计算风向标Amazon的ECS容器技术
对于经常接触云计算服务技术的同学们估计一听到ECS，耳朵都能磨出茧子，印象中ECS不就是弹性计算服务么，再人话点就是你按量充值的一台虚拟主机，然后通过SSH远程维护这台虚拟主机的操作系统呗，但是Amazon ECS就不同于你们理解的那个ECS啦！且听我慢慢道来。Amazon ECS全称是（Amazon Elastic Container Service），它是针对容器技术高度弹性的的管理服务，我么如何去更通俗地理解呢？
2022-04-27 12:14:22
8299
12
原创 传统应用系统架构向微服务应用架构升级的实战案例
传统应用系统架构的瓶颈曾经为物业管理公司架构设计并领导开发过一个互联网+物业增值服务平台项目，刚接手这个系统的时候，这个平台在最初的1.0版本采用的是比较标准的单体应用，Java、Tomcat、MySQL，功能服务也比较简单，主要还是物业报修相关，不过在我接手后，客户就开始了2.0的规划，这就包括了物业缴费、物业通知、线上礼品兑换，因此我们延续这个架构完成了2.0版本的上线。如下图所示：从架构角度上看，两台Tomcat组成了两套互为备份的APP服务器，部署业务服务，形成服务冗余的可靠性保障，Ngin
2022-04-24 20:56:00
2846
原创 开发技术都只学了点皮毛，怎么办？
对于一个即将毕业找工作的大学生来说，其实你要真实地去思考自己焦虑的根源，大学生的焦虑都在于能否能找到自己想要从事的工作，但你要清楚，那是焦虑的结果，而不是焦虑的根源，想要解决焦虑的结果就必须经历正确的过程，要是这个过程没有经历，或者经历了错误的过程，那才是焦虑的根源。首先作为大学生们要明白，软件企业招聘技术人员有哪些强烈的意向，一种强烈的意向是希望能找到牛逼的技术人才独当一面，或能有一位带领好团队力克艰难险阻的大牛；另一种强烈意向就是通过找到新人，用尽量少的薪资成本，解决工作中大量的初级别技术任务，
2022-04-22 06:47:18
7136
7
原创 我这位老程序员对时代危险和机遇的一点感悟
最近有些多愁善感，忧虑我自己作为一名程序员的发展前途，就发了一些感想的小作文，没想到C站程序员们的评论非常火热，我索性将连续几篇所忧所想的小作文整合一下，作为博文发表出来，方便小伙伴们阅览。
2022-04-21 19:15:18
3103
原创 通俗理解大数据及其应用价值
在大数据这个概念兴起之前，信息系统存储数据的方法主要是我们熟知的关系型数据库，关系型数据库，关系型模型之父 Edgar F. Codd，在 1970 年 Communications of ACM 上发表了《大型共享数据库数据的关系模型》的经典论文，从此之后关系模型的语义设计达到了 40 年来普世、易于理解，语法的嵌套，闭环，完整。关系型数据库管理系统（RDBMS）就是基于关系模型在数据库领域所构建的传统数据库管理工具，例如大名鼎鼎m的Oracle、DB2、MySQL、PostgreSQL
2022-04-18 09:42:25
4561
4
原创 PostgreSQL11 CDC的分布式文件采集架构实战
这两天都是在跟文件打交道，很有趣，每一步都不会顺心如意，但每一步的解决都有所获益，首先是对文件变化的监测，能找到很多办法，例如通过elk家族的filebeat工具来探测，但是外部工具不好融合进storm，最好是自己写Java程序来监测。.........
2022-04-04 12:00:27
4302
原创 年龄大了，想继续做个好程序员有错吗？
自从2022虎年到来的这一个月时间，我在CSDN Blink连续发表了四五篇关于程序员随着年龄的增长遇到的一些社会问题，尤其是互联网行业的种种涸泽而渔的现状，也分享了一些自己的见解，没想到在C站的反响如此强烈，引起了无数大佬的共鸣，因此我打算在此整理成文，人总有变老的一天，我们不可能改变现状，但我们总能在反思中认清现实，找到一些更有效的办法来面对这些问题，不要太折磨自己，也希望对每一位程序员都有帮助。...
2022-02-24 21:05:35
2331
5
原创 CTO（技术总监）平时都在做些什么？
目前创业，从一家互联网医疗科技公司研发中心总经理的岗位下海，之前也在几家公司的任职研发/技术总监岗位，我理解目前国内中小企业对于CTO/技术总监的岗位区别没有那么明确的区分。我先改概要性总结一下CTO/技术总监的作用：1.CTO/技术总监应具有企业技术方向的整体把控力，也就是说总监是“帅”，架构师是“将”。总监会深入到技术架构的研究和理解当中，一旦认准一个技术方向，会安排具体架构师，与产品经理或项目经理，在具体的产品研发或项目研发中合作，落地设计，整个架构设计过程中。总结需要在多条技术、产品、项目线上实现协
2022-02-17 14:05:49
12871
1
原创 守护石谈学习Java之路
这次在CSDN Blink发表了几篇关于Java编程学习的小作文，讲述了Java工程师的成长路线、Java学习的技能树和入门工作要关注的核心问题，我继续做一次文章的整合与延展，以文章的形式发表出来，勉励各位能在技术事业上不断突破。...
2022-02-04 21:50:03
7305
5
原创 如何自学编程？
继续在CSDN Blink发表了几篇关于自学编程的小作文，讲述了自学的重要性、自学过程和自学技巧，依然在社区火爆，我继续做一次文章的整合与延展，以文章的形式发表出来，勉励各位能在技术事业上不断突破。...
2022-01-18 12:15:56
16423
5
原创 Linux/Java技术训练舱：从零开始安装Ubuntu Linux，优化桌面并构建VS Code轻量级Java开发环境
掌握Linux操作系统和一门主流的编程语言，是很多新人以及工作多年的程序员需要不断夯实的基础性学习。Linux和Java这两个主流技术，总是出现在开发、维护工作当中的各个角落，更扎实的基础，不仅可以滋养我们的技术成长，而且面对技术问题时，也开阔了我们的思路，...
2022-01-11 12:57:41
2043
4
原创 程序员如何让自己的技术能力突飞猛进？
最近在 Blink发表了几篇小作文，讲述了自己的学习方法，没想到竟然成了爆款，很多小伙伴都在评论区里面根据自己挺迷茫的个人情况，请教自己的学习方向，我居然回答了几百条，我觉得这是一件非常有意义的事情，因此我做了一次文章的整合与延展，以文章的形式发表出来，方便C站的朋友们收藏，勉励各位能在技术事业上不断突破。...
2022-01-06 12:31:17
7747
3
原创 大数据平台的SQL查询引擎有哪些—SparkSQL
作为大数据处理计算的大一统软件栈Spark，或将是大数据处理领域里面的Spring framework。我们从下图中可以看到Spark core之上具有了四种面向不同计算领域或方式的Spark模块，Spark streaming模块面向实时流计算，具体方式采用微批处理；MLlib模块面向Spark的机器学习库，尤其是Spark默认对Python的支持，成为Python开发者接入Hadoop生态平台的绝佳入口
2022-01-03 18:44:42
1833
原创 GlusterFS如何解决分布式文件系统的难题？
很多人容易将分布式存储和分布式文件系统的概念搞混，我先做一个概念上的梳理：分布式存储所涵盖的范围极广，例如NFS，虽然只是用于目录共享的网络文件系统，但是它也属于分布式存储范畴，再比如说分布式对象存储，例如Ceph体系不仅包括了分布式文件系统CephFS，也包括了Ceph分布式对象存储，它们都属于分布式存储范围。分布式文件系统（DFS）最关键的一个特征就是模拟了本地文件系统的目录层次，这对于文件在虚拟目录中的移动，管理具有很好的优势，首先这个优势是分布式对象存储等无法做到的。.........
2021-12-31 20:32:20
12335
原创 大数据技术训练舱：从零开始部署Hadoop3高可用集群（基于CentOS7）
大数据技术的学习任重而道远，很多小伙伴都会卡在诸多的基础问题上，因此作为大数据技术方面的布道者，我将开启一个全新的学习实践与指导计划：从零开始，一步步由浅入深，系统化的开展大数据技术实践的学习指导，手把手的教会我们怎么应用大数据技术框架，再配合上大数据技术、分布式架构的原理研究、系统优化、框架协作等高级内容，使得我们能更深刻的掌握大数据技术。期待能促进更多的工程师朝着大数据、人工智能、物联网等新一代技术方向前进与突破。您也可以在关注我们的公众号：守护石，输入：hadoop3，解锁阅读全文。1
2021-12-29 14:05:38
1840
原创 为什么公司宁可高薪招一个新员工，也不愿意给老程序员涨一点工资？
西安算是除了北上广深之外比较优质的软件产业城市，但是有一个现象是西安一直无法摆脱的魔咒，那就是二十年前西安被定义成了软件外包基地，尽管这么多年，西安软件早已是科技创业公司遍布的科技城，但软件产业重心始终无法摆脱传统应用项目或外包项目的天花板，很罕见有公司在互联网平台、大数据和人工智能、基础技术产品等更高层次的业务上实现突破。
2021-12-24 21:26:47
3147
3
原创 只会增删改查的计算机专业学生真的不适合做开发吗？
首先要了解一个事实，国内的软件公司，无论是做App，小程序，Web应用还是富客户端，大多数都是MIS应用，也就是围绕业务需求的信息管理应用，其主要应用功能就是增删改查。无论行业内把云服务、SOA、SaaS服务、微服务、大数据等等口号吹得有多么响亮，大部分搞开发的工程师们本质上都干着增删改查的活，这些活基本上都是需求的定制开发，这种定制化的应用系统项目几乎占据了国内70%以上的开发交付市场。其他比较讲究技术的开发需求就包括了游戏开发，设备通讯与指挥的系统控制开发，云基础平台系统的运维监
2021-12-23 20:03:46
645
原创 工程师误删了公司生产数据库，如何看待数据安全架构的脆弱性？
这个事情发生在两年前，是某丰的工程师，根据网上披露的信息，大体情况是这样：首先工程师接到了需求变更的任务工单，需要进行数据库SQL执行操作，并事先准备好了SQL的脚本。接下来通过登陆跳板机就进入到了生产数据库的管理端，然后运行Navicat-MySQL的客户端管理工具。这时候问题出现了，他发现自己选择错了数据库，但是SQL脚本已经粘贴上准备执行了，所以他的目的是按delete键删除选定的执行SQL语句，可是万万没想到鼠标光标跳到了数据库实例上面，这时候的delete键就是删除数据库实例了，结果这位工程师
2021-12-23 19:35:23
293
原创 大数据平台的SQL查询引擎有哪些
大数据平台中Hadoop的分布式文件系统（HDFS）之上形成了一种极具特色的技术群体，那就是SQL查询引擎。这就包括了Hive、Impala、Presto、Spark SQL等；在分布式数据库HBase也具有Impala、phoenix这样的SQL外观，可以通过SQL与HBase交互；另外分布式关系模型数据库(NewSQL)，例如：cockroachdb的sql layer、TiDB的tidb模块等在自身架构体系中不仅是查询引擎，也是SQL插入、更新和删除的SQL执行引擎。...
2021-12-22 11:15:16
4706
原创 成年人除了工作以外，在社会上还要争取什么？
我在软件行业工作了二十年，做过程序员、架构师、技术管理者，也做过咨询师、授课老师，也曾是多位已经毕业的研究生的实践导师，也是总被B乎上热议的35岁以后的职业高危人群。当然自己从不认为大厂的码农观适应于任何程序员的人生发展，但也确实在别人发掘与认识自己的经历中受过很多挫折，也总结出来了一个道理，我就分享出来，且耐心看完我这篇关于个人发展的现实分析
2021-12-22 11:06:09
516
原创 互联网+医院的互联网医疗前景如何？
作为互联网医院和互联网医疗平台的建设者和亲历者，我来谈一下自己的感受：传统医院集成与软件商建立互联网医院有多难 运营资质问题，系统集成与软件开发商并不是医疗机构，那么建立互联网医院平台必然面临资质问题，如果是与医院合作，那么资质的运营主体自然是医院，最终现金流走向其实和真正的平台运营商无关，那么系统集成与软件开发商作为运营者等于忙了个寂寞，最终就挣了点辛苦钱，这是无法持续的，因此必须要有借助大平台来办这些事情，成为互联网医疗运营主体来背书，这要比医院在创新商业合作上的管理机制要灵活得多。
2021-12-22 10:50:18
452
原创 大数据技术训练舱——从零开始安装、配置CentOS 7
从零开始，一步步由浅入深，系统化的开展大数据技术实践的学习指导，手把手的教会我们怎么应用大数据技术框架，再配合上大数据技术、分布式架构的原理研究、系统优化、框架协作等高级内容，使得我们能更深刻的掌握大数据技术。期待能促进更多的工程师朝着大数据、人工智能、物联网等新一代技术方向前进与突破。
2021-12-20 18:34:51
2109
原创 HBase与HDFS之间的WAL(HLog)存储机制答疑解惑
HBase写入流程：第一线程会启动MVCC事务、争夺行锁、写MemeStore缓存、追加本地Log队列缓存、释放行锁、休眠。第二线程会将本地Log队列缓存写入HDFS，但是缓存在HDFS DataNode尚未落盘。
2021-12-20 17:39:48
1496
原创 HDFS, Druid, Presto, Alluxio之间是什么关系？
Presto是大数据的查询引擎，具有分布式结构，我们可以让它与hive，impala，spark sql并列去对比，都是面向mpp的大规模并行计算引擎，presto的强大之处还是在于它的查询速度很高，在计算过程中，因为对内存的极致利用，使得查询速度是其最大的优势。
2021-12-13 21:26:47
1176
原创 以Struts为例，理解JAVA中Abstract的作用
Abstract作为抽象类和抽象方法，主要还是在聚合子类的通用性上起到作用，往往出现在重构过程中自然而然形成的一种层次结构～希望将多个子类的通用方法和逻辑提取到父层的抽象类。这种重构情况的最极致表现就是：若再加入新的子类，子类只需要实现抽象类的abstract方法，而且可能就只用几句话的简单声明，或者做一些属性设置就可以了，往往只是用于区分子类的特征，真正的逻辑处理实际上是在抽象类的方法内实现。这样就极大地简化了子类的代码逻辑量，实现子类层去耦合，抽象层高内聚的极佳效果。上图中可以看到流水线作为一个统
2021-12-11 22:41:44
252
原创 初创小公司需不需要合伙人？
坚持和不断清晰由内而外的目标：目标就是你最后的经营模式，记好船小好调头，所以要不断清晰目标，别一上来就是宏伟的计划，最终都是扯淡。经营模式就是能让你的产品、解决方案在满足商业需求中不断复制，不要在高举高打，由外而内的方式中追求你的经营模式和路线，这个时代已经走完了，卷的不能再卷了！因此要不断追求自我内在的优势，长期的从中提升能力，在利基的市场中成为鳌头。
2021-12-09 11:57:07
2704
原创 什么是大数据技术？
聊大数据技术是什么这个问题，那么我们先得弄明白另一个问题，不是大数据的数据技术又是什么呢？从传统数据库的诞生开始，这个世界基本上都是围绕着关系型数据模型进行业务系统的开发，例如MySQL，Oracle，SqlServer等等，这种数据存储的技术特点其实就是对业务数据结构化为关系模型。什么是关系模型？经典数据模型定义的三个要素：结构、完整性、操作关系型模型之父Edgar F. Codd，在1970年Communications of ACM 上发表了《大型共享数据库数据的关系模型》这就是永恒
2021-12-09 11:50:29
2318
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人