- 博客(22)
- 收藏
- 关注
RSS订阅
转载 领导周末喊程序员修bug，程序员：我是来上班的，不是卖身的
周末当你难得抛开工作享受清闲时光，却被领导喊回去加班，你会如何处理？就有一名程序员周末和女友出去玩，没想到所负责的系统出现了bug，领导要求其马上修复bug。程序员表示周一上班就解决，现在不方便。对此，领导批评了该程序员一番，并指责其没有敬业精神。面对领导的指责，程序员表示：员工就不能有个人生活？我是来上班的，不是卖身的，别给我讲这些大道理，我的理想就是不上班，我不干了！该程序员面对领导如此硬气，...
2018-07-05 23:35:45
3004
转载 阿里前大数据架构师：如何快速的成长为一名优秀大数据架构师
什么是大数据架构师： 围绕大数据系平台系统级的研发人员， 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提供的通用算法， 熟练掌握Hadoop整个生态系统的组件如： Yarn，HBase、Hive、Pig等重要组件，能够实现对平台监控、辅助运维系统的开发，现在向大家推荐一个大数据资源...
2018-06-09 19:37:06
9280
转载 大数据开发工程师学习路线分享
大数据是对海量数据存储、计算、统计、分析等一系列处理手段，处理的数据量是TB级，甚至是PB或EB级的数据，是传统数据处理手段无法完成的，大数据涉及分布式计算、高并发处理、高可用处理、集群、实时性计算等等，汇集的是IT最热门、最流行的IT技术，大数据是机器学习、深度学习、AI等尖端可以领域的基础架构。大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企业管理中...
2018-05-30 18:01:35
1384
原创 关于分布式锁原理的一些学习与思考-redis分布式锁，zookeeper分布式锁
首先分布式锁和我们平常讲到的锁原理基本一样，目的就是确保，在多个线程并发时，只有一个线程在同一刻操作这个业务或者说方法、变量。在一个进程中，也就是一个jvm 或者说应用中，我们很容易去处理控制，在jdk java.util 并发包中已经为我们提供了这些方法去加锁， 比如synchronized 关键字 或者Lock 锁，都可以处理。但是我们现在的应用程序如果只部署一台服务器，那并发量是很差...
2019-05-11 20:12:15
249
原创 《高效能程序员的修炼》一程序员的八种境界
程序员的八种境界高效能程序员的修炼在求职的时候，相信很多人都被问过这样的问题：“你对自己未来5年的职业是怎样规划的？”每当我被问及这个问题的时候，我的脑海里总是会浮现出Twisted Sister1乐队在1984年拍摄的一段视频里的这个场景：一位老师对着他的学生大喊，“我想要你告诉我，不，是告诉全班同学，你究竟想过怎样的生活？你自然会想：我要变得很牛！至少也得成为一个很牛的程序员。尽管这...
2019-03-17 22:08:58
222
原创 从头学习大数据培训课程 spark 基于内存的分布式计算框架（九）kafka 介绍与安装、kafka-java-API...
1.kafka分布式消息队列(1).概述Kafka是由LinkedIn开发的一个分布式的消息系统，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础Kafka使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成设计目标...
2018-12-12 23:33:12
281
转载 携手共进，大数据与AI已将革命友谊继续升华
大数据在现实场景中的应用有很多，在当下与之最密切的无疑就是AI技术，二者相辅相成的关系，更像是一对相濡以沫的恋人。当然，二者的相互作用对于市场的影响也举足轻重。 大数据的概念相信很多人都能了解，但是对于AI技术，你了解多少呢？其实AI技术并没有你想象中的那么复杂，AI是人工智能的简称，可以分为计算智能、感知智能、认知智能三个阶段。计算智能就是机器人开始像人类一样会计算，传递信...
2018-12-05 22:03:53
195
转载 掌握这个20条关于Kafka集群应对高吞吐量的避坑指南，成为大数据工程师还 远吗？
目前大数据行业异常火爆，不少人都对大数据充满了兴趣，市场上给的工资也非常吸引人，有很多0基础的学员没有学习过编程语言，甚至很少接触过计算机，那就是说0基础的不能学习大数据？答案是否定的。我们是一个大数据进阶者，建了一个分享群593188212 每天分享大数据学习资料和学习方法 ，学习感言，现在我们分享： 100个人心中有100个哈姆雷特，大数据学习是不简单，但也不是高深莫测的，通过努力，0基础...
2018-11-21 21:14:00
305
转载 大数据开发入门教程
第一阶段linux+搜索+hadoop体系第一阶段：linux+搜索+hadoop体系Linux大纲这章是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,kvm,openstack等众多课程。因为企业中无一例外的是使用Linux来搭建或部署项目。1) Linux的介绍，Linux的安装：VMware W...
2018-11-14 00:03:47
3710
原创 想学习大数据开发又不知道怎么学习，要学习哪些内容？可要仔细阅读以下内容
很多小伙伴自学能力和自控能力比较好，想自学大数据技术的，但是苦于不知道怎么学，需要学什么技术，以及学习的顺序是怎么样的？帮大家整理一下，希望能帮到大家。 如果能够通过自学学会那当然好，但是如果自学能力不好的朋友，建议选择培训机构学习，大数据培训机构有哪些，科多大数据值得选择。 ·大数据处理技术怎么学习呢？首先我们要学习Java语言和Linux操作系统，这两个是学习大数据的基础...
2018-11-09 21:38:38
176
原创 大数据架构师拿50W的方法诀窍
么是大数据架构师： 围绕大数据系平台系统级的研发人员， 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提供的通用算法， 熟练掌握Hadoop整个生态系统的组件如： Yarn，HBase、Hive、Pig等重要组件，能够实现对平台监控、辅助运维系统的开发。我是一个大数据程序员，建了一个...
2018-11-07 21:06:45
310
原创 测试一下：HBase 40道测试题，你能答对几道
第一部分：基础能力 1. HBase来源于哪篇博文？ C A The Google File System B MapReduce C BigTable D Chubby 2. 下面对HBase的描述哪些是正确的？ B、C、D A 不是开源的 B 是面向列的 C 是分布式的 D 是一种NoSQL数据...
2018-10-24 22:12:36
3883
原创 Java程序员使用的20几个大数据工具
最近我问了很多Java开发人员关于最近12个月内他们使用的是什么大数据工具。这是一个系列，主题为：语言web框架应用服务器SQL数据访问工具SQL数据库大数据构建工具云提供商今天我们就要说说大数据。根据维基百科，大数据是数据集的一个广义的术语，并且该数据集是如此庞大和复杂，以致于传统的数据处理应用程序无法胜任。在许多情况下，使用SQL数据库用于存储/检索...
2018-10-23 00:01:24
143
原创 HBase高可用集群运维实践
随着越来越多的业务选择HBase作为存储引擎，对HBase的可用性要求也越来越高，对于HBase的运维也提出了新的挑战。目前运维集群超过30+，而且接入的业务类型繁多，对于性能要求也不完全一样，这是今年面临的问题。从15年开始，结合京东的业务情况，基于大数据平台，实现用户接入使用全流程自动化。而今年，我们主要从集群层面上提升集群可用性。 1.控制隔离——rsgroup ...
2018-10-21 23:50:17
137
转载 新手学习oracle之索引组织表(IOT)
索引组织表的概述： 在Oracle数据库中，有一类表被称之为索引组织表，即IOT(Index-Organized Table)。顾名思义，所谓的索引组织表， 表面上看是一种表，实质上其数据是以索引的形式来存放的，也就是说IOT表不会占用表段，其占用的是索引段。 相比较传统的堆表( heap-organized table，即常见的普通表)而言，IOT表的数据是以已经按主键字段排好序...
2018-10-11 21:28:53
1283
转载 “加班狗”是优秀程序员？非也
不少人都有一个错误的认识，那就是程序员等于“加班狗”。非程序员的人群普遍默认这一现象，甚至不少程序员自身也以此为荣耀。但是，真正优秀的程序员是不会以“累成狗”为荣的。 曾经听过这样的故事，朋友是程序员，去参加面试的时候，面试官问道是否能够接受加班，他回答：“像我们这种程序员，哪有不加班的”。 看来很多企业已经把加班时间长短与取得成果大小看成正比函数了，而员工也习惯了加...
2018-10-08 23:33:34
291
转载 从小白到大数据技术专家的学习历程
最近有很多人问我，大数据是怎么学？需要学什么技术以及这些技术的学习顺序是什么？今天有时间我把个问题总结成文章分享给大家。 ·大数据处理技术怎么学习呢？首先我们要学习Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。 Java：大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢？ 只需要学习Jav...
2018-10-04 23:14:26
199
原创 大数据架构师拿年薪50W的方法诀窍
什么是大数据架构师： 围绕大数据系平台系统级的研发人员， 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提供的通用算法， 熟练掌握Hadoop整个生态系统的组件如： Yarn，HBase、Hive、Pig等重要组件，能够实现对平台监控、辅助运维系统的开发。我是一个大数据程序员，建了一...
2018-07-08 22:04:20
538
转载 分享干货：Linux硬盘分区，挂载，格式化，加到开机启动项
0、创建挂载目录mkdir -p /www1、确认是否有没有分区的磁盘,如下图，没有分区的磁盘是 /dev/xvdb ,在您的服务器中可能是 /dev/vdb 请注意按实际名称修改fdisk -l2、为磁盘分区，若已分区的，请跳过！fdisk /dev/xvdb3、输入n开始创建分区4、输入p创建主分区5、选择分区号，这里输入16、输入分区开始位置，直接回车7、输入分区结束位置，直接回车8、输入w...
2018-07-05 23:31:22
360
转载 领导周末喊程序员修bug，程序员：我是来上班的，不是卖身的
周末当你难得抛开工作享受清闲时光，却被领导喊回去加班，你会如何处理？就有一名程序员周末和女友出去玩，没想到所负责的系统出现了bug，领导要求其马上修复bug。程序员表示周一上班就解决，现在不方便。对此，领导批评了该程序员一番，并指责其没有敬业精神。面对领导的指责，程序员表示：员工就不能有个人生活？我是来上班的，不是卖身的，别给我讲这些大道理，我的理想就是不上班，我不干了！给我推荐一个大数据学习交流...
2018-06-26 22:36:29
1123
转载 大数据学习教程之java SE 教程
一、java简述Java是于1991 年在Sun公司设计出来的。开发第一个版本花了18个月。该语言开始名叫 “Oak”1995年更名为“Java”。2009年Sun公司被Oracle公司收购。目前已经出到java SE8，Oracle公司计划今年推java SE9。<img src="https://pic4.zhimg.com/v2-ed7f56b479a...
2018-06-21 14:51:22
452
转载 HBase高可用集群运维实践
随着越来越多的业务选择HBase作为存储引擎，对HBase的可用性要求也越来越高，对于HBase的运维也提出了新的挑战。目前运维集群超过30+，而且接入的业务类型繁多，对于性能要求也不完全一样，这是今年面临的问题。从15年开始，结合京东的业务情况，基于大数据平台，实现用户接入使用全流程自动化。而今年，我们主要从集群层面上提升集群可用性。 1.控制隔离——rsgroup 在94版本中...
2018-06-04 19:38:49
307
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人