- 博客(29)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 8种排序算法总结
7种排序算法总结1冒泡排序（BubbleSort）2选择排序（SelectSort）3插入排序（InsertSort）4 Shell排序（ShellSort）希尔5堆排序6归并排序7快速排序（QuickSort）8基数排序常用排序算法的复杂度分析整理具体分析如下：1冒泡排序（BubbleSort）冒泡排序是最慢的排序算法。在实际运用中它是效率最低的算法。它通过一趟又一趟地比较它是O（n ^ 2）的算法。步骤：（1）比较相邻的元素。如果第一个比第二个大，就交换他们两个。（2）对每一对相邻元素作
2020-10-15 11:14:37
505
原创 神奇网站
目录（神奇网站）搞学习找书籍冷知识 / 黑科技写代码小工具导航页（工具集）听音乐看视频搞学习猿学：http://yuanxue365.com/简书：https://www.jianshu.com/doyoudo：http://www.doyoudo.com/好知网：http://www.howzhi.com/找书籍ePuBw（优质电子书下载网站）：https://epubw.com/...
2020-04-26 11:14:25
3425
原创 6、hadoop_maprduce_ha_yarn
目录（hadoop_maprduce_ha_yarn）节点分布 mr-hd2.x yarn配置两个rm节点互免秘钥：mapred-site.xmlyarn-site.xml:启动：停止：节点分布 mr-hd2.x yarn NN1 NN2 DN ZK ZKFC JNN RS NMNODE06 * * * NODE07 * * * * *...
2020-01-03 17:58:28
102
原创 5、hadoop-HA配置
目录（hadoop-HA）@[toc](目录（hadoop-HA）)节点分布准备工作修改Hadoop配置hdfs.xmlcore-site.xml安装zookeeper集群：namenode2,3,4启动注意：节点分布 NN1 NN2 DN ZK ZKFC JNN NODE1 * * * NODE2 * * * * * NODE3 ...
2020-01-02 22:48:12
124
原创 4、hadoop全分布
目录（hadoop全分布）1秘钥分发：2各节点把node01的公钥追加到认证文件里：3复制Hadoop安装目录下的/opt/hadoop-2.6.5/etc下 hadoop 为 hadoop-pseudo（管理脚本只会读取hadoop目录）：4配置full：hadoop 目录下5将Hadoop安装目录 /opt/hadoop-2.6.5 分发到其他2,3,4节点6 将java环境配置：node1分...
2019-12-30 22:21:42
112
原创 3、hadoop伪分布式
目录（hadoop伪分布式）关闭防火墙hadoop包安装并配置环变：hadoop-2.6.5.tar.gzHadoop的第二次JAVA_HOME 环境变量配置 HADOOP_HOME配置Hadoop 配置文件 为了能寻找jdk的配置： 将下面三个文件中JAVA_HOME修改配置core-site.xml配置hdfs-site.xml配置slaves文件 配置从节点配置信息 datano...
2019-12-29 16:35:01
70
原创 2、多台虚拟机免密
目录（多台虚拟机免密）虚拟机生成密钥、公钥将当前系统公钥信息追加到当前服务器注册中心(该步骤实现当前系统免密)实现node2 免密登陆 node1将node02发送的公钥追加到node1服务器注册中心虚拟机生成密钥、公钥 检验家目录是否有.ssh 文件夹 没有则先 ssh localhost 登录一下就有了 ssh-keygen -t dsa -P '' -f ~/.ssh/id_d...
2019-12-27 17:40:21
145
原创 1、MAC VMwave安装多个Linux(centos)虚拟机
MAC VMwave安装多个Linux(centos)虚拟机安装VMwave安装centos下载os 镜像 https://www.centos.org/download/安装虚拟机输入ip addr 发现没有ip信息，这是因为网卡配置文件/etc/sysconfig/network-script/ifcfg-ens33里面的ONBOOT=no导致的，将这个参数配置成yes，即...
2019-12-27 14:51:31
631
转载 网络—net和桥接模式
1、相关概念说模式前，我再墨迹几句（如果这方面的概念清晰的话，请略过）：ip：ip就相当于地址，别人要访问你，都是通过ip访问的，比如在Windows的cmd中ping 8.8.8.8，能ping通，证明网络是没有问题的gateway：这个中文翻译叫网关，网关有什么用，用人话讲，就是让你的电脑能访问互联网的一串地址（192.168.163.1类似这种），如果这个设置对了，那么你的虚拟机或者你...
2019-12-19 17:49:36
4681
2
原创 redis工具 ：springboot使用redis
目录（springboot使用redis）mac 安装redis，用homebrew 安装homebrew常用命令搜索查看安装 3.2版本安装后根据提示操作启动redis启动server启动客户端springboot中配置 yml文件新建redis配置类JedisUtil 类测试类mac 安装redis，用homebrew 安装homebrew常用命令brew search ** //查找...
2019-12-18 17:58:39
102
原创 zip工具
目录（zip工具）压缩多个oss文件压缩多个文件 File解压zip压缩多个oss文件/** * 打包 多个oss文件 为 zip 包 * @param filenames 所要压缩的源 oss文件 * @param show_files 所要展示的文件名称列表(压缩完之后,压缩包里面的文件名称) * @throws IOException *...
2019-12-16 20:33:51
127
原创 kafka剖析
目录（kafka）本质(是什么)（我在试着讲明白）作用(干什么)（我在试着讲明白）架构(有什么)（我在试着讲明白）优缺点（我在试着讲明白）优点缺点流程(怎么运作)（我在试着讲明白）常用(必会)（我在试着讲明白）kafkac常用命令常见问题(必知)（我在试着讲明白）异议本质(是什么)（我在试着讲明白）分布式消息系统，默认保存磁盘，默认保存7天作用(干什么)（我在试着讲明白）提供消息队列高...
2019-12-13 23:22:40
77
原创 sparkStreaming
目录（sparkStream）本质(是什么)（我在试着讲明白）作用(干什么)（我在试着讲明白）架构(有什么)（我在试着讲明白）优缺点（我在试着讲明白）优点缺点流程(怎么运作)（我在试着讲明白）常用(必会)（我在试着讲明白）常见问题(必知)（我在试着讲明白）异议本质(是什么)（我在试着讲明白）作用(干什么)（我在试着讲明白）架构(有什么)（我在试着讲明白）优缺点（我在试着讲明白）优点缺点...
2019-12-13 17:28:44
81
原创 java虚拟机
目录（java虚拟机）一、虚拟机同样的java代码在不同平台生成的机器码肯定是不一样的，因为不同的操作系统底层的硬件指令集是不同的。同一个java代码在windows上生成的机器码可能是0101…，在linux上生成的可能是1100…，那么这是怎么实现的呢？不知道同学们还记不记得，在下载jdk的时候，我们在oracle官网，基于不同的操作系统或者位数版本要下载不同的jdk版本，也就是说...
2019-12-13 17:26:04
304
1
原创 SparkSql
目录（SparkSql）本质(是什么)（我在试着讲明白）作用(干什么)（我在试着讲明白）架构(有什么)（我在试着讲明白）Spark SQL由core，catalyst，hive和hive-thriftserver4个部分组成。1.Catalyst执行优化器UDFUDAF开窗函数优缺点（我在试着讲明白）优点缺点流程(怎么运作)（我在试着讲明白）Sql运行流程sparkSql 运行原理分析1.使用Se...
2019-12-13 15:45:34
559
原创 SparkCore
目录（SparkCore）本质(是什么)（我在试着讲明白）作用(干什么)（我在试着讲明白）架构(有什么)（我在试着讲明白）优缺点（我在试着讲明白）优点缺点流程(怎么运作)（我在试着讲明白）代码流程资源调度流程任务调度流程常用(必会)（我在试着讲明白）RDD常用的几个Action算子常见问题(必知)（我在试着讲明白）spark区分宽窄依赖的原因是什么？RDD的弹性哪里体现？哪里体现了RDD的分布式t...
2019-12-06 15:59:52
114
原创 idea根据数据库生成实体
Custom Generate POJOS.groovyimport com.intellij.database.model.DasTableimport com.intellij.database.model.ObjectKindimport com.intellij.database.util.Caseimport com.intellij.database.util.DasUtil...
2019-12-03 20:59:53
384
转载 如何一步一步学习榜样的经验
目录（如何一步一步学习榜样的经验）一、锁定榜样的某段经历二、5W1H分析经历三、对比反思自身经验四、从榜样经历中萃取经验值五、应用经验值指导自己的新实践关键的原因是：我们始终在充当“听众”，始终在做“看客”，听过之后“哦”一声就过去了，没能有效的将榜样的经历、经验转化为自己可以使用的知识、方法或指南。那怎样才能有效汲取榜样的经验指导自己的行动呢？五个步骤：锁定榜样的某段经历5W1H分析这...
2019-11-20 09:43:25
412
原创 Spark 理解
目录（Spark）本质(是什么)（我在试着讲明白）作用(干什么)（我在试着讲明白）架构(有什么)（我在试着讲明白）优缺点（我在试着讲明白）优点缺点流程(怎么运作)（我在试着讲明白）常用(必会)（我在试着讲明白）常见问题(必知)（我在试着讲明白）1、Spark与MR的区别？异议本质(是什么)（我在试着讲明白）基于内存的计算框架作用(干什么)（我在试着讲明白）Spark是MapReduce的替...
2019-11-19 20:57:06
213
原创 Hbase
目录（Hbase）本质(是什么)作用(干什么)架构(有什么)clientmasterzookeeperregionserverregionserver中有其他节点（region、store）regionstorememstorestorefilehlog优缺点优点缺点流程(怎么运作)常用(必会)常见问题(必知)异议本质(是什么)分布式的、面向列的开源数据库作用(干什么)用来非结构化数据存储...
2019-11-14 11:05:15
95
原创 区块链
目录（区块链）本质(是什么)作用(干什么)架构(有什么)数据层网络层共识层激励层经济因素合约层（区块链可编程特性的基础）优缺点应用层优点缺点流程(怎么运作)供应链金融区块链化的业务流程常用(必会)常见问题(必知)1、区块链的应用领域：2、区块链的核心技术本质(是什么)数据结构。去中心化的分布式账本数据库作用(干什么)买家和卖家之间没有中介且公开透明的直接交易，都在记一样帐，避免作假架构(...
2019-11-11 21:00:58
154
原创 hive 数据仓库
目录（hive）本质(是什么)作用(干什么)架构(有什么)优缺点优点缺点流程(怎么运作)常用(必会)常见问题(必知)1、数据库和数据仓库有什么区别？异议本质(是什么)本质：将HQL、SQL转换成MapReduce程序hive处理的数据 存储在HDFS上hive分析数据的底层原理是mapReducehive执行程勋运行在yarn上作用(干什么)可以将海量结构化的数据文件映射为一张表，并...
2019-11-07 15:24:13
195
转载 程序员致富之路
1.自己做网站。 程序员一般弄个网站不是什么难事。有了自己网站，就可以想路子挣钱了。 网站挣钱：投放广告费、谷歌联盟（国内是不太好用了）、百度联盟、雅虎广告、淘宝联盟（这个我比较推荐）、会员收费（有技术含量的东西，下载收费）、培训会员收费、自媒体(最近几个月兴起的，有兴趣的可以了解下)……反正多了去了 。 2.自己做私活 接私单的也超级多，我觉得最重要...
2019-11-07 11:50:02
434
转载 程序员写代码兼职副业赚钱之路
如今，通过自己的代码去赚钱变得越来越简单，不过对很多人来说依然还是很难，因为他们不知道有哪些门路。今天给大家分享一个精彩的 GitHub 库，这个库整理了一系列写代码赚钱的门路和资源，作者初衷是帮助那些想利用软件产品挣钱的人，希望你也能够从中获得鼓舞并进行尝试。将一个个小项目变成钱、产生创业想法等。赚钱的点子分为这几个方向：社区新闻播客演讲帖子博客学习案例活动书籍工具课程...
2019-11-07 11:47:19
6483
原创 集中式、分布式版本控制系统的区别
集中式版本控制系统（有 SVN、CVS等）集中式有中央仓库（需要联着网工作）修改的版本都在服务器仓库，每次对比代码分布式版本控制系统（git）分布式没有中央仓库，存在客户端一份（不用时刻连网，拉取代码时要联网）修改的版本在本地客户端总结分布式相比集中式的优势分布式平时不用总连着网、本地可以看历史版本、每个客户端都可以恢复仓库GitLab 和 GitHub两者都是基于 web 的 ...
2019-11-05 20:08:13
1625
1
原创 Yarn 资源调度框架
目录（yarn）本质(是什么)作用(干什么)架构(有什么)ResourceManager（RM）NodeManagerApplicationMaster（AM）Container流程(怎么运作)优缺点优点缺点常用(必会)常见问题(必知)异议本质(是什么)资源调度框架作用(干什么)架构(有什么)ResourceManager（RM）管理整个集群资源NodeManager启动完成后向R...
2019-11-02 15:29:38
142
原创 MapReduce 分布式计算框架
目录（MapReduce）本质(是什么)作用(干什么)优缺点优点缺点架构(有什么)流程(怎么运作)常用(必会)常见问题(必知)异议本质(是什么)分布式计算框架，是一种编程模型作用(干什么)离线大数据计算，主要解决海量离线数据的批处理。优缺点优点易于编程（简单实现了一些接口，就可以完成一个分布式程序）良好的扩展性（可以增加机器）高容错性（计算任务可以从一个节点转移到另一个节点）适...
2019-11-01 15:37:52
351
原创 HDFS Hadoop分布式文件系统
本质文件存储系统，相当于磁盘上的磁盘，可以看成磁盘一体。作用三个重要作用：存储超大的文件、采用流式的数据访问方式、运行于商业硬件上架构架构分为1.X和 2.X架构 2.X解决了1.X的问题1.X架构2.X高可用架构1.X和2.X对比1、namenode 存储块儿的元数据、接收客户端的读写请求、获取block快的位置2、datanode 存储block、存储bloc...
2019-10-30 17:20:35
143
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人