娄继涛-CSDN博客

原创 2021大数据学习路线（基于自身技术栈）

一、Linux1）常用命令（文件查看编辑、用户权限操作、服务器资源操作、进程端口查看等）；2）高级工具命令： rpm、yum、awk、ssh免密、grep、crontab等；3）常用组件的安装（虚拟机克隆、NAT/桥接等网络配置原理、jdk安装、MySQL安装、时间同步服务等）4）shell脚本编程（/bin/bash）二、zookeeper1）安装部署2）node类型，数据存储3）paxos算法、zab原理，集群脑裂4）监听器原理，选举机制和具体过程，写数据流...

2021-02-03 17:56:19 3404

转载经典计算机类书籍

100+ 经典技术书籍，涵盖：计算机系统与网络、系统架构、算法与数据结构、前端开发、后端开发、移动开发、数据库、测试、项目与团队、程序员职业修炼、求职面试和编程相关的经典书籍。这个列表综合了伯乐在线网站以往推荐经典书籍文章中的列表，以及在微信和微博中被广泛推荐的好书。虽然已经包括了100多本，覆盖的面也比较全。仍然有很多方面需要补充，而且相信还有很多没有被收录的好书。欢迎大家在 issues ...

2018-07-13 10:00:39 9160

原创大数据学习路线图（旧）

一、入门准备1、linux操作基础1) Linux的介绍，Linux的安装：VMware Workstation虚拟软件安装过程、CentOS虚拟机安装过程2) Linux的常用命令：常用命令的介绍、常用命令的使用和练习（文件操作、用户管理与权限、免密登陆配置与网络管理）3) Linux系统进程管理基本原理及相关管理工具如ps、pkill、top、htop等的使用；4) L

2018-03-30 16:20:05 13770 8

原创 java入门到进阶书单

入门 1-2年（初级）《Head First Java》主要讲设计模式，这个是设计思想方面的。我之所以觉得它应该最早学，就是觉得这个对今后你看jdk/tomcat源码、看第三方项目源码、以及一些大数据中间源码有所帮助。另外也有一本书叫《大话设计模式》，也可以配合着看。《算法导论》《数据结构和算法》无论什么时候什么层面，都应该记得，编程的核心都是算法和所使用的数据结构...

2018-03-12 15:24:32 388 1

原创 python小工具（文件复制类）

python日常工具，自动化脚本

2022-04-27 12:00:02 437 2

原创 python工具-读取excel拼接成SQL语句

一、背景工作上有通过excel文档，写一些建表语句之类的开发任务，纯手工操作复制粘贴，也顶不住文档多啊。所以写一些py小工具，给自己减压。二、代码import xlrd'''环境准备： pip install xlrd==1.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple读取excel中列英文名、中文名、字段类型，拼接成sql语句。如： ..... creat_time string COMMENT '创建时间'

2021-10-11 15:05:28 1033

原创 hive处理集市层实时统计需求思路

一、背景CDC工具 + flink目前可以做到数据实时入hive，所以很多需求可能也需要实时性要求，非毫秒级的。可能就是半个小时统计、一个小时统计这样的指标，但是数据要求实时。这类需求没用flink或者spark去处理，要用hive来做。二、思路阐述图中表的简要说明：1）SRC_T1，这个是一张5分钟的实时表，通过flink程序实时采集数据进hive中；2）TMP1，这个是无分区的hive表，用来保留近实时历史全量数据；3） TMP2，这个是定时任务用到的临时表。处理数据先写

2021-09-08 11:18:01 470

原创 springBoot+MongoTemplate，往多个数据库中插入数据

一、准备1、建立一个springBoot的maven项目（使用spring initailizr，或者建立一个maven后自己添加相关springBoot配置） <parent> <groupId>org.springframework.boot</groupId> <artifactId&...

2019-12-06 11:05:30 4611 5

原创 GitHub使用补充

有段时间没有更新博客了，前段时间刚换了工作，一直在学习微服务的东西。最近在整理微服务的学习案例，打算上传到GitHub上，一方面做个记录，以后随时可以查看；另一方面，有需要参考的朋友，可以克隆下来跑跑试试。所有的案例都是调通后，push到GitHub远程仓库的。公司一直在用SVN，这段时间算是把Git再次熟悉了一遍。很多东西忘了不少，发现知识还是需要记下来才长久，有需要的朋友也可以做个...

2019-08-02 15:16:34 207

原创将本地项目提交到GitHub上图文讲解

首先登录GitHub，在上面创建一个你想要提交代码的仓库。不知道怎么找的，可以参考下面几个步骤一个做项目简介，一个做git提交时的文件忽略表。也可以稍后创建，方式如下创建好的仓库，还没提交项目前的样子如下：通过gitbash工具上传本地项目。这里通过的是https的方式，ssh需要本地配置公钥和私钥。安装好bash工具后，在本地项目工程目录下，右键，选择gitba...

2019-07-21 18:06:38 277 1

原创 springboot几种传参方式

package com.steve.controller;import com.steve.entity.User;import org.springframework.web.bind.annotation.*;import java.util.Map;@RestControllerpublic class HelloController { // 不带参数 ...

2019-07-21 16:50:59 2020

原创 Mysql:The user specified as a definer ('xxx@'%') does not exist的解决方案

从生产数据库导出的sql文件，在开发环境上生产库。之后出的错误，运维应该是没把视图或者存储过程这些东西，放到sql文件中。视图无权限解决方案如下The user specified as a definer ('root'@'%') does not exist。一般是由于root用户对全局host无访问权限。因此只要给root用户添加一个访问权限即可。解决办法：登陆my...

2019-03-14 16:39:08 296

原创 shell脚本，一次性启动kafka集群

版本centos6.5，64位操作系统，已配置JDK1.8，三个节点在s121节点上可以免密登录到另外两个节点，另外kafka0.9.0.1的安装目录相同。修改了主机名，并在每个节点的hosts文件中设置了映射脚本内容：#!/bin/bashi=121for (( i=121 ; i <= 123 ; i = $i + 1 )) ; do ...

2019-01-24 17:45:07 1386

原创 Idea创建maven项目，通过java API操作Hbase数据库

一、准备启动hdfs集群（之前的HA集群），启动Hbase。二、创建工程三、API操作Hbase分布式数据库1）插入一条数据 @Test public void put() throws Exception { //创建conf对象会加载你项目资源文件下的两个XML文件 Configuration co...

2018-12-15 22:02:43 4382

原创基于Hadoop-HA上的Hbase完全分布式搭建

Hadoop-HA是基于之前版本搭建好的。参考的文档：http://hbase.apache.org/book.html#quickstart hbase-site.xml配置我的node1是hdfs的active节点。 Regionservers的节点是后面三个直接启动，用jps命令去各个节点检测，是否符合Excel列表里面设置的那样...

2018-12-10 22:04:23 468

原创 Hadoop学习笔记（二）——四节点搭建Hadoop HA（高可用）集群模式

准备工作：四个节点间的ssh互通，（至少两个NN节点和其他节点ssh互通）；JDK 1.7+，环境变量配置，各节点保持一致；/etc/hosts 节点名映射，各节点保持一致；保证各组件版本间兼容性，推荐使用cdh的jar包datas : 当做所有软件的安装目录jars:当做提交jar包的目录。文本数据目录；software：软件包目录workdata:...

2018-11-10 16:55:26 785 1

原创 shell编程入门

一、准备最好自己本地装一台虚拟机，因为用阿里云或者腾讯云，无法查看系统现有的脚本。另外，需要有一定的Linux基础，vi命令，文件权限这些肯定要知道的。我这里是用VMware装的centos 6.5 64位的Linux系统。二、shell介绍Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。Shell 是...

2018-10-01 21:26:14 4286

原创 idea快速搭建mysql+mybatis 的springBoot项目（详细图文）

一、创建一个空的工作空间二、创建一个新的project（我的使用风格是，把idea里的project当做eclipse里的workspace使用，medules才是一个个项目project）创建完成后，选中new windows新窗口打开。配置工作空间里的基本配置（JDK maven 字符编码）三、新建springboot项目...

2018-09-23 01:34:42 2900 2

原创 Hadoop学习笔记（1）——单机版搭建

Hadoop是一个分布式计算框架，适用于离线的海量信息批处理，大文件日志分析等，可以在大量廉价硬件设备组成的集群上运行应用程序，并未应用程序提供一组稳定可靠的接口，旨在构建一个具有高可靠性和良好扩展性的分布式系统。Hadoop的核心是HDFS（Hadoop Distributed File System），Mapreduce和Hbase，他们分别是Google云计算核心技术GFS，Mapreduc...

2018-09-18 22:32:55 922

原创 Linux多节点间的免密码登录设置，修改主机名

这是我克隆好的三个节点Centos6.5 32位的，都配置好了java环境变量后面安装Hadoop集群和zookeeper集群的时候，都有主从关系。打算将131作为主节点，设置免密码登录到其他两个节点，这样在scp等一系列操作的时候方便一些。步骤一、本机免密码登录测试（现在本机免密码登录是不行的，需要输入密码）步骤二、本机生成公钥和私钥，并生成keys三个节点间...

2018-08-31 22:58:30 2539

原创 JIO学习（一）输入流综述

一、字节输入流 java.io.InputStreamjava.lang.Object java.io.InputStream所有已实现的接口： Closeable直接已知子类：AudioInputStream, ByteArrayInputStream, FileInputStream, FilterInputStream, InputStream, Ob...

2018-08-31 17:24:24 812

原创 VMware虚拟机克隆，修改参数，产生多个节点

一、首先准备好需要克隆的节点。步骤一：选中节点---》点击虚拟机-----》管理-----》克隆---》弹框点击下一步步骤二、克隆当前状态（母节点安好的环境和工具会一并克隆了，能省大笔时间）-----》下一步步骤三创建完整的（不要用连接克隆，那样生不出新的节点）---》下一步步骤四我的三个节点都放到一个目录下的，下次再克隆，也会放到这个目录下，方便管...

2018-08-29 23:57:32 1311

原创 java.util.Properties类学习

Properties 类表示了一个持久的属性集。Properties 可保存在流中或从流中加载。属性列表中每个键及其对应值都是一个字符串。一个属性列表可包含另一个属性列表作为它的“默认值”；如果未能在原有的属性列表中搜索到属性键，则搜索第二个属性列表。因为 Properties 继承于 Hashtable，所以可对 Properties 对象应用 put 和 putAll 方法。但不建议使...

2018-08-15 11:31:24 2908

原创 java操作redis的五种数据类型

一、项目必备Jar包 <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.9.0</version> </dependen

2018-08-07 09:00:37 5877

原创 java操作redis(远程连接阿里云上的redis)

之前在我的阿里云部署的redis，一直用命令练习，也没啥实际意义。毕竟咱是java开发，又不是运维，还是希望在代码里操作redis。不过在这之前遇到过一点小麻烦，在java代码里不能连接阿里云上的redis。一、搭建java的redis demo项目依赖工具包就两个：jedis-2.9.0.jar commons-pool-1.6.jar我用的是maven的java项目，在这...

2018-08-03 16:45:23 8052 3

转载 qW3xT.2服务器矿工病毒

我遇到的是一款qW3xT.2的病毒，网上查了一下，好像是挖矿病毒。在此贴一下我找到的关于病毒的资料。这是我的服务器这篇文章可谓是出自高手之笔，感觉说的很厉害，但是非专业人士的我有点看不懂，看个大概 https://blog.netlab.360.com/ddg-mining-botnet-jin-qi-huo-dong-fen-xi/还有就是下面这篇文章，比较早，但是遇到的是同类问...

2018-08-01 09:58:10 1088 2

原创 java嵌套类（静态内部类非静态内部类局部内部类匿名内部类）

//嵌套类分为静态嵌套类和内部类内部类的其余两种形式：局部类匿名内部类// 外部类内部类使“多重继承”的解决方案变得更加完整。/* 1.静态内部类可以有静态成员(方法，属性)，而非静态内部类则不能有静态成员(方法，属性)。 * 2.静态内部类只能够访问外部类的静态成员,而非静态内部类则可以访问外部类的所有成员(方法，属性)。 */public class CloneTest...

2018-07-30 10:30:20 708

原创 JUC学习系列十一（并发类容器）

首先了解一下并发类容器和同步类容器的概念，以及这两类的区别：一、同步类容器同步类容器都是线程安全的，但在某些场景下可能需要加锁来保护复合操作。复合类操作如：迭代(反复访问元素，遍历完容器中的所有元素)、跳转(根据指定的顺序找到当前元素的下一个元素)、以及条件运算。这些复合操作在多线程并发的修改容器时，可能会表现出意外的行为，最经典的便是ConcurrentModificationExcep...

2018-07-27 09:35:48 764

原创 JUC学习系列十（异步计算 FutureTask）

public interface Future<V>Future 表示异步计算的结果。它提供了检查计算是否完成的方法，以等待计算的完成，并获取计算的结果。计算完成后只能使用 get 方法来获取结果，如有必要，计算完成前可以阻塞此方法。取消则由 cancel 方法来执行。还提供了其他方法，以确定任务是正常完成还是被取消了。一旦计算完成，就不能再取消计算。如果为了可取消性而使用 Fut...

2018-07-26 10:48:54 584

原创 JUC学习系列九（同步点 Exchanger）

可以在对中对元素进行配对和交换的线程的同步点。每个线程将条目上的某个方法呈现给 exchange 方法，与伙伴线程进行匹配，并且在返回时接收其伙伴的对象。Exchanger 可能被视为 SynchronousQueue 的双向形式。Exchanger 可能在应用程序（比如遗传算法和管道设计）中很有用。内存一致性效果：对于通过 Exchanger 成功交换对象的每对线程，每个线程中在 excha...

2018-07-25 11:03:05 406

原创 JUC学习系列八（信号量 Semaphore）

一个计数信号量。从概念上讲，信号量维护了一个许可集。Semaphore 通常用于限制可以访问某些资源（物理或逻辑的）的线程数目。通常，应该将用于控制资源访问的信号量初始化为公平的，以确保所有线程都可访问资源。为其他的种类的同步控制使用信号量时，非公平排序的吞吐量优势通常要比公平考虑更为重要。此类还提供便捷的方法来同时 acquire 和释放多个许可。小心，在未将公平设置为 true 时使用这些方法...

2018-07-25 10:05:04 1828

原创 JUC学习系列七（同步屏障 CyclicBarrier）

一个同步辅助类，它允许一组线程互相等待，直到到达某个公共屏障点 (common barrier point)。在涉及一组固定大小的线程的程序中，这些线程必须不时地互相等待，此时 CyclicBarrier 很有用。因为该 barrier 在释放等待线程后可以重用，所以称它为循环的 barrier。CyclicBarrier 支持一个可选的 Runnable 命令，在一组线程中的最后一个线程到...

2018-07-24 17:49:14 893

原创 JUC学习系列六（计数器 CountDownLatch）

一个同步辅助类，在完成一组正在其他线程中执行的操作之前，它允许一个或多个线程一直等待。用给定的计数初始化 CountDownLatch。由于调用了 countDown() 方法，所以在当前计数到达零之前，await 方法会一直受阻塞。之后，会释放所有等待的线程，await 的所有后续调用都将立即返回。这种现象只出现一次——计数无法被重置。如果需要重置计数，请考虑使用 CyclicBarrie...

2018-07-24 16:50:21 942

原创 JUC学习系列五（ThreadLocal）

该类提供了线程局部 (thread-local) 变量。这些变量不同于它们的普通对应物，因为访问某个变量（通过其 get 或 set 方法）的每个线程都有自己的局部变量，它独立于变量的初始化副本。ThreadLocal 实例通常是类中的 private static 字段，它们希望将状态与某一个线程（例如，用户 ID 或事务 ID）相关联。每个线程都保持对其线程局部变量副本的隐式引用，只要线程...

2018-07-24 11:42:51 584

原创 JUC学习系列四（条件锁 condition）

Condition 将 Object 监视器方法（wait、notify 和 notifyAll）分解成截然不同的对象，以便通过将这些对象与任意 Lock 实现组合使用，为每个对象提供多个等待 set（wait-set）。其中，Lock 替代了 synchronized 方法和语句的使用，Condition 替代了 Object 监视器方法的使用。Condition 实例实质上被绑定到一个锁上...

2018-07-24 11:04:37 705

原创 redis命令入门

一、下载与安装下载地址：http://www.redis.net.cn/ 下载redis-x.x.x.tar.gz包安装步骤：1、首先需要安装gcc： yum install gcc ，如果碰到输入，直接输y即可2、将redis的tar包放到/usr/local文件夹下3、解压tar包：tar -zxvf redis-xxx.tar.gz 4、进入到解压好的redis目录，进行编译：make5...

2018-07-06 17:05:02 284

原创 JUC学习系列三（队列同步器AQS）

详细说明：http://tool.oschina.net/apidocs/apidoc?api=jdk-zh为实现依赖于先进先出 (FIFO) 等待队列的阻塞锁和相关同步器（信号量、事件，等等）提供一个框架。此类的设计使用的是模板方法模式。应该将子类定义为非公共内部帮助器类，可用它们来实现其封闭类的同步属性。类 AbstractQueuedSynchronizer 没有实现任何同步接口。而是定义了...

2018-07-03 15:40:08 412

转载 POI导入导出Excel表格

POI全称 PoorObfuscation Implementation,直译为“可怜的模糊实现”，利用POI接口可以通过JAVA操作Microsoft office 套件工具的读写功能。官网：http://poi.apache.org ，在官网中下载jar包以及源码包。Jar包的引入：①对于只操作2003 及以前版本的excel，只需要poi-3.10.1-20140818.jar ...

2018-07-02 16:42:44 345

转载 java锁状态概念

一：对象头HotSpot虚拟机中，对象在内存中存储的布局可以分为三块区域：对象头（Header）、实例数据（Instance Data）和对齐填充（Padding）。 HotSpot虚拟机的对象头(Object Header)包括两部分信息，第一部分用于存储对象自身的运行时数据，如哈希码（HashCode）、GC分代年龄、锁状态标志、线程持有的锁、偏向线程ID、偏向时间戳等等，这部分数据的长度...

2018-06-29 15:29:23 1712

原创 JUC学习系列二（线程池Executors与ThreadPoolExecutor）

概念说明 Executor：一个接口，其定义了一个接收Runnable对象的方法executor，其方法签名为executor(Runnable command), ExecutorService：是一个比Executor使用更广泛的子类接口，其提供了生命周期管理的方法，以及可跟踪一个或多个异步任务执行状况返回Future的方法AbstractExecutorService：ExecutorSer...

2018-06-28 18:02:50 511