农码一生

原创 Linux新手入门的基本操作

查看IP ifconfig ip addr vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 进入文件输入小写i 变成inset状态 进行输入 上下建移动 如果不是inset状态则 shift+pu/up进行上下查看 退出 输入 :wq 写入退出 service network restart 重启网络 y...

原创 HBase基础

HBase介绍关系型数据库关系型数据库最典型的书库机构是表，由二维表及其之间的联系所组成的一个数据组织。 优点 易于维护：都是使用表结构，格式一致。 使用方便：SQL语言通用，可用于复杂查询。 复杂操作：支持SQL，可用于一个表以及多个表之间非常复杂的查询。 缺点 读写性能比较差，尤其是海量数据的高效率读写。 固定的表结构，灵活度稍欠。 高并发读写需求，传统关系型数据库，硬盘IO是一个很大的瓶颈 非关系型数据库优点

原创 5.Hive参数设置、运作方式、动态分区、分桶

Hive动态分区 hive的动态分区介绍 hive的静态分区需要用户在插入数据的时候必须手动指定hive的分区字段值，但是这样的话会导致用户的操作复杂度提高，而且在使用的时候会导致数据只能插入到某一个指定分区，无法让数据散列分布，因此更好的方式是当数据在进行插入的时候，根据数据的某一个字段或某几个字段值动态的将数据插入到不同的目录中，此时，引入动态分区。 hive的动态分区配置 --hive设置hive动态分区开启 set hive.exec.dynamic.p

原创 4.Hive的Serde,Server2,函数

Hive SerdeHive Serde用来做序列化和反序列化，构建在数据存储和执行引擎之间，对两者实现解耦。应用场景: hive主要用来存储结构化数据，如果结构化数据存储的格式嵌套比较复杂的时候，可以使用serde的方式，利用正则表达式匹配的方法来读取数据，例如，表字段如下：id,name,map<string,array<map<string,string>>> 当读取数据的时候，数据的某些特殊格式不希望显示在数据中，如：192.168..

原创 3.Hive的SQL操作

数据库的基本操作 展示所有数据库 show databases; 切换数据库 user database_name; 创建数据库 create database database_name; 删除数据库 drop database database_name; 注意：当进入hive的命令行开始编写SQL语句的时候，如果没有任何相关的数据库操作，那么默认情况下，所有的表存在于default数据库...

原创 Hive的安装搭建

Hadoop mapreduce 计算 hdfs 存储 安装 node02 mysql (node01)环境 mapreduce 环境 hdfs 环境 解压: tar -zxvf apache-hive-xxx.tar.gz -C /opt/bigdata/ 改名 mv apache-hive-xxx-bin hive-2.3.4 bin可执行文件 conf配置文件 lib jar包.

原创 Hive的基本介绍

1.Hive产生的原因 方便对文件及数据的元数据进行管理，提供统一的元数据管理方式 提供更加简单的方式来访问大规模的数据集，使用SQL语言进行数据分析 2.Hive是什么？ Apache官网：The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. S.

原创 CentOS-6.5-x86_64-minimal.iso的基本操作

6.5-minimal.iso安装 新建虚拟机 自定义(高级) 下一步 下一步 稍后 -- > 下一步 linux --> 对应的centos版本 64位 起名字、选择位置 下一步 下一步 1G内存 下一步 NAT模式 下一步 一直默认下一步 磁盘大小更改为100 一致下一步完成 .

原创 oracle的常用sql

区别1oralce :select e.ename, (e.sal + nvl(e.comm, 0)) * 12 from emp e; mysql :select e.ename, (e.sal + ifnull(e.comm, 0)) * 12 from emp e; 分页 其他全集 union all 并集 union 交集 intersect 差集 minus函数sql函数可以分为分组函数和单组函数 ...

转载 延时队列的实现方法

引用：https://www.zhihu.com/tardis/sogou/art/139946787作者：微信公众号 &lt;贰手程序员&gt;

原创 mybatis-plus

@Service@RequiredArgsConstructor@Slf4jpublic class CourseService extends ServiceImpl<CourseMapper, Course>import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;@Repositorypublic interface CourseMapper extends BaseMapper&...

原创 redis-lock

public boolean lock(String key, int expire) { String lock = LOCK_PREFIX + key; // 利用lambda表达式 return (Boolean) redisTemplate.execute((RedisCallback) connection -> { long expireAt = System.currentTimeMillis() + expi..

原创 学习博客

https://www.cnblogs.com/grasp/p/11268049.html

原创 map添加数据语法糖

原创 SQL自连接查询使用EXISTS替代

问题：需要使用两个字段去mysql查询一个字段方式一：sql自连表，将一个字段拆开SELECT * FROM cmooc_course a WHEREa.valid = 'Y' and a.id in ( select DISTINCT a.course_id from cmooc_course_belong_scope a inner join cmooc_course_belong_scope b on a.course_id = b.course_id .

原创 Lambda表达式之list收集集合某一元素到另一集合

List<BelongInstitutions> belongInstitutionsList = getBelongInstitutionsList(courseBelongInstitutions, courseBelongChannels);List<String> courseIdList = belongInstitutionsList.stream().map((a) -> a.getCmoocAllId()).collect(Collectors.toList.

原创 模糊查询带%的用户

问题：如下sql,会把不匹配的数据查询出来SELECT COUNT(1) FROM cmooc_course a WHERE a.valid = 'Y' AND a.app_id = 'b504cfe76e27c640a1df1aeb244ff137' AND a.course_name LIKE concat('%', '%', '%')更换： like 更换INSTRINSTR(a.course_name,#{courseName}) &lt;&gt; 0...

原创 “＜＜“和“＞＞”运算

//相当于 1 *（2的4次方）System.out.println(1<<4); 16//相当于 1 / （2的4次方）System.out.println(1>>4); 0//相当于 16 / (2的2次方)System.out.println(16>>2); 4//相当于 16 * (2的2次方)System.out.println(16<<2); 64...

原创 时间

每天进步一点点！ 06-23 环境搭建 因为安装软件需要管理员账号密码，所以网上到处找免安装版。 06-24 熟悉代码 需要学习一下MongoDB 需要学习一下ElasticSearch

原创 SpringBoot构建成docker镜像

docker关联让docker之间可以相互访问 dockers --link修改配置springboot 配置文件，给相关的host(ip)修改别名 打包springboot项目 进入项目 mvn clean package -Dmaven.test.skip=true 将target目录文件的jar包上传服务器 制作镜像创建Dockerfile文件 编写命令 FROM java:8EXPOSE 8080VOLUME /tmpENV TZ=Asia/Shan.

原创 导入外部springboot项目 - 启动步骤

一：配置maven地址File -> setting -> maven二：配置java对应版本File->setting -> Project structure -> SDK三：删除 .idea 文件四：关闭idea，重新打开

原创 前后端分离，后台接收日期

中国标准时间：JsonFormat(time zone= GTM+8,pattern=‘yyyy-MM-dd’T’ HH:mm:as.SSSXXX

原创 vue学习

基础脚手架安装Vue脚手架 npm install -g @vue/cli vue --version(一般是3.x.x) vue create my-project 拉取2.x模板 npm install -g @vue/cli-init vue init webpack my-project vue init webpack my-project 什么是前端渲染，什么是后端渲染 后端渲染：后台服务器传到前台就已经渲染好了。.

原创 .gitignore文件的设置

Compiled class file*.class*.log*.lockPackage Files*.jar*.war*.nar*.ear*.zip*.tar.gz*.rartarget/idea.idea/*.imlvelocity.logSTS.apt_generated.factorypath.springBeans###IntelliJ IDEA...

原创 加盟店 -- 祖坟刨干记

加盟行业 -- 一个看起来很美，但是让无数人赔了大裤衩随风飘扬的行业本文摘自bilibili一个天天在镜子前给自己磕头的男人。 送给小白的自己，谨记别人的错误，给自己积累经验，同时也分享给大家，双倍快乐！ 别人用了20分钟解说，我用了5小时记录...... 鉴于整个加盟行业的玩法都比较迷幻现实，并且存在大量割韭菜的行为，建议那些准备做加盟的，给自己的人生留一个机会，给下...

原创 现金流

网上看到一个经典评论：小姑娘卖花说一位小姑娘想开一家花店,就告诉他的父亲，父亲问那你怎么开好这一家花店呢？ 姑娘说：我会用心照顾好每一朵花，精心护理，微笑服务每一位客户！ 父亲摇摇头：不对，你应该计算下你每月花店的成本，以及能抗多久不盈利！ 姑娘说：每月房租水电费成本1万，一年12万，我有60万。 父亲说：那你的花店能开5年。 姑娘说：那5年之后呢！ 父亲微微一笑~ ...

原创 个人风险与机遇

这个月来，美股大跌，我是天天失眠，每天脑袋就想着一件事：为什么我亏了那么多！今天翻来覆去睡不着干脆写点东西安慰下自己。 先记录下最近的几件倒霉事。美股大跌，我被套了~ 今天测体温发烧，明天要某毒核酸试剂检测~ 室友都嫌弃呀！ 工作交接不畅！ 经过这么多天的反忆，首先一点是值的肯定的，我没做错什么！我从业于软件行业，每天都在和一些软件打交道，比如：谷...

原创 双蛋问题

问题： 奥林匹克大厦楼层高100层，当楼层低时，从楼上扔下鸡蛋不会碎，当楼层高时，从楼上扔下鸡蛋会破碎。现在你有两个鸡蛋，你扔多少次，可以计算得出鸡蛋不会碎的楼层？(除去任何因素，牛顿的棺材已经派人按住了)方式一： 从一层开始扔，每层递增，那么每次增加1，最多试100次就出结果了。 结果：最少1次就碎，最多100次碎。 既(1， 100) 方式二：平衡二叉树法...

原创 zookeeper学习

摘自：练武不练功，到老一场空！ls -ltr是什么？能干嘛？配置文件：conf/zoo_sample.cfg，默认端口2181 进入conf复制：cp zoo_sample.cfg zoo.cfg 启动： 进入bin目录，./zkServer.sh start 查看是否正常启动 echo ruok | nc 127.0.0.1 2181 回复：imok...

原创 消息中间件activemq

面试题为什么使用？ 系统之间接口耦合比较严重。 ----能够解耦 面对大流量并发时，容易被冲垮 -- 能够削峰 等待同意存在性能问题 --- 能够异步 使用场景？ 种类 kafka rabbitMQ ActiveMQ R 原理实战扩展总结...

原创 jvm虚拟机

问题：请谈谈你对JVM的理解？ java8的虚拟机有什么更新? 什么是OOM？什么是StackOverflowError?有哪些方法分析？ Jvm的常用参数调优你知道哪些？ 谈谈JVM中，对类加载器你的认识？类装载器ClassLoader负责加载class文件，class文件在文件开头有特定的文件标识，将class文件字节码内容加载到内存中，并将这些内容转换成方法区中的运行时数据结...

原创 java集合

面试题List 底层是数组，初始大小10，Object类型，扩容加一半，通过array.copyof复制原来的数组，线程是不安全的。 初始值为10，第一次扩容15，第二次扩容22。 Map 底层是数组+链表，初始大小16，Object类型，扩容加一倍，每次next+1，key的hash值一样则加在链上。线程是不安全的。 hashSet,底层是hashMap,值是new了一个Objec...

原创 lambda表达式(函数式表达式)

函数式编程>@FunctionalInterface 接口只有一个普通方法 >lambda表达式 ()->{} 该接口是函数式接口才能用lambda >default可以定义多个 >static 可以定义多个代码：函数式接口 @FunctionalInterfacepublic interface LambdaExpress {...

原创 二叉树，

读写要求高就用InnoDB, 因为支持事务 hash索引 >> 哈希 查找/插入/修改/删除的平均时间复杂度都是O(1)，当有范围/排序等操作时复杂度成为O(n)。 树 >> 树，查找/插入/修改/删除的平均时间复杂度都是O(log2(n))，当有范围/排序等操作时复杂度仍然是O(log2(n)) 如：log2(8)=3 备注：InnoDB并不支持哈希索引树(...

原创 分布式锁(zookeeper)

对于单机环境一个JVM对应多个线程，使用synchronized,Reentrantlock。 代码实现 方法加lock锁 public class OrderZookService{ private static int number = 0; private ZkLock zkLock = new ZkDistributedLock(); public...

原创 线程(锁)

线程实现有几种方式？分别是什么常用的有两种，1、集成。2、实现Runable接口，还有两种，分别是FutureTask和线程池。 继承Thread public class Client { public static void main(String[] args) throws Exception { MyThread thread1= new MyThrea...

原创 java基础面试题

java中有几种基本数据类型 byte、shot、int、long、float、double、char、 boolean String String重写了hashcode方法和 equals方法。 常量找池、变量找堆，new出来的也在堆里。(如果是常量，没有进堆，就没有内存地址一说， 只要值一样，==就相等) //常量 System.out.p...

原创 全选全不选

html <input id="check" name="check" type="checkbox" />全选全不选 <input id="box1" name="items" type="checkbox" /> <input id="box2" name="items" type="checkbox" /> <in...

原创 正则表达式基础学习

/** * 匹配字符串是否含有A */ var reg = new RegExp("a"); console.log(reg.test("ABC")); /** * 忽略大小写匹配a */ var reg = new RegExp("a", "i"); console.log(reg.test("ABC"));//tru...

原创 java设计模式

单例设计模式八种方式恶汉式(静态常量)(推荐使用) 构造器私有化(防止new) 累的内部创建对象 向外暴露一个静态的公共方法。 代码实现 package com.lianxi;public class SingletonTest { public static void main(String[] args) { //测试 Sin...