- 博客(32)
- 收藏
- 关注
RSS订阅原创 环境搭建脚本记录（待开源等小伙伴补充）
环境搭建脚本记录大数据组件安装顺序JDK安装静态ip配置关闭防火墙配置各主机之间免密登录flume安装配置Zookeeper单机安装配置Zookeeper集群安装配置大数据组件安装顺序组件安装顺序：1.flume zk2.kafka hadoop3.flink hbase sparkJDK安装1 上传jdk安装包到主机2 配置环境变量vim /etc/profileexport JAVA_HOME=/usr/java/jdk1.8export CLASSPATH=$:CLASS
2021-08-12 18:53:51
182
原创 虚拟机集群搭建网络构建
应用场景问题：IP地址受限使用，但又想搭建集群，主机访问外界网络实验方案1.虚拟机配置桥接和仅主机网络模式2.主机之间配置免密登录1. 本地虚拟网卡配置如下2. 虚拟机网卡配置如下3. 虚拟机系统配置3.1 静态ip配置vi /etc/sysconfig/network-scripts/ifcfg-enp0s3BOOTPROTO=staticONBOOT=yesIPADDR=192.168.2.11NETMASK=255.255.255.0GATEWAY=192.168
2021-08-12 18:12:05
228
原创 大数据开源框架集锦
1 大数据平台1.1 hadoop离线数据的分布式存储和计算基础框架分布式存储HDFS离线计算引擎MapReduce资源调度Apache YARN1.2 CDH基于稳定版Hadoop及相关项目最成型的发行版本, 成为企业部署最广泛的大数据系统可视化的UI界面中方便地管理配置和监控Hadoop以及其它所有相关组件简单来说将十几个hadoop开源项目集成在一起1.3 HDP基于hadoop生态系统开源组件构建的大数据分析平台2 集群管理与监控2.1 Cloudera Mana
2021-08-12 16:19:55
1037
原创 kerberos认证
kerberos认证（电子版后续整理）1 kerberos认证的一些基本概念2 kerberos认证原理图3 kerberos安装部署4 HDFS配置 kerberos认证
2021-07-31 16:52:15
98
原创 Linux 指令备忘录（更新中）
1 关机/重启/注销shutdown -h now 即刻关机shutdown -h 10 10分钟后关机reboot 重启logout 退出登录Shell2 系统信息和性能查看cat /proc/version 查看linux系统及版本uname -a 查看内核/OS/CPU信息hostname 查看计算机名称who 查看登录系统的用户whoam
2021-07-31 15:27:35
99
原创 ssh: connect to host localhost port 22: Connection refused
1. ssh localhost 或者启动start-dfs.sh/start-hbase.sh出现如下报错ssh: connect to host localhost port 22: Connection refusedssh: connect to host localhost port 22: Connection refused步骤1 查看ssh服务有没有启动root@becdadab2db1:/# /etc/init.d/ssh status * sshd is not runnin
2021-04-10 10:39:28
620
原创 Virtual box虚拟机进行网络配置
VMware中的虚拟机系统通常有三种网络连接方式：1.Brigde桥接模式（VMnet0）2.NAT模式（VMnet8）3.Host-only（VMnet1）下面依次对三种方式配置进行详细解说：1.桥接模式（1）原理：   Bridge 桥"就是一个主机，有两块网卡，桥的两端是真实网络和虚拟机网络,在桥接时，VMWare网卡和物理网卡应该处于 ""同一IP网段 "当然要保证两个局域网没有冲突这样就实现了主机和虚拟机之间的网络互通。虚拟机内的主
2021-03-18 11:02:20
932
1
原创 DES 和AES加密算法（python实现）
DES 和AES加密算法（python实现）(1) DES算法from Crypto.Cipher import DESfrom binascii import b2a_hex, a2b_hexclass MyDESCrypt: def __init__(self, key=''): # 密钥长度必须为64位，也就是8个字节 if key != '': self.key = key.encode('utf-8') e
2021-03-08 22:27:41
2036
原创 PostgreSQL和Mysql执行增改查速率比较
PostgreSQL和Mysql执行增改查速率比较1.测试代码(1 )数据库表和实体之间进行对应public class XXX { private Integer id; private Integer userId; private String appid; private String username; private String appname; private String person; private String telep
2021-03-04 15:34:14
460
2
原创 python BeautifulSoup 实现网页的爬取
python BeautifulSoup 实现网页的爬取# -*- coding: utf-8 -*-from bs4 import BeautifulSoupimport requestsif __name__ == '__main__': session = requests.Session() page_url = "https:// xxxx.cm" headers = { "user-agent": "Mozilla/5.0 (Windows NT
2020-12-30 23:21:11
294
1
原创 springboot的属性注入
1、确定属性值application.propertiesserver.port=8989server.servlet.context-path=/springboot_day3user.id=21user.age=23name=xiaochenbir=2012/12/12 12:12:12strs=aa,bb,ccqqs=xiaochen,xiaohei,xiaomingmaps={'aa':'xiaochen','bb':'xiaohei','cc':'xiaosan'}2
2020-07-08 17:06:06
131
原创 maven+Springboot+mybits+thymeleaf整合
1、Springboot整合mybits的大致流程1、引入依赖mybits-spring-boot-stater mysql druid(阿里巴巴)2、必须在入口类上@mapperScan注解 扫描DAO接口所在的包3、建表4、开发实体类5、DAO和mapper配置文件开发6、开发Service和ServiceImpl7、开发controller8、开发页面进行测试2、项目的开发目录结构3、编写配置文件application.properties//配置端口号 项目名ser
2020-06-20 20:45:54
305
原创 emq的安装使用和客户端编程初步
３、EMQ的安装使用安装过程以 CentOS 7 为例1、emq的解压启动unzip emqx-centos7-v3.0.zip //解压 cd emqx && ./bin/emqx console // 控制台查看启动CTRL+C 关闭控制台 ./bin/emqx start //守护进程模式启动安装成功后 系统配置文件：/etc/emqx/emqx.conf 插件配置文件： /etc/emqx/plugins
2020-06-16 16:11:40
922
原创 mqtt和emq介绍
１、什么是 MQTT MQTT 是 Message Queuing Telemetry Transport（消息队列遥测传输）的缩写，是 IBM 开发的一个即时通讯协议；基于发布 / 订阅范式的 “轻量级” 消息协议；MQTT服务器 服务器是发布者和订阅者之间的代理；* 客户端（发布者）发送一条消息到服务器* 一个或者多个客户端（订阅者）从服务器接收消息按照 MQTT 协议标准，服务器提供三种连接方式，* TCP：默认端口为 1883* TLS：默认端口为 8883* WebSoc
2020-06-16 15:46:53
3062
原创 IntelliJ Idea 常用快捷键列表
IntelliJ Idea 常用快捷键列表Ctrl+Shift + Enter，语句完成“！”，否定完成，输入表达式时按 “！”键Ctrl+E，最近的文件Ctrl+Shift+E，最近更改的文件Shift+Click，可以关闭文件Ctrl+[ OR ]，可以跑到大括号的开头与结尾Ctrl+F12，可以显示当前文件的结构Ctrl+F7，可以查询当前元素在当前文件中的引用，然后按 F3 可以选择Ctrl+N，可以快速打开类Ctrl+Shift+N，可以快速打开文件Alt+Q，可以看到当前方
2020-06-08 18:56:33
122
原创 ElasticSearch head插件的使用
ElasticSearch head插件的使用1、head插件ElasticSearch-head：是集群管理、数据可视化、增删改查、查询语句可视化工具。2、 head插件的安装使用2.1更新echosudo是linux下常用的允许普通用户使用超级用户权限的工具，允许系统管理员让普通用户执行一些或者全部的root命令，如halt，reboot，su等等。这样不仅减少了root用户的登陆和管理时间，同样也提高了安全性。Sudo不是对shell的一个代替，它是面向每个命令的。更新sudo使得系统使用
2020-06-08 18:02:27
354
原创 ElasticSearch RESTFUL风格的增删改查操作
ElasticSearch RESTFUL风格的增删改查操作1、RESTFUL相关ES中相关概念：是基于Lucene开发的分布式全文检索框架，往ES中存储和从ES中查询，格式是JSON索引：Index 相当于数据库中的database类型：type 相当于数据中的table主键：Id 相当于数据库中的主键往ES中存储数据，其实就是往ES中的Index 下的type下存储JSON数据RESTFUL风格的API(请求规范)通过http的形式，发送请求，对ES进行操作查询：请求方式应该为GET
2020-06-08 17:58:10
567
原创 Elasticsearch集群搭建
1、环境(1)系统Linux： CentOS 7(2)ES：6.8.0版本 elasticsearch-6.8.0.tar.gz(3)JDK：jdk-8u11-linux-x64.tar.gz2、CentOS 几点注意事项（1）下面列举了几条防火墙命令，这里使用的防火墙要求开机不启动systemctl status firewalld //查看防火墙状态 systemctl start firewalld//开启防火墙 systemctl stop firewalld //关闭防火墙防
2020-06-04 17:27:32
214
转载 IDEA用maven创建springMVC项目和配置（XML配置和Java配置）(修正版)
IDEA用maven创建springMVC项目和配置（XML配置和Java配置）(修正版) ...
2020-06-03 11:58:45
317
1
原创 Linux CentoS7系统的基本命令
#查看服务状态systemctl status NetworkManager#停止服务systemctl stop NetworkManager#启动服务systemctl start NetworkManager#禁止服务开机启动systemctl disable NetworkManager#设置服务开机启动systemctl enable NetworkManager#查看网络信息ip addr#查看具体某个网卡信息ip addr ls eno16777736#停止网卡i
2020-05-17 21:19:00
110
原创 神经网络学习
文章目录从零开始搭建神经网络 (一) 基础知识从零开始搭建神经网络（二）数学公式及代码实现从零开始搭建神经网络（三）含隐藏层的神经网络从零开始搭建神经网络（四）深度学习框架Tensorflow从零开始搭建神经网络（五）卷积神经网络(CNN)...
2020-04-17 11:42:19
164
原创 Linux文件相关命令
03、创建和删除操作3.1 touch创建文件或修改文件时间如果文件不存在，创建一个空白文件如果文件已经存在，可以修改文件末次修改日期3.2 mkdir创建一个新的目录-p可以递归创建目录新建目录的名称不能与当前目录中已有的文件或者目录重名3.3 rm （删除文件或者目录）使用rm命令要小心，因为文件直接从磁盘中删除，不能恢复-f 强制删除-r 递归删除文件或目录（...
2020-03-21 01:46:51
60
原创 Linux 文件和目录有关的命令
01.ls查看目录内容1.1实用小技巧-》自动补全 tab-》曾经使用过的命令 上下箭头1.2 ls命令说明（list）最长256个字符以 . 开头的文件为隐藏文件，需要用-a参数（all的 缩写）才能显示**.**代表当前目录**…**代表上一级目录可以连着输入如：-alh02 .切换目录cd绝对路径相对路径...
2020-03-19 16:13:07
139
原创 操作系统简介
操作系统，管理硬件1、服务器1简单理解为一台电脑，硬件层面2计算机上的操作系统 层面软件远程管理操作服务器2、linux安全稳定，占有率高python3、嵌入式操作系统Linux智能家居等等4、移动设备操作系统IOS和安卓手机平板虚拟机本质上是一个软件，模拟完整的硬件功能最大的好处就是学习新的操作系统任意在现有和虚拟操作系统之间来回的切换操作系统的发展简史贝尔实验室...
2020-03-19 15:19:46
165
原创 Linux常见终端命令
1、Linux常见基本命令ls 查看当前文件夹下的内容pwd 常看当前所在文件夹目录cd 【目录名】 切换文件夹touch【文件名】如果文件不存在，新建文件mkdir 【目录名】 创建目录rm 【文件名】 删除指定的文件名clear 清屏2、终端命令格式command [-options] [parameter]3、查阅命令帮助信息方式一：command --help方...
2020-02-08 00:36:54
90
原创 Java API学习路线
Java API学习路线1.api学习思路 1.查看要学习的类 2.看包 3.看构造方法 4.看方法2.String 1.构造方法 1.无参数和有参数构造方法 2.byte数字转字符串 3.char数组转字符串 2.普通方法 1.判断类 2.转换类 3.截取类 4.其他方法3.StringBuffer与StringBuilder 1.StringB...
2019-12-30 15:58:55
195
原创 catalan队列输出序列
catalan数 出栈序列2017年03月12日 21:50:32 freshZero_ 阅读数 1293更多个人分类： 算法1.饭后，姐姐洗碗，妹妹把姐姐洗过的碗一个一个地放进碗橱摞成一摞。一共有n个不同的碗，洗前也是摞成一摞的，也许因为小妹贪玩而使碗拿进碗橱不及时，姐姐则把洗过的碗摞在旁边，问：小妹摞起的碗有多少种可能的方式？2.给定n个数，有多少种出栈序列？3.一个有n个1和n个-...
2019-08-07 19:05:35
873
转载 网络数据包解析（wareshark）
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/hebbely/article/details/54424823 简述：本文介绍了抓包数据含义，有TCP报文、Http报文、DNS报文。如有错误，欢迎指正。1、TCP报文TCP：（TCP是...
2018-11-27 16:51:01
1747
原创 排序算法Java版
问题：输入一串数字按升序排列import java.util.Scanner;/** * 冒泡法排序 * @author 吴光磊 * */public class Main { public static void main(String[] args){ Scanner scanner = new Scanner( System.in); ...
2018-09-13 18:03:45
122
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人