weixin_44090237的博客

原创 mysql数据恢复

mysql binlog2sql 数据恢复

原创 远程发送文件

2、在有该文件的服务器上起一个Python端口。1、压缩需要拷贝的文件。

原创 RabbitMq集群搭建

rabbitmq集群搭建

原创 sqlloader 导入数据

1、提取日志,过滤出sqlldr的日志导入本地，（多个sqlldr可以先合并成一个文件），再替换掉多余的字符串，验证去重再导出sql2、上传压缩好的sqllr数据日志文件到服务器3、解压上传的sqllr数据压缩包unzip sqlldrlog202110251554.zip4、执行bash环境变量#!/bin/bashPATH=$PATH:$HOME/.local/bin:$HOME/binexport PATHORACLE_BASE=/u01/app/oracleexport ORAC

原创 cmd命令导入导出Oracle表数据表结构

导出：只导出表结构：exp xubaouser/[email protected]:1521/nxubaodb file=lyt.dmp rows=n表结构表数据一起导入的：exp userid=xubaouser/[email protected]:1521/nxubaodb owner=xubaouser file=d:/daochu.dmp导出指定表的表结构exp xubaouser/[email protected]:1521/

原创 Linux下挂盘

Linux挂载一个新的硬盘（用的U盘） fdisk -l 查看当前分区和配置 会有一个新的sdb标识的磁盘 fdisk /dev/sdb 选择新加的硬盘 进行分区 n - 创建分区 p - 打印分区表 d - 删除一个分区 q - 不保存更改退出 w - 保存更改并退出 保存并退出后 使用mkfs命令格式化磁盘 格式为 mkfs.ext4 /dev/sdb 挂载分区 创建一个新的路径 mkdir /opt/app 挂载 mount /dev/sdb1

原创 Mysql误删表中数据与误删表的恢复方法

数据库误删某表某数据恢复方法，这个前提是针对每天有备份的数据库和开启binlog日志的/查看数据库是否开启binlog日志/mysql> show variables like '%log_bin%';+---------------------------------+---------------------------------------+| Variable_name | Value

原创 Spark 连接kafka的两种（Receiver与Direct）方式的区别

Receiver方式：Receiver方式是使用高级API，需要消费者连接zookeeper来读取数据。是由zookeeper来维护偏移量，不用我们手动维护，这样的话就比较简单，减少了代码量。但是特有很多缺点：1.丢失数据。他是由Executor内的Receiver来拉取数据并存放到内存中，再由Driver端提交的job来处理数据。这样的话，如果底层节点出现错误，就会发生数据丢失。2.浪费...

原创 Hbase的应用场景

首先，要确认有足够多的数据存入HBase。如 果有几亿或者几十亿条记录要存入HBase，那么HBase就是一个正确的选择；否则如果你仅有几百万条甚至更少的数据，那么HBase当然不是正确的选 择，这种情况下应当选择传统的关系型数据库，因为如果这么少的数据存入HBase，就会导致数据堆积在一两个节点上，而HBase集群内部的其他节点都处 于空闲状态。虽然HBase是一种绝佳的工具，但我们一定要记...

原创 HADOOP伪分布

Hadoop伪分布搭建1.1修改主机名vim /etc/hostname Master1.2修改IP第一种：通过Linux图形界面进行修改（强烈推荐）进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -&gt...

原创 nginx整合kafka配置文件

nginx.conf#user nobody;worker_processes 1;#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info;#pid logs/nginx.pid;events {worker_connections...

原创 Mybatis 搭建操作Mysql 数据库(测试 test)

https://pan.wps.cn/l/s3Iu9r4iO?f=101[文件] mybatis教案-day01.docx

原创 Centos7 下的mysql配置和搭建

1.下载YUM库（下载本地在传输到虚拟机）wget http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm12.安装YUM库rpm -ivh mysql57-community-release-el7-10.noarch.rpm13.安装数据库yum -y install mysql-communit...

原创 Nginx整合Kafka

一.首先安装nginx-kafka插件1.安装gityum install -y git2.切换到/usr/local/src目录，然后将kafka的c客户端源码clone到本地cd /usr/local/srcgit clone https://gitee.com/WCCRegistered/librdkafka.git3.进入到librdkafka，然后进行编译cd librdk...

原创 Linux下mysql主从复制配置搭建

1、主从服务器分别作以下操作：1.1、版本一致1.2、初始化表，并在后台启动mysql1.3、修改root的密码*2、修改主服务器master:#vi /etc/my.cnf[mysqld]log-bin=mysql-bin //[必须]启用二进制日志server-id=222 //[必须]服务器唯一ID，默认是1，一般取IP最后一段3、修改从服务器slave:#...

原创 Mycat 搭建

进入conf 修改 vim schema.xml<?xml version="1.0"?><mycat:schema xmlns:mycat=“http://io.mycat/”> <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1" ></...

原创 Spark-submit提交的两种模式

1、spark standalone master模式运行脚本 word.sh/usr/local/spark-2.2.0-bin-2.6.0-cdh5.7.0/bin/spark-submit –class com.etc.WordCount –num-executors 3 –driver-memory 100m –executor-memory 100m –executo...

原创 Hbase的使用

https://pan.wps.cn/l/sOQtSmo1r?f=101[文件] HBASE精炼版笔记v2.1.docx

原创 Flume采集数据到kafka

a1.sources = r1a1.sinks = k1a1.channels = c1#对于source的配置描述 监听avroa1.sources.r1.type = spooldira1.sources.r1.spoolDir =/opt/access.loga1.sources.r1.fileSuffix=.FINISHEDa1.sources.r1.deserializer...

原创 Spark standalone遇见的报错

解决方法： 在conf之后加上conf.set(“spark.testing.memory”, “2147480000”) //后面值大于512m即可

原创 Spark搭建

1、将spark-1.3.0-bin-hadoop2.4.tgz使用WinSCP上传到/usr/local目录下。2、解压缩spark包：tar zxvf spark-1.3.0-bin-hadoop2.4.tgz。3、更改spark目录名：mv spark-1.3.0-bin-hadoop2.4 spark4、设置spark环境变量5、修改spark-env.sh文件cp spark-...

原创 Azkaban搭建及使用

https://pan.wps.cn/l/sPUnii2Mh?f=101[文件] 大数据技术之azkaban.doc

原创 大数据技术之离线项目

https://pan.wps.cn/l/sIu9c9KpW?f=101[文件] 大数据技术之离线项目：离线平台.doc

原创 Linux 运行jar包怎么后台运行

需要些两个脚本1.启动脚本start.sh#! /bin/sh#注意：必须有&让其后台执行，否则没有pid生成 jar包路径为绝对路径java -jar /opt/java/wechat-0.0.1-SNAPSHOT.jar > /opt/temp.txt && 后台运行符号将jar包启动对应的pid写入文件中，为停止时提供pidecho ...

原创 kafka集群部署

修改配置文件service.profilebroker.id=1/2/3delete.topic.enable=truelog.dirs=/bigdata/kafka_2.11-0.10.2.1/datazookeeper.connect=master:2181,slave1:2181,slave2:2181启动kafka./kafka-server-start.sh -daemon ...

原创 ES单机版安装

1.安装JDK（1.8）2.上传解压Elasticsearch-5.4.33.创建一个普通用户，然后将对于的目录修改为普通用户的所属用户和所属组4.修改配置文件config/elasticsearch.ymlnetwork.host: 192.168.100.2115.启动ES，发现报错bin/elasticsearch#出现错误[1]: max file descriptors ...

原创 ES安装手册

http://www.elastic.co/guide/en/elasticsearch/reference/current/setup-configuration.htmlhttps://github.com/elastic/elasticsearch###【在多台机器上执行下面的命令】####es启动时需要使用非root用户，所有创建一个xiaoniu用户：useradd xiaoni...

原创 Redis

1.解压redistar -zxvf redis-5.0.5.tar.gz -C /usr/local2.进入解压后的文件redis-5.0.5make3.进入redis.conf注释掉#bind 192.168.88.5修改protected-mode yes改为noprotected-mode no4.启动redis服务redis.conf 是一个默认的配置文件。我们可以...

原创 ftp图片上传并显示

ftp:文件传输工具nginx : 反向代理服务器ftp+nginx :文件传输服务器1 .nginx 的安装配置文件加一个：2.ftp服务的搭建增加一个新用户：useradd gpppasswd gpp1234561.安装 ：yum -y install vsftpd2 /etc/ftp/pub #默认的共享目录3.、/etc/vsftpd/vsftpd.conf 核...

原创 Flume的应用场景

实例11.使用Flume的关键就是写配置文件，分别配置Source、Channel、Sink，然后把三者串联起来比如这里写一个配置文件$FLUME_HOME/conf/example.conf，使用netcat source、memory channel、logger sink，example.conf内容如下：a1.sources = r1a1.sinks = k1a1.channel...

原创 Hbase搭建

HBASE的搭建1关防火墙2修改主机名3配置映射4重启reboot5配置免密6准备包 jdk hadoop zookeeper hbase 解压7搭建Hadoop集群8搭建zookeeper集群9开始搭建HBASE集群4.1修改hbase-env.sh 这个配置在conf里面export JAVA_HOME=/usr/local/java/jdk1.8.0_144 这...

原创 预处理启动文本

#!/bin/bashday_str=date +'%Y-%m-%d'inpath=/app-log-data/data/daystroutpath=/app−log−data/clean/day_stroutpath=/app-log-data/clean/days​troutpath=/app−log−data/clean/day_strecho “准备清洗$day_str 的数据…”...

原创 Azkaban搭建

azkaban介绍为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：1...

原创 数据技术之Hadoop（HFDS文件系统）

大数据技术之Hadoop（HDFS文件系统）一 HDFS概念1.1 概念HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。1.2 组成1）HDFS集群包括，NameNode和DataN...

原创 Eleasticsearch-head插件连接不上

修改elasticsearch.yml文件vim ESHOMEES_HOMEESH​OME/config/elasticsearch.yml#增加如下字段http.cors.enabled: truehttp.cors.allow-origin: “*”

原创 Elasticsearch的命令

#查看集群状态curl -XGET ‘http://192.168.80.103:9200/_cluster/health?pretty’http://192.168.80.103:9200/_cluster/health?prettyRESTful接口URL的格式：http://192.168.80.103:9200///[]其中index、type是必须提供的。id是可选的，不提供...

原创 Elasticsearch 搭建

#es启动时需要使用非root用户，所有创建一个xiaoniu用户：useradd xiaoniu#为hadoop用户添加密码：echo 123456 | passwd --stdin xiaoniu#将bigdata添加到sudoersecho “xiaoniu ALL = (root) NOPASSWD:ALL” | tee /etc/sudoers.d/xiaoniuchmod ...

原创 Hbase原理图

原创 phoenix搭建

下载apache-phoenix-4.14.1-HBase-1.2-bin部署hbase版本1.2cp phoenix-core-4.14.1-HBase-1.2.jar …/hbase/libcp phoenix-4.14.1-HBase-1.2-server.jar …/hbase/lib启动hbase进入apache-phoenix-4.14.1-HBase-1.2-bin bin...

原创 zookeeper命令

zookeeper命令进入bin目录下./zkCli.sh开始练习查看有多少节点 ls /创建节点 create空 /huanshen查看节点 get 空 /huanshen “eve”修改节点 set空 /huanshen “”123“监听节点 首先在master get 空 /huanshen watch然后在slave1上写 set空 /huanshen ...