- 博客(49)
- 收藏
- 关注
RSS订阅原创 VBA-指定列批注批量转移到表格里
把B列批注转移到D列：打开开发工具–>VB编辑器–>粘贴下面代码–>点击运行Sub 转移批注()On Error Resume Next'选中行区间范围533行到592行For i = 533 To 592'选择把第2列的批注，转移到第4列Cells(i, 4) = Cells(i, 2).Comment.TextNextEnd Sub在进行其他操...
2019-09-18 16:44:21
545
原创 VBA--批量替换超链接路径
开发工具–>VB编辑器–>视图–>代码窗口–>输入如下代码–>点击运行Sub ChangeHyperlink()For Each c In ActiveSheet.Hyperlinksc.Address = Replace(c.Address, "原路径", "替换的路径")NextEnd Sub...
2019-06-28 14:34:17
1822
原创 VBA-大表按列分成多个小表(带表头)
按班级分表：开发工具–>VB编辑器–>视图–>代码窗口–>粘贴下面代码Sub cfgzb() Dim arr, d As Object, k, t, i&, lc%, rng As Range, c% c = Application.InputBox("请输入拆分列号", , 1, , , , , 1) If c = 0 Then Ex...
2019-06-25 17:22:18
1153
原创 Navicat mysql 执行任务报错
Navicat mysql 执行任务报错：Multi-statement transaction required more than ‘max_binlog_cache_size’ bytes of storage; increase this mysqld variable and try again在mysql里面查看max_binlog_cache_size大小：show varia...
2019-06-19 17:09:29
2297
原创 centOS 7 没有IP，重启网络服务报错
centOS 7 没有IP，重启网络服务报错：没有IP：重启网络服务报错：[root@master ~]$systemctl restart network.serviceJob for network.service failed because the control process exited with error code. See "systemctl status netw...
2019-06-19 10:12:48
754
原创 Oracle 11gR2在Linux7.4 X64 安装实施方案
一、安装Linux7.4安装过程（略）二、Linux配置1、创建linuxSoft目录[root@rac2 ~]# mkdir /linuxSoft2、拷贝镜像文件到/linuxSoft[root@rac2 ~]# cp /dev/cdrom /linuxSoft/3、挂载已拷贝镜像[root@rac2 linuxSoft]# mount /linuxSoft/cdrom /m...
2019-05-27 17:48:24
843
原创 VBA-工作簿里面多个Shee拆分成独立的工作簿
1.打开视图—>代码窗口—>粘贴代码2.运行代码 Private Sub chafenbiao() Dim sht As Worksheet Dim MyBook As Workbook Set MyBook = ActiveWorkbook For Each sht In MyBook.Sheets ...
2019-05-20 11:45:18
1154
原创 VBA-大表拆分成固定行数的多个小表(带表头)
Sub shouji() '定义分割后的表除表头外有多少行 Dim EveryRow As Integer EveryRow = 100 'bookName : 主工作簿名(temp) Dim BookNameTemp As String BookNameTemp = Windows.Application.ActiveWorkbook....
2019-05-15 10:02:40
2117
1
原创 身份证(省市)编码表
批量查询手机号码归属地：http://www.1234i.com/p.php 一次可查询100个注：地区编码前两位是省份后两位是城市地区编号 省份 地区1100 北京 北京1200 天津 天津1301 河北 石家庄1302 河北 唐山1303 河北 秦皇岛1304 河北 邯郸1305 河北 邢台1306 河北 保定1307 河北 张家口1308 河北 承德1309 河北...
2019-05-14 17:16:42
64112
1
原创 MySQL(二进制)安装
监听端口:TCP :33061.上传到/usr/local/src/2.参数文件放到/etc/目录下:mv my.cnf /etc3.解压: tar xzvf mysql-5.6.16.......4.软件安装路径: MV mysql-5.6.16....... /usr/local/mysql5.数据库文件存放路径 : mkdir -p /data/mysql6.创建MySQL用户...
2019-04-22 15:21:05
86
原创 Nginx负载均衡
Nginx—应用及软件–负责接受转发lvs—系统级软件F5—负载均衡器Nginx的安装 编译安装cd /usr/local/srctar -zxvf nginx-1.6.3.tar.gz2.创建对应的用户nginxuseradd nginxyum install gcc pcre-devel zlib-devel3.configure 环境检查预配置../configu...
2019-04-22 15:18:02
81
原创 网络通讯协议(TCP-UDP-HTTP)
应用层协议—服务(dhcp, nfs, ftp, ntp, dns)传输层协议—TCP/UDP/http传输层协议：面向连接的：TCP (Transmission Control Protocol 传输控制协议)TCP需要在传输方和接收方之间建立虚链接,建立一个专用的虚拟的连接通道.后续的所有数据都在这个虚拟通道中传输.所以不需要封装额外的信息互联网上百分之95的连接都属于TCP无...
2019-04-22 11:57:55
829
原创 RedHat Linux 6--网络管理
1，vim /etc/nsswitch.conf用户校验,用户解析密码校验,密码解析:组ID校验,组解析::主机名解析:去files本地文件解析2，vim /etc/hosts主机名IP对应关系配置3，查看网卡/IP查看windos：ipconfig查看Linux：ifconfig/ip alo：本地回环网卡:自己ping自己用的eth0：关闭软件：service Netw...
2019-04-22 11:38:06
274
原创 RedHat Linux 6--服务的管理
查看监听端口:netstat -tunplnetstat -tunpl | grep dhcpd所有的服务启动文件被储存在/etc/rc.d/intit.d/目录下启动和停止：— start :启动这个服务— stop :停止这个服务— restart :先停止在启动 端口号重新申请,— reload :重载配置文件 端口号不变 只有在服务已经启动的状况下才能使— condres...
2019-04-22 11:33:04
1043
原创 RedHat Linux 6--系统启动流程
忘记root密码:重新挂载根目录mount -o renount.rw /inittab 决定了操作系统默认运行级别7个,最常用3,5,vim /etc/inittab机房安全决定系统安全,系统安全数据库安全查看命令:echo $PATH查看当前系统分区:cat /proc/partitions查看当前系统CPU:cat /proc/cpuinfo运行级别文件:/etc/rc...
2019-04-22 11:30:56
385
原创 RedHat Linux 6---RAID独立磁盘阵列
RAID原理1.磁盘阵列作为独立系统在主机外直连或通过网络与主机相连。磁盘阵列有多个端口可以被不同主机或不同端口连接。一个主机连接阵列的不同端口可提升传输速度。2.和当时PC用单磁盘内部集成缓存一样，在磁盘阵列内部为加快与主机交互速度，都带有一定量的缓冲存储器。主机与磁盘阵列的缓存交互，缓存与具体的磁盘交互数据。3.在应用中，有部分常用的数据是需要经常读取的，磁盘阵列根据内部的算法，查找出这...
2019-04-22 11:24:05
295
原创 Linux---打包压缩-拆包
打包压缩打包—> 多个文件变一个文件 —> 减少文件符的创建时间压缩—> 大文件变小文件 —> 传到硬盘的空间小传输的时候也小打包命令: tar -cvf test.tar file1 file2 file3打包压缩(常用):tar -zvxf test.tar.gz file1 file2 file3文件夹打包压缩(把data打包压缩):tar -z...
2019-04-22 11:15:03
399
原创 RedHat Linux 6-磁盘管理
添加硬盘–> 分区(msdos)–> 创建文件系统(格式化)—> 挂载 --> 自动挂载(fdisk -l) (fdisk) (mkfs.ext4) (mount) (文件)添加硬盘–> 分区(GPT)–> 创建文件系统(格式化)–> 挂载 --> 自...
2019-04-22 10:42:53
742
翻译 初始化StreamingContext
要初始化Spark Streaming程序，必须创建一个StreamingContext对象，它是所有Spark Streaming功能的主要入口点。A的StreamingContext对象可以从被创建SparkConf对象import org.apache.spark._import org.apache.spark.streaming._val conf = new SparkCon...
2019-03-18 16:35:18
232
原创 Linux----文件的基本操作
创建文件• #touch 文件名称 .... 同时创建多个文件• #touch aaa bbb ccc • [root@localhost ~]# ls• aaa bbb ccc• windows下面文件和目录是可以重名的,后缀不同• 但是Linux下面是不可以的,在已经存在该文件的情况下,使用touch aaa,会更新文件的修改时间• [root@loc...
2019-03-10 17:33:49
66
原创 sqoop的使用
第一类：数据库中的数据导入到HDFS上sqoop import --connect jdbc:mysql://192.168.1.10:3306/brs --username root --password 123 --table trade_detail --columns 'id, account, income, expenses'指定输出路径、指定数据分隔符sqoop impor...
2019-03-05 22:44:33
72
原创 日志采集框架Flume的几种常见模式
1.1 概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集需求，通过对flume的简单配置即可实现 Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据...
2019-03-05 22:22:21
1148
原创 HBase的热点问题及解决思路
Hbase的表会被划分为1…n个Region,被托管在RegionServer中。Region二个重要的属性：Startkey与EndKey表示这个Region维护的rowkey的范围，当我们要读写数据时，如果rowkey落在某个start-end key范围内，那么就会定位到目标region并且读写到相关的数据。默认情况下，当我们通过hbaseAdmin指定TableDescriptor来创建...
2019-03-05 22:16:44
1284
转载 HBase各个组件的作用/相关知识点/HLog(WAL log)说明
HBase各个组件的作用:1. Client：包含访问Hbase的接口，并维护cache来加快对Hbase的访问，比如region的位置信息。2. HMaster：是hbase集群的主节点，可以配置多个，用来实现HA为RegionServer分配region负责RegionServer的负载均衡发现失效的RegionServer并重新分配其上的region3. RegionServ...
2019-03-05 22:08:44
2647
转载 Hbase读写流程
1.1 Hbase的写流程Clint写入->Hlog->存入memtore，一直到memstore满（128m）->flush成一个storefile->当storefile数量增长到一定阈值->发出compact合并操作->多个storefile合并成一个storefile同时进行版本的合并和删除操作->当storeflie COMPACT后逐步形成...
2019-03-05 22:03:04
100
原创 Azkaban 实战
Azkaba 内置的任务类型支持 command、javaCommand 类型单一 job 示例1、创建 job 描述文件vi command.job#command.jobtype=commandcommand=echo 'hello'2、将 job 资源文件打包成 zip 文件zip command.job3、通过 azkaban 的 web 管理平台创建 projec...
2019-03-05 15:06:22
230
原创 Azkaban 安装部署
准备工作:Azkaban Web 服务器azkaban-web-server-2.5.0.tar.gzAzkaban 执行服务器azkaban-executor-server-2.5.0.tar.gzMySQL目前azkaban只支持 mysql,需安装mysql服务器,本文档中默认已安装好mysql服务器,并建立了 root 用户,密码 root.下载地址:http://azka...
2019-03-05 14:55:50
93
原创 Hadoop的优化
1.从应用程序角度进行优化（1） 避免不必要的reduce任务如果mapreduce程序中reduce是不必要的，那么我们可以在map中处理数据, Reducer设置为0。这样避免了多余的reduce任务。（2） 为job添加一个Combiner为job添加一个combiner可以大大减少shuffle阶段从map task拷贝给远程reduce task的数据量。一般而言，combine...
2019-02-27 23:21:47
187
原创 用mapreduce处理数据倾斜问题
数据倾斜：map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行不完，此称之为数据倾斜。用hadoop程序进行数据关联时，常碰到数据倾斜的情况，这里提...
2019-02-27 23:08:26
196
原创 常用网址
1、hadoop 各发行版本下载地址:https://hadoop.apache.org/release.html2、Spark的每个稳定版本的安装说明，编程指南和其他文档：http://spark.apache.org/documentation.html3、kaggle论坛:https://www.kaggle.com/discussion4、Oracle软件下载：https:/...
2019-02-27 23:01:32
92
原创 Kafka常用命令
Kafka常用命令查看kafka集群中的topic./kafka-topics.sh -list --zookeeper 192.168.16.100:2181新建一个topic./kafka-topics.sh --create --zookeeper 192.168.16.100:2181 --topic car_event --partitions 1 --replication-...
2019-02-23 13:18:38
73
原创 HDFS基础操作
HDFS基础操作HADOOP文件系统（对文件进行操作）bin hadoop的二进制的执行文件sbin 封装的bin目录的二进制执行文件的脚本，集群管理脚本（start-dfs.sh start-yarn.sh）启动hdfsstart-dfs.shstop-dfs.sh启动yarnstart-yarn.shstop-yarn.sh启动单实例的一个进程（单独启动一个datano...
2019-02-23 13:15:51
357
原创 Elaticsearch安装/Kibana安装
Elaticsearch安装安装SQL插件bin/plugin install file:///home/hadoop/install/elasticsearch-sql.zip进入http://192.168.16.100:9200/_plugin/sql/ 页面即可Kibana安装Configvim kibana.yml修改elasticsearch.url:”http:...
2019-02-23 13:10:02
182
原创 zookeeper集群搭建
tar -xvf zookeeper-3.4.6.tar.gzmv /home/hadoop/soft/zookeeper-3.4.6 /home/hadoop/installcd /home/hadoop/install修改环境变量vim /etc/profileexport JAVA_HOME=/usr/local/jdkexport HADOOP_HOME=/home/hadoo...
2019-02-23 12:59:50
67
原创 hive安装
su - hadoopxftp打开/home/hadoop/soft上传tar -xvf apache-hive-1.2.2-bin.tar.gzmv apache-hive-1.2.2-bin …/install/hivecd /home/hadoop/install/hive修改环境变量vim /etc/profileexport JAVA_HOME=/usr/local/jd...
2019-02-23 12:58:39
72
原创 mysql安装及使用
创建mysql用户useradd mysql安装目录tar -xvf mysql-5.6.39-linux-glibc2.12-x86_64.tar.gz移动（1.迁移到/usr/local下 2./usr/local/mysql不能存在）mv mysql-5.6.39-linux-glibc2.12-x86_64 /usr/local/mysql数据目录(数据目录)mkdir ...
2019-02-20 22:24:29
162
原创 sqoop安装
tar -xvf sqoop-1.4.6.bin__hadoop-0.23.tar.gzmv sqoop-1.4.6.bin__hadoop-0.23 …/install/sqoopcp mysql-connector-java-5.1.38.jar …/install/sqoop/lib/修改配置文件cp sqoop-env-template.sh sqoop-env.shvim ...
2019-02-20 22:22:14
108
原创 Hbase安装
tar -xvf hbase-1.2.1-bin.tar.gzmv hbase-1.2.6 /home/hadoop/installvim /home/hadoop/install/hbase-1.2.6/conf/hbase-site.xmlhbase.rootdirhdfs://master:9000/hbasehbase.cluster.distributedtrue...
2019-02-20 22:21:17
93
原创 spark安装
下载spark安装包下载地址spark官网：http://spark.apache.org/downloads.html这里我们使用 spark-2.0.2-bin-hadoop2.7版本.新建安装目录/usr/local解压tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz重命名mv spark-2.0.2-bin-hadoop2.7 ...
2019-02-20 22:20:09
284
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人