- 博客(80)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 常用 alias
#打开、关闭布局alias mborder='adb shell setprop debug.layout true'alias mborderoff='adb shell setprop debug.layout false'#无线调试alias adblink="adb tcpip 5555 && adb connect 192.168.1.125:5555"#g...
2020-03-17 12:57:53
857
原创 从 Windows 过度到 Mac 必备快捷键对照表
Mac 键盘符号说明⌘ == Command⇧ == Shift⇪ == Caps Lock⌥ == Option⌃ == Control↩ == Return/Enter⌫ == Delete⌦ == 向前删除键（Fn+Delete）↑ == 上箭头↓ == 下箭头← == 左箭头→ == 右箭头⇞ == Page Up（Fn+↑）⇟ == Page Down（Fn...
2019-04-26 17:55:14
12993
原创 composer 升级带来的坑 Undefined index: name
昨天composer提示我升级，然后我就执行了。composer self-update之后就遇到了如下问题：经过千辛万苦的google后，发现了国外网友的回复Laravel PackageManifest.php: Undefined index: namecomposer self-update --rollbackRolling back to version 2020-...
2020-04-16 10:28:18
16543
11
原创 docker 常用命令及快速创建常用实例
Docker快速创建MySQL实例在本地的13306端口运行一个名为mysql8019，root用户名密码为root1234的MySQL容器环境:docker run --name mysql8019 -p 13306:3306 -e MYSQL_ROOT_PASSWORD=root1234 -d mysql:8.0.19在另外启动一个MySQL Client连接上面的MySQL环境，密码...
2020-02-28 19:39:55
10380
转载 查看Linux系统性能配置常用命令脚本
系统查看命令uname -a # 查看内核/操作系统/CPU信息head -n 1 /etc/issue # 查看操作系统版本cat /proc/cpuinfo # 查看CPU信息hostname # 查看计算机名lspci -tv # 列出所有PCI设备lsusb -tv # 列出所有USB设备lsmod # 列出加载的内核模块env # 查看环境变量资源/硬盘占用情况fr...
2020-02-18 13:40:31
11602
原创 macOS Catalina 已损坏无法打开解决办法
打开终端；输入以下命令，回车sudo xattr -d com.apple.quarantine /Applications/xxxx.app注意：/Applications/xxxx.app 换成你的App路径（推荐直接将.app文件拖入终端中自动生成路径，以防空格等转义字符手动复制或输入出现错误）重启App即可。...
2020-02-17 18:37:00
12212
原创 阿里云Centos 安装 Docker 环境
更新yum# 确保系统环境不低于 3.10uname -r // 3.10.0-1062.1.2.el7.x86_64 # 更新yum 包 (多余但省事 下面的yum install 省了)yum update sudo yum install -y yum-utils device-mapper-persistent-data lvm2 # 添加docker 源...
2020-01-10 16:27:55
17782
原创 Mac MAMP Pro 环境安装 swoole扩展
本文以PHP7.2.16举例，涉及到版本的地方自行替换成自己的。下载并解压wget https://github.com/swoole/swoole-src/archive/v4.4.1.tar.gztar -zxvf swoole-src-4.4.1.tar.gz进入文件夹执行编译cd swoole-src-4.4.1/Applications/MAMP/bin/php/php7....
2020-01-03 13:27:08
18955
原创 Mac MAMP Pro 环境PHP添加pcntl扩展
本文以PHP7.2.16举例，涉及到版本的地方自行替换成自己的。下载并解压源码包#下载源码包wget http://us.php.net/distributions/php-7.2.16.tar.gz# 解压tar zxvf php-7.2.15.tar.gz进入文件夹执行编译cd php-7.2.6/ext/pcntl/Applications/MAMP/bin/php/php...
2019-07-22 13:41:14
21475
原创 Golang 扩展 go-cache
简介Github地址go-cache 是一个基于内存的、高速的，存储k-v格式的缓存工具。它适用于运行在单台机器上的应用程序，可以存储任何数据类型的值，并可以被多个goroutine安全地使用。虽然go-cache 不打算用作持久数据存储，但是可以将整个缓存数据保存到文件（或任何io.Reader/Writer）中，并且能快速从中指定数据源加载，快速恢复状态。安装go get githu...
2019-06-01 17:11:26
26281
原创 Scala md5 及 遇到的问题
工作中有个Flink脚本，需要请求线上的接口，需要在Scala的代码中在访问参数中加上签名，so google了一个代码object MD5 { def hash(s: String) = { val m = java.security.MessageDigest.getInstance("MD5") val b = s.getBytes("UTF-8") m.upd...
2019-05-24 14:30:28
23815
原创 socks5 转换为 http 代理（使用privoxy）
安装 privoxyMacbrew install privoxyubuntusudo apt-get install privoxy配置 privoxyMacvi /usr/local/etc/privoxy/configUbuntusudo vi /etc/privoxy/config 注释掉listen-address localhost:8118在最后一...
2019-05-21 17:43:12
63332
2
原创 Flume 监控之测试 Ganglia
配置修改修改/opt/module/flume-1.7.0/conf目录下的flume-env.sh配置JAVA_OPTS="-Dflume.monitoring.type=ganglia-Dflume.monitoring.hosts=192.168.9.102:8649-Xms100m-Xmx200m"启动flume任务bin/flume-ng agent \--conf ...
2019-05-19 21:06:39
24621
原创 Flume 监控之 Ganglia 的安装与部署
安装httpd服务与phpsudo yum -y install httpd php安装其他依赖sudo yum -y install rrdtool perl-rrdtool rrdtool-develsudo yum -y install apr-devel安装gangliasudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/6...
2019-05-19 20:55:57
25394
原创 Flume 案例实操 - 多数据源汇总案例
需求分析hadoop103上的flume-1监控文件/opt/module/datas/flume_tmp.loghadoop104上的flume-2监控某一个端口的数据流flume-1与flume-2将数据发送给hadoop102上的flume-3，flume-3将最终数据打印到控制台实现步骤准备工作分发flumexsync flume在hadoop102、hadoop...
2019-05-19 20:41:50
25145
1
原创 Flume 案例实操 - 单数据源多出口案例(二)
单Source、Channel多Sink(负载均衡)需求分析使用flume-1监控文件变动flume-1将变动内容传递给flume-2，flume-2负责输出到控制台flume-1将变动内容传递给flume-3，flume-3负责输出到控制台实现步骤准备工作在/opt/module/flume-1.7.0/job目录下创建group2文件夹mkdir group2cd g...
2019-05-19 17:52:47
24425
原创 Flume 案例实操 - 单数据源多出口案例(一)
拓扑结构案例需求使用flume-1监控文件变动，flume-1将变动内容传递给flume-2，flume-2负责存储到HDFSflume-1将变动内容传递给flume-3，flume-3负责输出到local filesystem。实现步骤创建配置文件准备工作在/opt/module/flume-1.7.0/job目录下创建group1文件夹mkdir group1cd ...
2019-05-19 14:40:22
24867
原创 Flume 案例实操 - 实时读取目录文件到HDFS
使用flume监听整个目录的文件需求分析创建符合条件的flume配置文件执行配置文件，开启监控向目录中添加文件，被监控的目录/opt/module/flume/upload查看HDFS上数据查看/opt/module/flume/upload目录中上传的文件是否已经标记为.COMPLETED结尾；.tmp后缀结尾文件没有上传。实现步骤创建配置文件创建配置文件flume-dir...
2019-05-19 12:42:34
25976
1
原创 Flume 案例实操 - 实时读取本地文件到HDFS
实时监控日志文件，并上传到HDFS中。需求分析创建负责条件的flume配置文件启动flume，应用配置文件，开启监控模拟日志产生，日志文件/opt/module/datas/flume_tmp.log查看HDFS上的数据实现步骤拷贝相关Hadoop 包到 Flume lib 目录Flume要想将数据输出到HDFS，必须持有Hadoop相关jar包。将如下包拷贝到/opt/mo...
2019-05-19 10:27:00
28608
原创 Flume 案例实操 - 监控端口数据
需求分析首先，Flume监控本机44444端口，然后通过telnet工具向本机44444端口发送消息，最后Flume将监听的数据实时显示在控制台。Flume监控本机的44444端口，通过Flume的souce端读取数据通过telnet工具向本机的44444端口发送数据Flume将获取到的数据通过sink端输出到控制台具体实现安装telnet工具将rpm软件包(xinetd-2.3...
2019-05-18 13:25:33
25316
原创 Flume 安装
官方网站：http://flume.apache.org/用户文档：http://flume.apache.org/FlumeUserGuide.html开发文档：http://flume.apache.org/FlumeDeveloperGuide.html安装部署1 将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录下2 解压...
2019-05-18 12:19:45
24542
原创 Flume 概述
Flume 概念Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单，主要用于将流数据（日志数据）从各种Web服务器复制到HDFS。Flume 组成架构Agent一个 代理 是一个独立的守护进程（JVM）在Flume。它从客户端或其他代理接收数据（事件），并将其转发到下一个目标（接收器或代理）。Agen...
2019-05-18 12:15:11
24877
原创 Hive DML 数据操作
数据导入向表中装载数据（Load）语法load data [local] inpath '/opt/module/datas/student.txt' overwrite | into table student [partition (partcol1=val1,…)]参数说明load data加载数据local从本地加载数据到hive表；否则从HDFS...
2019-05-14 13:11:02
24633
原创 Hive 常用交互命令
基本命令[root@hadoop101 ~]# hive -hUnrecognized option: -husage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A...
2019-05-14 11:30:52
25001
原创 Hive JDBC访问
启动 hiveserver2 服务hiveserver2启动 beelinebeeline[root@hadoop101 ~]# beelineBeeline version 1.2.1 by Apache Hivebeeline> 连接 hiveserver2!connect jdbc:hive2://hadoop101:10000beeline> !con...
2019-05-14 11:17:08
25363
原创 flink getExecutionPlan 执行计划可视化
Flink 内置了一个执行计划的可是化工具。http://flink.apache.org/visualizer/index.html代码示例object MyApp extends App { private val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(1) ...
2019-05-06 15:55:27
26119
原创 Hive partition 分区表
分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。需求需要根据日志产生的日期对日志进行管理。数据准备[root@hadoop102 stu_part]# pwd/opt/module/...
2019-05-01 08:21:38
29104
原创 Hive DDL 数据定义语言
数据库创建一个数据库CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)];hive (default)> cr...
2019-04-30 22:19:54
22519
原创 Hive 配置
我使用的hive版本是1.2.1，以下是默认的配置文件。hive-env.sh重命名hive-env.sh.template为hive-env.sh，修改如下信息：# Set HADOOP_HOME to point to a specific hadoop install directory# 设置Hadoop安装目录export HADOOP_HOME=/opt/module/ha...
2019-04-30 15:03:00
25434
原创 Hive 数据类型 与 案例实操
基本数据类型Hive数据类型Java数据类型长度示例TINYINTbyte1byte 有符号整数20SMALLINTshort2byte 有符号整数20INTint4byte 有符号整数20BIGINTlong8byte 有符号整数20BOOLEANboolean布尔类型，true或falseTRUEFLOAT...
2019-04-29 11:36:52
24931
原创 伪集群（单机）群起、群关脚本
群起#!/bin/bash/opt/module/zookeeper-3.4.10/bin/zkServer.sh start/opt/module/hadoop-2.7.2/sbin/start-dfs.sh/opt/module/hadoop-2.7.2/sbin/start-yarn.sh/opt/module/hadoop-2.7.2/sbin/mr-jobhistory-dae...
2019-04-28 17:19:31
24865
原创 Hive metastore（元数据）配置到 MySql
驱动拷贝解压驱动包在/opt/software/mysql-libs 目录下解压 mysql-connector-java-5.1.27.tar.gz 驱动包[root@hadoop101 mysql-libs]# ll总用量 76048-rwxr--r--. 1 root root 18509960 3月 26 2015 MySQL-client-5.6.24-1.el6.x86_6...
2019-04-28 17:00:21
26672
1
原创 Zookeeper 安装与配置
本次使用的版本是3.4.10安装下载、解压下载Zookeeper指定版本软件，并解压到指定目录[root@hadoop101 software]# tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/配置修改1 将/opt/module/zookeeper-3.4.10/conf 这个路径下的 zoo_sample.cfg 修改为 zoo...
2019-04-28 16:42:23
25321
原创 Mysql 安装
安装包准备查看mysql是否已经安装，如果安装了，卸载mysql[root@hadoop101 software]# rpm -qa | grep mysqlmysql-libs-5.1.73-7.el6.x86_64[root@hadoop101 software]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64[root@hadoop1...
2019-04-28 15:51:06
24639
原创 Hive 安装部署
本次用的是伪集群模式，只用了一台hadoop101。公司电脑配置有点低，伤不起。本次使用的hive版本1.2.1，下载地址：http://archive.apache.org/dist/hive/安装及配置上传并解压安装包把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下解压 apache-hive-1.2.1-bi...
2019-04-28 15:23:40
24830
原创 IDEA 运行 scala 报错 Exception in thread "main" java.lang.NoClassDefFoundError: scala/Function0
/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/bin/java "-javaagent:/Applications/IntelliJ IDEA.app/Contents/lib/idea_rt.jar=51296:/Applications/IntelliJ IDEA.app/Contents/bin" -Dfil...
2019-04-28 09:40:13
30508
原创 集群群起脚本
ZK集群群起#!/bin/bashfor i in root@hadoop102 root@hadoop103 root@hadoop104do echo "============== $i ================" ssh $i '/opt/module/zookeeper-3.4.10/bin/zkServer.sh start'done集群jps查询...
2019-04-27 15:13:15
24979
原创 Hadoop CombineTextInputFormat 切片机制
背景默认情况下 TextInputformat 对任务的切片机制是按文件规划切片，不管文件多小，都会 是一个单独的切片，都会交给一个 maptask，这样如果有大量小文件，就会产生大量的 maptask， 处理效率极其低下。优化预处理最好的办法，在数据处理系统的最前端(预处理/采集)，将小文件先合并成大文 件，再上传到 HDFS 做后续分析。CombineTextInputFormat...
2019-04-07 16:13:43
27602
2
原创 Hadoop FileInputFormat 默认切片机制
默认的切片机制简单地按照文件的内容长度进行切片切片大小，默认等于 block 大小**(Local模式默认32M，集群模式默认128M)**切片时不考虑数据集整体，而是逐个针对每一个文件单独切片源码分析Hadoop MapReduce Splits 切片源码分析及切片机制计算切片大小 computeSplitSize默认情况下，切片大小=blocksizeprotected...
2019-04-07 15:16:28
26668
1
开发提测内容规范提测模板.xlsx
2020-07-06
Sublime+Text+Build+3207
2019-04-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人