- 博客(750)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 【博客搬家】新博客欢迎关注，^_^O(∩_∩)O哈哈~
https://chenguolin.github.io/https://chenguolin.github.io/https://chenguolin.github.io/https://chenguolin.github.io/https://chenguolin.github.io/https://chenguolin.github.io/https://chenguolin.g...
2019-07-05 08:57:46
382
原创 【Hadoop】Mac安装YARN
一. 安装YARN安装hadoopbrew install hadoop设置允许远程登录系统偏好设置-共享-远程登录打开设置ssh免密码登录cd ~/.sshcp id_rsa.pub authorized_keysssh localhost测试是否需要密码二. 配置YARN设置环境变量/usr/local/hadoop/etc/hadoop/hadoop-en...
2019-06-01 18:51:56
1499
原创 【Hadoop】Mac安装Hue
clone Hue Repositorygit clone https://github.com/cloudera/hue.gitinstall pre-requistiesruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)”;brew doctorbr...
2019-05-31 16:06:36
700
原创 【Python】python安装packages
#!/bin/sh## 依赖包安装目录INSTALL_DIR=$(pwd)/install_dirif [ ! -d $INSTALL_DIR ]; then mkdir $INSTALL_DIRficd $INSTALL_DIR## python版本PYTHON=/home/admin/.pythonbrew/pythons/Python-2.7.[0-9]/b...
2019-05-31 16:05:49
734
原创 【Python】Python中的时间处理
一. datetimePython中处理时间最重要的一个Module就是datetime引用：import datetime常用的类：datetime.date: 代表日期（year, month, day）datetime.time: 代表一天内时间（hour, minute, second, microsecond）datetime.datetime: 代表完整的时间，也就是上面...
2019-05-31 16:05:03
715
原创 【Python】Linux安装新版本Python步骤
一. 安装依赖库yum -y install python-devel openssl openssl-devel gcc sqlite sqlite-devel mysql-devel libxml2-devel libxslt-devel tkinter tk-devel#下载Pythonmkdir /tmp/pythoncd /tmp/pythonwget https://ww...
2019-05-31 16:04:18
335
原创 【Mysql】Mac安装Mysql使用
一. 安装Mysql安装命令brew install [email protected]注意Mysql 8.0版本和5.7版本差别很大，5.7很多权限相关的命令都不能在8.0版本上使用启动Mysqlmysql.server start登录mysql -h 127.0.0.1 -P 3306 -u root -p首次登录是没有密码的，直接回车即可重置密码SET PASSWORD ...
2019-05-31 16:02:59
364
原创 【Linux】文本处理工具
一. find 文件查找查找txt和pdf文件：find . ( -name “.txt" -o -name ".pdf” ) -print查找所有非txt文件：find . ! -name “*.txt” -print指定深度搜索：find . -maxdepth 1 -type f按类型搜索：find . -type d -print //只列出所有目录-type f 文件-t...
2019-05-31 16:02:19
298
原创 【Linux】linux配置
一. bashrc配置# ~/.bashrc: executed by bash(1) for non-login shells.# see /usr/share/doc/bash/examples/startup-files (in the package bash-doc)# for examples# If not running interactively, don't do a...
2019-05-31 16:01:07
468
原创 【Linux】gdb简单介绍
一. 运行run：简记为 r ，其作用是运行程序，当遇到断点后，程序会在断点处停止运行，等待用户输入下一步的命令。continue （简写c ）：继续执行，到下一个断点处（或运行结束）next：（简写 n），单步跟踪程序，当遇到函数调用时，也不进入此函数体；此命令同 step 的主要区别是，step 遇到用户自定义的函数，将步进到函数中去运行，而 next 则直接调用函数，不会进入到函数体...
2019-05-31 16:00:38
375
原创 【Java】Java运行机制初探
一. 高级语言的运行机制我们编程都是用的高级语言(写汇编和机器语言的大牛们除外)，计算机不能直接理解高级语言，只能理解和运行机器语言，所以必须要把高级语言翻译成机器语言，计算机才能运行高级语言所编写的程序。翻译，其实翻译的方式有两种，一个是编译，一个是解释。两种方式只是翻译的时间不同。编译型语言 （如C、C++）使用专门的编译器，针对特定平台（操作系统）将某种高级语言源代码一次性”翻译...
2019-05-31 15:59:58
199
原创 【Java】Java JVM运行机制及基本原理
一. JVM基础概念JVM的中文名称叫Java虚拟机，它是由软件技术模拟出计算机运行的一个虚拟的计算机。JVM也充当着一个翻译官的角色，我们编写出的Java程序，是不能够被操作系统所直接识别的，这时候JVM的作用就体现出来了，它负责把我们的程序翻译给系统“听”，告诉它我们的程序需要做什么操作。我们都知道Java的程序需要经过编译后，产生.class文件，JVM才能识别并运行它，JVM针对每个...
2019-05-31 15:58:50
376
原创 【Java】GC垃圾回收浅析与理解
一. 可回收对象的判定① 引用计数法给对象中添加一个引用计数器，每当有一个地方引用它时，计数器值就加1当引用失效时， 计数器值就减1任何时刻计数器为0的对象就是不可能再被使用的优点: 引用计数收集器可以很快地执行，交织在程序的运行之中。这个特性对于程序不能被长时间打断的实时环境很有利。缺点: 很难处理循环引用，比如图中相互引用的两个对象则无法释放。应用: Python 和 Sw...
2019-05-30 09:48:46
240
原创 【InfluxDB】influxdb使用
一. 数据库配置查询: show database创建: CREATE DATABASE {database_name} [WITH [DURATION ] [REPLICATION ] [SHARD DURATION ] [NAME ]删除: DROP DATABASE {database_name}二. RETENTION POLICY查询: SHOW RETENTION PO...
2019-05-30 09:37:23
1059
原创 【InfluxDB】SQL使用
CQ创建CREATE CONTINUOUS QUERY xxxx_cq ON media_qualityRESAMPLE FOR 20mBEGIN SELECTsum(play_num) AS play_num,…INTO xxx.rp_10m.yyyFROM xxx.autogen.yyy GROUP BY time(10m), *END创建数据库create dat...
2019-05-30 09:30:12
428
原创 【Hive】SQL使用
强制删除一个databaseDROP DATABASE IF EXISTS dbname CASCADE;删除一个tabledrop table if exists xxxx分区查询show partitions xxxHive复杂查询select * from pic_collection where pic_collection.uid in (select uid fro...
2019-05-30 09:28:41
338
原创 【Hive】Mac安装Hive
一. 安装hive安装：brew install hivemysql安装：brew install mysql启动mysql：bash mysql.server start二. 元数据库配置Hive默认用derby作为元数据库。这里我们用mysql来存储元数据，下面作一些初始化配置登录mysql：mysql -u root创建数据库：create database metast...
2019-05-30 09:28:04
978
原创 【C++】虚函数探讨
一. 引言C++面向对象语言的一大特性就是抽象，在程序设计上的体现就是鼓励面向接口编程，而不要面向具体实现编程。这里所说的抽象和接口与C++的多态性密切相关。C++的多态分为静态多态（编译时多态）和动态多态（运行时多态）两大类。静态多态通过重载、模板来实现；动态多态就是通过本文的主角虚函数来体现的。虚函数是C++语言一个非常重要的特性，不同编译器对此特性的实现机制也略有差别，虽然具体实现细...
2019-05-30 09:26:52
241
原创 【C++】对象转换显示转换
一. static_cast用法：static_cast (expression)说明：该运算符把expression转换为typeid类型，但没有运行时类型检查来确保转换的安全性。用途用于类层次结构中基类和派生类之间指针或者引用的转换。up-casting (把派生类的指针或引用转换成基类的指针或者引用表示)是安全的；down-casting(把基类指针或引用转换成子类的指针或者引...
2019-05-30 09:26:08
608
原创 【Go】Golang Channel介绍
一. Channel简介Channel 是Golang的2大核心之一，类似Linux的管道，为并发Goroutine提供一种同步通信机制，借助于Channel不同的Goroutine之间可以相互通信。创建channel: make(chan type) type表示具体数据类型，除了支持常规的int、float64、string等类型外，还支持struct、interface等ch1 := ...
2019-05-30 09:25:25
1152
原创 【Go】Golang Sync包
一. 前言Golang sync包提供了基础的异步操作方法，包括互斥锁Mutex，执行一次Once和并发等待组WaitGroup。本文主要介绍sync包提供的这些功能的基本使用方法。Mutex: 互斥锁RWMutex：读写锁WaitGroup：并发等待组Once：执行一次Cond：信号量Pool：临时对象池Map：自带锁的map二. sync.Mutexsync.Mute...
2019-05-30 09:24:29
3875
原创 【Go】Go语言最佳实践建议
一. 介绍每种语言都会有基本的语言规范，本文将会介绍Go语言实战建议 Practical Go: Real world advice for writing maintainable Go programs二. 指导原则Go语言有以下3点基本指导原则简单性: 简单性是Go语言的最高目标，无论我们编写什么程序，我们都应该同意这一点它们很简单。很多情况下我们都害怕遇到一个问题就是 我不懂这段...
2019-05-30 09:23:09
1104
1
原创 【Go】Golint代码规范检测
一. Golint介绍Golint is a linter for Go source code.Golint 是一个源码检测工具用于检测代码规范Golint 不同于gofmt, Gofmt用于代码格式化Golint会对代码做以下几个方面检查package注释 必须按照 “Package xxx 开头”package命名 不能有大写字母、下划线等特殊字符struct、inter...
2019-05-29 09:34:50
27081
2
原创 【Go】Gin Web 服务框架
一. GinGin是Golang的一个web框架，封装优雅API友好，源码注释比较明确。借助Gin框架开发web服务，不仅可以省去很多常用的封装带来的时间，也有助于团队的编码风格和形成规范。详细参考Github项目地址 https://github.com/gin-gonic/gin安装Gin go get -u github.com/gin-gonic/gin使用Gin import ...
2019-05-29 09:34:07
1152
原创 【Go】dep使用介绍
一. 简介依赖管理一直以来都是大型项目开发所面临的一个问题，成熟的编程语言都会有对应的一个甚至多个依赖管理工具。例如**C++**项目通常会使用Make、Scons等来管理依赖的so，Java项目通常会使用Maven来管理依赖包。Golang项目同样也需要有类似工具来管理对应的依赖包。dep是Golang官方依赖管理工具，目前只支持Golang 1.9以上的版本。① go getGola...
2019-05-29 09:32:58
3159
原创 【Go】Goroutine和Panic
一. GoroutineGoroutine是Golang2个核心的设计之一，Goroutine在Golang里面指的是协程。我们知道线程属于系统层面，通常来说创建一个新的线程会消耗较多的资源且管理不易。而Goroutine就像轻量级的线程，但我们称其为协程，一个Go程序可以运行超过数万个Goroutine，并且这些性能都是原生级的，随时都能够关闭、结束。在内置的官方包中也不时能够看见Gorou...
2019-05-29 09:31:12
4432
原创 【Go】Go语言编码规范
一. Gofmt必须使用Gofmt做代码格式化和自动优化如果使用Goland IDE开发可以选择goimports, goimports包含了Gofmt的功能同时还支持自动添加和删除package导入功能Goland -> Preferences -> File Watchers -> 添加goimports二. Comment Sentences每个Go文件头部...
2019-05-29 09:30:32
1992
原创 【Go】Go语言基础
Go语言string／byte／rune区别string底层是用byte数组存储的，并且是不可改变的例如s := “Go编程” len(s) = 8，因为Unicode中文字符占3个字节len(string(rune(“编"))) 结果是3，说明string中有Unicode中文字符用3byte存储len([]rune(“Go编程”)) 结果是4，rune可以切片，并不是按照Unic...
2019-05-29 09:29:55
357
原创 【Go】Go垃圾回收算法
一. 什么是垃圾回收曾几何时，内存管理是程序员开发应用的一大难题。传统的系统级编程语言（主要指C/C++）中，程序员必须对内存小心的进行管理操作，控制内存的申请及释放。稍有不慎，就可能产生内存泄露问题，这种问题不易发现并且难以定位，一直成为困扰开发者的噩梦。如何解决这个头疼的问题呢？过去一般采用两种办法：内存泄露检测工具。这种工具的原理一般是静态代码扫描，通过扫描程序检测可能出现内存泄露的...
2019-05-29 09:29:25
1053
1
原创 【Storm】流操作入门编程实战
Storm是一个分布式实时计算系统，它设计了一种对流和计算的抽象，概念比较简单，实际编程开发起来相对容易。下面，简单介绍编程实践过程中需要理解的Storm中的几个概念：一. TopologyStorm中Topology的概念类似于Hadoop中的MapReduce Job，是一个用来编排、容纳一组计算逻辑组件（Spout、Bolt）的对象（Hadoop MapReduce中一个Job包含一组...
2019-05-29 09:28:19
250
原创 【Storm】流式大数据处理的三种框架Storm、Spark和Samza
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。一. Apache Storm在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个拓扑中包括...
2019-05-29 09:24:21
603
原创 【Storm】数据流窗口计算
一. 窗口介绍在分布式计算中，基于数据窗口的计算是一个非常常见的应用场景，比如说聚类、模式识别等。storm支持两种方式的窗口：滑动窗口和固定窗口，并且支持从两种维度进行窗口分割：时间或tuple数。比如说用时间分割来实现一个滑动窗口，需要给定两个数值，窗口大小和滑动时间。一个窗口大小为10sec，滑动时间为5sec的窗口示意如下如图中所示，对这个流进行窗口计算的bolt会收到两次exec...
2019-05-29 09:23:27
736
原创 【Storm】入门原理介绍
一. Storm简介Storm是一个分布式的、高容错的实时计算系统。Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Hadoop为我们提供了Map和Reduce原语，使我们对数据进行批处理变的非常的简单和优美。同样，Storm也对数据的实时计算提供了简单Spout和Bolt原语。Storm适用的场景流数据处理：Storm可以用来用来处理源源不断的消息，并将处理之后的结果...
2019-05-28 13:48:51
245
原创 【Storm】metric使用
一. 概述storm metric类似于hadoop的counter，用于收集应用程序中的特定指标，输出到外部。在storm中是存储到各个机器logs目录下的metric.log文件中。有时我们想保存一些计算的中间变量，当达到一定状态时，统一在一个位置输出，或者统计整个应用的一些指标，metric是个很好的选择。二. 使用① 在bolt的prepare注册metricmetric都定...
2019-05-28 11:59:05
557
原创 【Storm】UI介绍
众所周知，storm 已经是业界主流的流时处理框架，Storm 被广泛应用于实时分析，在线机器学习，持续计算、分布式远程调用等领域。当前无论是内部还是外部论坛介绍原理的文档都比较多，但主要都是从运行机制和原理方面的介绍，在 UI 方面的介绍甚少，今天我试着向大家介绍一下 storm ui，一方面可以让大家了解一下 storm 的机制，另外也可以让大家更好的使用好 storm ui 协助大家自助解决...
2019-05-28 11:54:47
1734
原创 【Storm】Storm配置滑动窗口
滑动窗口在监控和统计应用的场景比较广泛，比如每隔一段时间(10s)统计最近30s的请求量或者异常次数，根据请求或者异常次数采取相应措施；这里说一下滑动窗口在storm中实现的原理那么如何每10s进行自动触发，storm有一个TickTuple可以满足这个要求"__system" component会定时往task发送 "__tick" stream的tuple 发送频率由TOPOL...
2019-05-28 11:54:05
386
原创 【Storm】Storm配置文件详解
Storm的配置文件一般存放在$STORM_HOME/conf下，通常名为storm.yaml，它符合yaml格式要求。Storm的配置参数对任务的稳定运行以及吞吐率至关重要，这里介绍一下storm常见的配置项参数。一. storm基本配置storm.local.dir: nimbus 和supervisor进程存储一些状态信息（conf或者jars）的本地路径，需要每台storm node...
2019-05-28 11:53:29
2149
原创 【Storm】Storm并行概念
一. Storm并行相关的概念Storm集群有很多节点，按照类型分为nimbus（主节点）、supervisor（从节点）。 在conf/storm.yaml中配置了一个supervisor有多个槽（supervisor.slots.ports），每个槽就是一个JVM，就是一个worker，在每个worker里面可以运行多个线程叫做executor，在executor里运行一个topology的...
2019-05-28 11:52:52
204
原创 【Storm】Storm可靠机制
Storm 能够保证每一个由 Spout 发送的消息都能够得到完整地处理。本文详细解释了 Storm 如何实现这种保障机制，以及作为用户如何使用好 Storm 的可靠性机制。一. 完整性处理一个从 spout 中发送出的 tuple 会产生上千个基于它创建的 tuples。例如，有这样一个 word-count 拓扑：TopologyBuilder builder = new Topolo...
2019-05-28 11:49:35
256
原创 【Storm】Storm内部原理分析
一. Storm集群架构Storm集群采用主从架构方式，主节点是Nimbus，从节点是Supervisor，有关调度相关的信息存储到ZooKeeper集群中，架构如下图所示NimbusStorm集群的Master节点，负责分发用户代码，指派给具体的Supervisor节点上的Worker节点，去运行Topology对应的组件（Spout/Bolt）的Task。Supervisor...
2019-05-28 11:43:48
364
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人