- 博客(119)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 TensorFlow 编程概念
学习目标：学习 TensorFlow 编程模型的基础知识，重点了解以下概念：张量指令图会话构建一个简单的 TensorFlow 程序，使用该程序绘制一个默认图并创建一个运行该图的会话注意： 请仔细阅读本教程。TensorFlow 编程模型很可能与您遇到的其他模型不同，因此可能不如您期望的那样直观。概念概览TensorFlow 的名称源自 张量 ，张量是任意维度的数组。...
2019-02-18 15:16:03
234
原创 Apache Flink 实验: 如何计算实时热门商品
目录Apache Flink 实验: 如何计算实时热门商品本实验目标实验案例介绍数据准备编写程序创建模拟数据源本实验目标如何基于 EventTime 处理，如何指定 Watermark如何使用 Flink 灵活的 Window API何时需要用到 State，以及如何使用如何使用 ProcessFunction 实现 TopN 功能实验案例介绍...
2019-02-18 14:53:47
643
1
原创 从零构建第一个 Apache Flink 应用
目录从零构建第一个 Apache Flink 应用开发环境准备创建 Maven 项目编写 Flink 程序代码实现运行程序在终端启动 netcat 获得输入流运行示例程序开发环境准备Flink 可以运行在 Linux, Max OS X, 或者是 Windows 上。为了开发 Flink 应用程序，在本地机 器上需要有 Java 8.x 和 maven ...
2019-02-18 14:53:17
350
原创 使用VMware Fusion搭建Flink分布式集群
目录使用VMware Fusion搭建Flink分布式集群Flink vs Spark关于Flink数据处理场景下载VMware Fusion集群规划配置网络动态分配一个ip地址设置静态ip地址配置DNS检查NetManager的状态检查NetManager管理的网络接口检查NetManager管理的网络连接设置dns让dns配置生效设置静态、瞬态或...
2019-02-18 14:52:47
1028
原创 ELK流量分析
服务器环境：Centos71.通过hive对昨日的流量日志数据，进行离线批处理，按维度将一些指标预先聚合出来，将结果写入mysql，默认有一些预先处理好的数据已经存在mysql2.手动准备一些样例数据，然后写入mysql中，装一个mysql，模拟成是hive导入mysql的一份数据3.通过logstash，将mysql中的数据导入es中4.通过kibana+各种es聚合语法，生成各种各样的报表出来安
2017-12-24 22:39:00
3635
原创 Nginx+Flask+UWSGI
使用的代理一共有两个，nginx和uwsgi，使用nginx的目的是为了安全和负载均衡配置了nginx做前端代理uwsgi作后端代理的服务器在处理来自Internet的请求时，要先经过nginx的处理，nginx把请求再交给uwsgi，经过uwsgi才能访问到项目本身没有nginx而只有uwsgi的服务器，则是Internet请求直接由uwsgi处理，并反馈到我们的项目中。nginx可以实现安全
2017-11-11 16:47:07
842
原创 SpringCloud之Ribbon+Rest调用负载均衡
Spring Cloud之Ribbon+Rest调用负载均衡创建Maven工程greeting-rest导入依赖 pom.xml<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.5.2.RE
2017-11-08 12:01:01
950
1
原创 Python&Java实现支付宝第三方支付接入
支付宝第三方支付接入 点击沙箱环境中的沙箱应用Java实现 AliPayDemo.javapackage com.alipay.run;import com.alipay.api.AlipayApiException;import com.alipay.api.AlipayClient;import com.alipay.api.DefaultAlipayClient;import
2017-11-08 11:51:54
4472
1
原创 vue-common-command
vue-common-commandVue常用指令Vue.js的指令是以v-开头的，它们作用于HTML元素，指令提供了一些特殊的特性，将指令绑定在元素上时，指令会为绑定的目标元素添加一些特殊的行为，我们可以将指令看作特殊的HTML特性（attribute） Vue.js提供了一些常用的内置指令v-if[条件渲染指令，它根据表达式的真假来删除和插入元素]v-showv-elsev-for
2017-11-08 11:47:58
5724
原创 vue-component
vue-componentvue组件简介组件系统是Vue.js其中一个重要的概念，它提供了一种抽象，让我们可以使用独立可复用的小组件来构建大型应用，任意类型的应用界面都可以抽象为一个组件树 什么是组件组件可以扩展HTML元素，封装可重用的HTML代码，可以将组件看作自定义的HTML元素。组件的创建和注册基本步骤 Vue.js的组件的使用有3个步骤：创建组件构造器、注册组件和使用组件示例
2017-11-08 11:47:41
10019
原创 vue-hello-world
Vue-Hello-WorldVueVue.js是当下很火的一个JavaScript MVVM库，它是以数据驱动和组件化的思想构建的。相比于Angular.js，Vue.js提供了更加简洁、更易于理解的API，使得我们能够快速地上手并使用Vue.js如果你之前已经习惯了用jQuery操作DOM，学习Vue.js时请先抛开手动操作DOM的思维因为Vue.js是数据驱动的，你无需手动操作DOM它通
2017-11-08 11:46:50
397
原创 vue-router
vue-routervue-router是Vue.js官方的路由插件，它和vue.js是深度集成的，适合用于构建单页面应用vue的单页面应用是基于路由和组件的，路由用于设定访问路径，并将路径和组件映射起来传统的页面应用，是用一些超链接来实现页面切换和跳转的在vue-router单页面应用中，则是路径之间的切换，也就是组件的切换单页面应用示例这个单页面应用有两个路径/home和/about<
2017-11-08 11:46:06
261
原创 workerman高性能socket服务器框架搭建
workerman高性能socket服务器框架搭建基本概念短链接每次请求完成后关闭链接，下次请求建立新的链接长链接每次请求后不关闭链接，下次请求继续复用这个链接安装Apache服务器 是否安装Apahceapachectl -v 安装Apacheyum install httpd 启动Apache/etc/init.d/httpd start Apache的默认网站根目录/v
2017-11-08 10:55:03
2739
原创 CentOS6下Apache、MySql、PHP安装
更新yum源由于默认的yum源是国外服务器，所以使用yum命令安装软件时会等待很久，且默认源上的软件不是最新的 备份yum源mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 安装yum源wget -O /etc/yum.repos.d/CentOS-Base.repo http://
2017-11-08 10:54:26
1024
原创 Nginx的中间件架构
准备Cetntos 7安装基本库yum -y install gcc gcc-c++ autoconf pcre pcre-devel make automake安装基本工具yum -y install wget httpd-tools vim初始化cd /data/nginx/;mkdir app download logs work backup/data/nginx app：代码目录do
2017-11-08 10:01:15
1904
原创 Python进程管理工具Supervisor
Linux下安装pipwget https://bootstrap.pypa.io/get-pip.pypython get-pip.pypip -V #查看pip版本Supervisor是基于Python的进程管理工具，可以更简单的监听、启停、重启服务器上的一个或多个后台进程，是Linux服务器管理的高效工具Supervisor管理的进程，当一个进程意外被杀死，supervisort监听到进
2017-10-31 18:39:31
638
原创 Spark 2.0介绍：Dataset介绍和使用
Spark 2.0介绍：Dataset介绍和使用Spark2.0是Apache Spark的下一个主要版本。此版本在架构抽象、API以及平台的类库方面带来了很大变化。DataSet是从Spark1.6开始引入的一个新的抽象，当时还是处于alpha版本；然而在Spark2.0，它已经变成了稳定版了。Dataset是特定域对象中的强类型集合，它可以使用函数或者相关操作并行地进行转换等操作。 每个Da
2017-04-05 17:19:10
647
原创 Flume与Kafka整合
Flume与Kakfa整合flume官方下载地址：https://flume.apache.org/download.html建议下载最新的1.6.0版本的，因为1.6.0版本的集成了整合kafka的插件包可以直接配置使用1、下载并解压apache-flume-1.6.0-bin.tar.gz包通过tar –zxvf apache-flume-1.6.0-bin.tar.gz命令解压压缩文件Flu
2017-02-24 16:24:34
560
原创 日志采集框架Flume的安装及使用
日志采集框架Flume的安装及使用1.Flume介绍1.1.Flume概述Flume是一个分布式、可靠、和高可用(旧版Flume og才有高可用)的海量日志采集、传输和聚合的系统。Flume可以采集文件，socket数据包等各种形式源数据， 又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集需求，通过对flume的简单配置即可实现
2017-02-24 14:18:50
1535
原创 Kafka开源消息系统分布式集群搭建
Kafka开源消息系统分布式集群搭建1、KafKa是什么在流式计算中，KafKa一般用来缓存数据，Storm通过消费KafKa的数据进行计算KafKa + Storm + Redisa.Apache KafKa是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目b.kafka最初是由LinkedIn开发，并与2011年初开源。2012年10月从Apache I
2017-01-29 03:03:51
1394
原创 Azkaban工作流调度器
Azkanban工作流调度器1.为什么需要工作流调度系统一个完成的数据分析系统通常是由大量任务单元组成 shell脚本程序，java程序，mapreduce程序、hive脚本等各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行例如：我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理1、通过Had
2017-01-25 18:20:23
3019
原创 Docker部署
Docker部署1.安装Docker1.1.配置YUM源[root@docker yum.repos.d]# vi rdo-release.repo[root@docker yum.repos.d]# yum clean allLoaded plugins: fastestmirrorCleaning repos: base epel extras foreman foreman-plugin
2017-01-20 12:22:15
712
1
原创 Mahout协同过滤
Mahout协同过滤1.Mahout是什么Mahout是一个算法库，集成了很多算法Apache Mahout是Apache Software Foundation(ASF)旗下的一个开源项目，提供一些可拓展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序Mahout项目目前已经有了多个公共发行版本。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项目挖掘
2017-01-20 11:23:30
5438
1
原创 虚拟化KVM
1.什么是系统虚拟化系统虚拟化是将底层物理设备与上层操作系统、软件分离的一种去耦合技术，在一台物理机器上逻辑的划分出多台机器虚拟化的目标是实现IT资源 利用效率和灵活性 的最大化1.1.系统虚拟化的好处1、资源利用率高(多个系统融合在一台服务器上)2、系统维护灵活(应用系统不在依赖特定的硬件)2.为什么需要系统虚拟化1、服务器资源利用率低 - 公司服务器越来越多，如何充分管理？
2017-01-16 12:37:20
864
原创 Ganglia分布式监控部署
Ganglia企业级系统监控1.现在有哪些分布式企业级监控？(1).Ganglia(无界面配置)(2).Nagios(无界面配置)(3).Zabbix(界面配置)2.Ganglia监控对象(1).监控Hadoop(在这方面用的比较多)(2).监控Hbase3.Ganglia简介Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行
2017-01-16 12:34:03
916
原创 centos6.x忘记root密码解决方法
centos6.x忘记root密码解决方法1.启动系统时，在进入系统前，读秒的时候，按任意键出现这个界面，然后按e键 进入到下面界面2.选择kernel选项，再按e 进入到下面界面3.在quiet后面加上single参数或是加1（数字1），然后按回车,回到下面的界面4.按b键启动系统，进入到下面界面5.在此界面可以直接用passwd修改密码
2017-01-16 12:32:59
281
原创 ELK日志分析系统
1.解决问题处理大数据日志收集分析，随着搜索集群的快速膨胀，大量日志处理及情况反馈滞后带来一系列问题，急需一个工具能快速分析定位集群只能怪哪种日子或哪个机器出现了异常ELK就是一套完整的日志分析系统ELK=Logstash+Elasticsearch+Kibana2.架构简介Nginx产生数据，logstash日志收集分发到Elasticsearch集群，Elasticsearch进行数据
2017-01-16 12:31:48
1122
原创 Kvm安装及本地Yum源搭建
Kvm安装及本地Yum源搭建0.查看Linux运行级别[root@kvm ~]# runlevel1.更换yum源http://mirrors.aliyun.com/1.1.选择centos、epel镜像wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo1.2.修改默认yu
2017-01-16 12:30:31
4617
原创 Zabbix分布式集群监控
Zabbix分布式集群监控1.监控对象1、分布式文件系统HDFS2、分布式离线计算框架MapReduce3、分布式流式计算框架Storm4、分布式消息队列KafKa5、分布式内存计算框架Spark6、分布式列式数据库Hbase2.常见分布式企业级监控？1、Ganglia(无界面配置部署)/没有(电话，短信，微信，邮件)通知功能2、Nagios(无界面配置部署)3、Zabbix(界面配
2017-01-12 00:40:38
10340
2
原创 Marvel安装
Marvel安装Marvel介绍Marvel是Elasticsearch的管理和监控工具1.Install Marvel into Elasticsearch:[matrix@node01 elasticsearch-2.4.2]$ ./bin/plugin --help[matrix@node01 elasticsearch-2.4.2]$ chmod u+x ./bin/plugin[ma
2017-01-07 14:52:49
816
原创 Kibana安装
Kibana安装下载kibana[root@node01 software]# wget https://download.elastic.co/kibana/kibana/kibana-4.6.1-linux-x86_64.tar.gz1.解压安装[root@node01 software]# tar -zxvf kibana-4.6.1-linux-x86_64.tar.gz -C /opt/
2017-01-07 14:51:57
787
原创 ElasticSearch安装
ElaticSearch安装ElasticSearch介绍Elasticsearch是一个基于Lucene的实时的分布式搜索和分析引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。基于Restful接口- 普通请求是...get?a=1- rest请求...get/a/1ElasticSearch的用户- Github，Wikipedia，ebay等...1.解压
2017-01-07 14:49:52
309
原创 ZookeeperAPI的操作
基本使用org.apache.zookeeper.Zookeeper 是客户端入口主类，负责建立与server的会话，它提供了表1所示几类主要方法：功能 描述create 在本地目录树中创建一个节点delete
2016-12-17 23:31:29
384
原创 ActiveMQ安装
1.下载ActiveMQ去官方网站下载：http://activemq.apache.org/2.运行ActiveMQ解压缩apache-activemq-5.9.0-bin.zip，修改apache-activemq-5.9.0/conf目录中配置文件activeMQ.xml，将0.0.0.0修改为localhost<transportConnectors> <transpor
2016-12-13 09:48:38
246
原创 克隆Linux虚拟机之前的配置
克隆Linux虚拟机之前的配置0、关闭防火墙[root@master ~]# service iptables stop[root@master ~]# chkconfig iptables off[root@master ~]# chkconfig iptables --list1、编辑/etc/sysconfig/network-scripts/ifcfg-eth0网卡更改ip、子网掩码、
2016-12-13 00:18:58
478
原创 01-Shiro初识
Shiro初识Apache Shiro是一个强大易用的Java安全框架，提供了认证、授权、加密和会话管理功能，可为任何应用提供安全保障，从命令行应用、移动应用到大型网络及企业应用 认证：用户身份识别，常被称为用户"登录" 授权：访问控制 密码加密：保护或隐藏数据防止被偷窃 会话管理：每用户相关的时间敏感的状态Shiro：还支持一些辅助特性，如Web应用安全、单元测试多
2016-07-31 23:32:54
289
原创 JSON格式规定
JSON格式规定数组(Array)用方括号("[]")表示对象(Object)用大括号("{}")表示名称/值对(name/value)组合成数组和对象名称(name)置于双引号中，值(value)有字符串、数值、布尔值、null、对象和数组并列的数据之间用逗号(",")分隔{ "name":"Geoff Lui", "age":26}检验JOSN语法格式是否正确的网站htt
2016-06-06 00:48:49
451
原创 JSON简介
1、JSON是什么JOSN，全称是Javascript Object Notation，即Javascript对象标记法。JSON是一种轻量级(Light-Weight)、基于文本的(Text-Based)、可读的(Human=Readable格式)Json的名称中虽然带有Javascript，但这是指其语法规则是参考Javascript对象的，而不是指只能用于Javascript语言JSON无论对
2016-06-06 00:48:11
1333
原创 AngulaJs中的简单数据绑定
AngulaJs中的简单数据绑定Demo-v1.0.html<!doctype html><html ng-app="AngularDemo" ng-controller="AnagularCtrl" ng-init="AccountId=1;AccountName='Tom';Location='CHINA';AccountInfo={'AccountId':1,'AccountName':'m
2016-06-06 00:47:03
714
原创 AngularJs的语法介绍
AngularJs的语法介绍实例一：简单的表达式实例二：时间<!doctype html><html ng-app="AngularDemo" ng-controller="AnagularCtrl" ng-init="AccountId=1;AccountName='Tom';Location='CHINA'"> <head> <!--声明当前页面的编码集：charset=
2016-06-06 00:46:18
621
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人