- 博客(15)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 kibana通过nginx添加账号密码验证
参考连接：https://www.cnblogs.com/configure/p/7607302.html1. kibana自身是没有安全验证的，所以账号密码的验证通过nginx实现2. 实现过程2.1 安装nginx：yum -y install nginx不知道为什么，很多参考资料说yum安装的启动命令默认路径在：/usr/local/nginx/sbin我的是：启动命令路径：/usr/sbin/nginx 暗转路径是：/etc/nginx配置文件地址：/etc/ngi.
2020-12-15 17:47:21
536
原创 mac安装iterm2完成与linux的链接
作为苹果电脑新手，看别人链接linux用的大部分都是iterm2，也就选择这个，先下记录过程的中的坑注：使用本文第一种连接远程服务器的方式，rz sz命令会失效，原因不明，建议使用第二种参考文章链接：https://www.sunjs.com/article/detail/7891c859e64b4ec6a40a5cb672ba6d43.html1. 官网下载 地址：https:/...
2019-07-24 11:25:44
958
原创 微信JS-SDK——invalid signature 填坑
项目调用微信JS-SDK接口主要是为了可以分享自定义的页面。直接说在看文档开发过程中的坑，文档中有的就简略了。1. 获得JsapiTicket直接携带token访问接口即可。2. 时间戳的获取，在微信的sha1加密测试页面，时间戳的长度为10个数字，但是超过10个数字时，代码也不报错，为了避免踩坑，的我的时间戳是这样的String timestamp = new SimpleDateFormat(...
2018-06-04 18:08:41
1960
原创 flume日志采集环境搭建，单机版
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flumey由source,channel,sink三个组件组成。source：监听的数据源，包含console（控制台）、RPC（Thrift-RPC）、text...
2018-05-22 16:56:42
345
原创 spark初学（四）- 连接数据库汇总
连接的数据库为mongo：private SparkSession sparkSession() { StringBuffer mongoUrl = new StringBuffer("mongodb://" + username + ":" + password + "@"); String[] url = urls.split(","); for...
2018-05-22 16:00:29
366
原创 Spark初学（三）- StreamingContext - 日志解析
spark进行日志解析有两种方式：一、flume（日志采集）将采集到的日志保存到硬盘的日志文件中，spark每隔一段时间汇总分析一次（我们在用的是这种方式，每一个小时通过自定义的sink生成一个日志文件，spark的汇总每隔一个小时被调用一次，汇总上个小时采集的日志）。二、flume将采集到的日志保存在内存中，spark通过流每隔几秒获取一次内存中数据，汇总分析保存。第二种实现： SparkCon...
2018-05-22 15:52:46
2301
原创 Saprk初学（二）- 应用-日志解析
应用环境，项目需要解析日志，通过flume读取不同服务器上的日志并进行初步的过滤（可通过配置完成），由masterFlume将读取到的日志汇总到硬盘的某个文件中，有spark解析日志，并进行汇总。将汇总结果保存到mongo数据库。...
2018-05-22 13:59:38
280
转载 spark 初学（一） - 原理
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。优点：Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍，甚至能够将应用在磁盘上的运行速度提升10倍使用情景：1 数据量大 2 计算复杂spark的...
2018-05-17 14:24:41
364
原创 SpringBoot初学汇总
SpringBoot基于Spring的项目搭建框架，相较于Spring简化了配置而已SpringBoot的核心： 自动配置：针对很多Spring应用程序常见的应用功能，Spring Boot能自动提供相关配置 起步依赖：告诉Spring Boot需要什么功能，它就能引入需要的库。 命令行界面：这是Spring Boot的可选特性，借此你只需写代码就能完成完整的应用程序，无需传统项...
2018-05-11 13:58:07
322
原创 微信第三方平台开发中遇到的问题总结---java
1.微信第三方平台的开发文档，授权流程中在第三步和第四步之间，还有一步获得预授权码后，调用接口，进入到二维码页面，用户扫描后，微信服务会调用我们设置好的回调接口，并推送回授权码2.我们的项目在正式发布之后，一直获得不到微信的ticket的推送，是因为我们的项目有设置，https的请求优先，而我们在微信第三方实体上设置的接口推送请求为http请求方式是可以修改的
2017-07-14 08:43:32
4858
1
原创 微信第三方平台授权流程- java
1. 微信第三方平台的开发，第一步就是公众号的授权，授权成功后第三方凭条才能利用公众号的appid和token获得公众账号额信息，并代替公众账号完成一些功能。 2. 授权的流程，理论图代码流程，1》 首先在微信开放平台的官网进行微信第三方平台的开发认证2》认证通过后，在微信开放平台创建第三方平台的实体，创建完成后才能有对应的appid和secret，用于开发3》微信服务项第
2017-06-26 14:17:39
6150
21
原创 阿里MQ使用经验
简单介绍MQ（消息队列）：主要用于项目间的异步通讯名词：提供者：异步通讯消息的提供者，发布消息。消费者，异步通讯消息的消费者。 发布与订阅、点对点：提供者与消费者的订阅模式，详情可看阿里官网文档使用MQ的步骤： 1. 在阿里的管理控制台>topic管理中发布topic 2. 在topic的管理页面申请发布，创建提供者id，一个topic只能对应一个提
2017-05-19 18:02:09
4664
原创 dubbo与zookeeper交互-3
总结：dubbo-admin是dubbo的管理系统，它在启动时会解析xml文件，获得zookeeper的地址，并创建zookeeper的客户端ZookeeperRegistry，库护短通过url与ZkclientZookeeperTransporter去连接注册中心，在调用spring管理的实例RegistryServerSync，监听所有的服务，当注册中心的服务有变化时，注册中心会通过Regis
2017-05-18 09:19:21
851
原创 dubbo与zookeeper的交互-2
大致了解dubbo中定义的类的大概作用，手动编写了一个小项目，用于获取zookeeper注册中心的服务信息：1.导入dubbo-admin里的全部jar包2.从dubbo-admin中复制一部分会用到的类：URL(路径的实体类)、RegistryServerSync(存储注册中心信息的类)、SyncUtils（缓存工具类）、Pair（dubbo自定义的结合类Map的子类）、dubbo-ad
2017-05-12 10:02:17
559
原创 dubbo与zookeeper的交互-1
dubbo-admin学习总结：1.dubbo能从zookeeper注册中心获得服务信息，是通过registryService，并且可以通过registryService对dubbo进行操作2. 详解：与服务注册相关的类：RegistryService：顶层接口 Registry：接口，继承顶层接口 与Node接口（暂不知何用）AbstractRegistry：抽象类，实现
2017-05-10 15:00:34
3089
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人