- 博客(28)
- 收藏
- 关注
RSS订阅原创 《Flink自拟实战笔记》之Springboot日志收集
1 - 简介这个系列是我学习Flink之后，想到加强一下我的FLink能力，所以开始一系列的自己拟定业务场景，进行开发。这里更类似笔记，而不是教学，所以不会特别细致，敬请谅解。这里是实战的，具体一些环境，代码基础知识不会讲解，例如docker，flink语法之类的，看情况做具体讲解，所以需要一些技术门槛。2 - 准备flink - 1.12.0elasticsearch - 7.12kafka - 2.12-2.5.0kibana - 7.12filebeat - 7.
2021-04-01 17:02:13
611
原创 《小鑫发现》之深度学习的OCR服务
标题《小鑫发现》之深度学习的OCR服务介绍偶然发现的一个深度学习框架，PaddlePaddle 飞桨，他是百度开源的一套深度学习框架。相比Tensor,Pytorch，主要是他整个生态，它提供多个工具可以使用，让我们更方便的去了解和使用。这次只是简单的带来一个计入Paddle-hub发布一个文字识别的ocr，让大家用最少的代码，构建一个ocr服务，感受一下paddle的魅力。在后续我会慢慢的体验Paddle，总结一套Paddle的实战。版本和下载paddlepaddle 2.0.0rc1 下载
2021-01-26 15:36:17
613
原创 《小鑫发现》之GraphQL框架Prisma
标题《小鑫发现》之GraphQL框架Prisma介绍这是一个新的前后端交互的方案，不是一定是最好的，但是却很有意思，一种可以让前端人员自由去控制数据库，脱离开后端人员开发SQL读取数据库一层。虽然不见得能解决所有场景，只有善加利用，很可能解决绝大部分的场景，减少人力，提高效率。很类似之前的hibernate那种对象的形式操作数据库，其实官网的第一句话，就是“Next-generation ORMfor Node.js and TypeScript”，可知他是个ORM，跟mybatis是一类。去理
2021-01-21 17:27:51
719
原创 《小鑫发现》之Prometheus+Grafana监控告警套装
标题《小鑫发现》之Prometheus+Grafana监控告警套装介绍最近遇到了问题，就是MySQL，Redis，MongoDB这类服务，遇到故障的时候，不能及时通知，和预警。这次就介绍一个当下比较流行的方案，并且集成起来还很方便，类似那种ServiceMesh的边车方案，那就是Prometheus。这类解决方案有很多，这个教程是我一目了然就看得懂的。这套技术分别是Prometheus是时序性数据库，用于存储服务数据，Grafana是优秀的可视化界面，官方的样例json比较多，很方便。版本和下载链
2021-01-15 17:31:14
389
原创 《小鑫发现》之Flink-SQL管理工具flink-streaming-platform-web
介绍一个方便操作Flink-SQL的工具准备环境、程序和依赖Flink 1.12 下载地址这里下载的事scala 2.11的版本Kafka 2.12-2.5.0 下载地址这里没有去下载zookeeper，因为kafka里自带zookeeper，所以就直接用这个，别问为啥，问就是为了省事。另外为啥是这个版本，不是最新，别问，问就是因为本地就是这个，懒得下载最新的了。Scala 2.11 下载地址根据自己的环境进行下载，本人是Mac下载的scala-2.12.12.tgzFlin
2021-01-08 11:09:47
2271
原创 《小鑫发现》之SCREW数据库文档生成插件
介绍平时很多时候，在交付时，需要交付数据库设计文档。评审时候也需要查看数据库设计文档。平时开发时，经常会修改数据库表，然后还要修改数据库设计文档，一旦忘了，就会变得很麻烦，挨个排查，耽误时间。所以这次介绍一款插件，直接生成数据库设计文档，并且支持MD，word，html等格式，而且还是开源，可以自己改造，里面是模板化的freemarker。这就是第一期的《小鑫发现》之SCREW数据库文档生成构建这里使用MAVEN插件的方式进行生成。新建一个Springboot的项目，为啥是Springboot的呢
2020-12-24 12:22:31
364
原创 算法总结（第二周-20201206）
算法总结（第二周-20201206）767 重构字符串题链接此图延续之前桶的方法，将字符串里的char依次放进桶的位置，记录出现的次数。然后获取出现次数最多的字母，判断出现的次数是否超过阈值，也就是字符串长度的1/2，然后将出现次数最多的字母放在偶数位，然后在依次放入其他的字母。。代码：class Solution { public String reorganizeString(String S) { if (S.length() < 2) {
2020-12-07 13:06:10
81
原创 算法总结（第一周-20201127）
算法总结（第一周-20201127）1 双数之和题链接LeetCode的第一道题，从题干可以理解为从数组中找出两个数之和是目标值的数的下标。解题思路：先设定一个map用于保存数组中的值和下标，用目标值去减数组中的各个值，判断差值的结果是否在mao里，如果有，就返回结果。代码：class Solution { public int[] twoSum(int[] nums, int target) { Map<Integer, Integer> hashTable
2020-11-30 15:51:41
89
原创 MongoDB集群构建方案ReplicaSet
MongoDB集群构建方案方案简介Mongodb的三种集群方式的搭建：Replica Set，Sharding，Master-Slaver。本方案是基于Replica Set模式进行构建。Replica Set （副本集）集群中包含多分数据，主节点挂掉，副节点继续提供服务，仲裁节点是特殊的节点，本身不存储数据，主要作用决定哪个备用节点成为主节点，所以客户端不需要连接此节点。部署方案1-准备服务器，多台，本方案是一主，俩从，一仲裁。所以是四台服务器，并且四台服务器可以互相通讯而且需要明确
2020-09-15 11:52:46
504
原创 Linux构建Redis集群主从备份+Sentinel哨兵模式
1 - 安装Redis创建对应文件夹 /home/redis （根据个人喜好更改）下载redis 网页 https://redis.io/download我直接使用wget进行下载> wget http://download.redis.io/releases/redis-4.0.14.tar.gz> tar zxf redis-4.0.14.tar.gz> cd ....
2019-08-07 17:02:36
157
原创 Linux安装MySQL之yum的rpm方式，快速安装，5.7和8.0版本的安装方法
直接进入正文1 - 下载MySQL官网地址 https://dev.mysql.com/downloads/repo/yum/安装红框里标注的下载然后上传到服务器上，指定位置，本文的地址是 /usr/local/MySQL （MySQL是本人自己创建的，命令为mkdir MySQL）2 - 设置yum rpm执行命令rpm -ivh mysql80-community-relea...
2019-08-07 16:55:41
381
原创 ELK搭建日志分析系统
记录ELK的搭建过程和遇到的问题，所有下载链接都在官方下载地址建议服务器配置高一些，例如2HGES安装下载后上传到对应的服务器位置解压 ： tar -xzvf file.tar.gz配置磁盘，当磁盘大于95%，就只能读取，不能写入cluster.routing.allocation.disk.threshold_enabled: false解压后，进入对应目录，启动，因为e...
2019-03-06 14:35:02
2290
原创 Oracle遇到的相关问题笔记
1-连接报ORA-12519, TNS:no appropriate service handler found问题描述连接数据库的程序太多，释放的不及时，容易产生，程序上如果不知道如何解决的话，通过设置Oracle数据库进行解决。步骤：0 - 切换到Oracle用户$ su -u oracle --- 切换用户$ sqlplus / as sysdba --- 连接数据库1 - ...
2019-03-01 08:46:48
132
原创 阿里云搭建单机Hadoop之YARN
YARN环境搭建配置路径 ：hadoop-2.6.0-cdh5.7.0/etc/hadoop图示：发现并没有下述的文件。所以需要进行对应的复制$ cp mapred-site.xml.template mapred-site.xml需要配置文件：yarn-site.xml&amp;lt;property&amp;gt; &amp;lt;name&amp;gt;yarn.nodemanager.aux-...
2019-02-14 17:29:41
383
原创 阿里云搭建单机Hadoop之HDFS
配置Java环境JDK安装# tar -zxvf xxxx.tar.gc -C ~/app# 环境变量# vim ~/.bash_profile编辑内容 export JAVA_HOME=/home/hadoop/app/jdk路径 export PATH=$JAVA_HOME/bin:$PATH**使其生效# source ~/.bash_profile# java -v...
2019-02-12 17:38:15
1204
原创 git设置当前项目的提交人信息
在 项目的 .git隐藏文件夹里 设置 config 添加如下配置，设置当前文件的提交人的信息[user] name = 冯鑫鑫 email = [email protected]
2018-12-27 16:39:54
2738
原创 Java遇到的相关问题笔记
1获取规定时间//定义一个天数int num = 1;//格式化时间SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");//获取实例Calendar ca = Calendar.getInstance();//计算时间ca.add(Calendar.DATE, num);//格式化计算后的时间...
2018-08-31 13:11:15
123
原创 Java下载Excel兼容性问题
String fileName = "Excel模板"; String userAgent = request.getHeader("USER-AGENT").toLowerCase(); if (userAgent != null) { if (userAgent.indexOf("msie") &gt; -1
2018-07-28 09:55:05
1135
原创 Linuxz转换文件格式convmv
安装convmv yum install convmv 命令行样例：convmv -f gb2312 -t utf8 -r --notest *-f 参数是指出转换前的编码 -t 是转换后的编码 不加–notest就表示只看看有什么需要转换的，不做实际转换file -i /opt/test.log查看文件格式ls查看文件各个名称...
2018-07-11 15:11:28
415
原创 Linux 下 Oracle定时备份数据库
前提： 需要每天备份数据库，所以需要写一个脚本去定时备份 配置文件#!/bin/sh #本脚本自动备份7天的数据库，每次备份完成后，删除7天之前的数据#加载oracle的相关参数#查看oracle的位置命令select * from dba_data_files order by file_id#也可以直接使用find / -name oracle 一般都是使用/u01开头的那...
2018-06-14 14:57:09
3780
3
原创 IDEA Git 分支branch操作，新建和合并
简单记录IDEA中Git分支操作 1：创建分支 右下角new branch创建分支 创建完成查看右下角当前分支情况 创建一个该分支的MD文件信息，进行提交 这样一个分支就创建完成，然后merge分支，可以多建立几个分支，分别创建分支各自的文件，进行提交，然后开始merge的操作。 2： 不同分支merge操作 然后切换分支，到master 然后选择003进行me...
2018-05-25 14:14:03
77275
2
原创 本地项目提交到GitHub上
前期准备： 安装好git，并且已经有github上的账号 还有一个就是SSH key的问题，在提交的时候可能提示认证不通过的情况 在git里设置，你的用户 git config --global user.name "yourname" git config --global user.email“[email protected]" 在git控制台里输入 $ ssh-keygen...
2018-04-18 14:04:15
213
原创 Springboot 利用 Jedis代码动态配置Redis
Springboot 利用 Jedis代码动态配置Redis项目需求，甲方需求是处于安全的目的不想让properties里的部分配置信息体现在文件中，而且可能在之后需要通过页面修改对应的配置，所以出的解决方案就是部分配置信息存储在数据库里，然后利用@Bean注入的方式将其注入到springboot中，然后直接代码配置，例如：Redis。环境Java 1.8Springboot ...
2018-04-17 13:09:05
3175
原创 设计模式之策略模式
根据极客学院的教程学习总结一下设计模式的内容前言：设计模式是遇到问题总结的经验，不是代码，是某类问题的通用设计解决方案目的：提高 维护性，扩展性，变化性，复杂度变成O(N)策略模式：分别封装行为接口，实现算法组，超类里放行为接口对象，在子类具体定义行为对象。 原则：分离变化部分，封装接口，基于接口编程各种功能。 特点： 同类的行为是可以相互替换的 同级不...
2018-03-30 16:43:08
115
原创 Python遇到的相关问题笔记
1-PyCharm开发TensorFlow，Windows下问题描述打开pycharm开发TF的时候遇到了TesnsorFlow，引入的问题，TF只能应用在64位的python中，所以前提是安装64位的python，下载地址：https://www.python.org/downloads/release/python-364/，本Markdown编辑器使用[StackEdit][...
2018-03-26 16:52:14
195
原创 Node遇到的相关问题笔记
1-node升级操作#npm install npm@latest -g -- 升级npm#npm -v --- 查看npm版本升级node#npm cache clean -f ---清理缓存，啥作用不知道#npm install -g n --- 安装node模块#n -V --- 查看模块版本，不和那个node版本一致#n stable ---选择版本，这是正式版#node -v --- 查...
2018-02-13 17:15:41
217
原创 Linux遇到的相关问题笔记
平时开发Linux相关问题总结1：xftp无法进入文件，显示“无法显示远程文件”，的问题先进入shell，设置文件的权限#chmod 777 -fileName然后在用xftp点击打开，就可以进入，进行下载原因：个人估计权限问题，可能从xftp进入的时候用那个.pem认证方式，权限无法传递2:查看文件大小du -h --max-depth=1 /home/*查看home...
2018-02-12 16:21:32
139
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人