- 博客(55)
- 收藏
- 关注
RSS订阅原创 kafka更换broker.id后启动失败问题解决
新申请的机器，安装Kafka后，启动成功，后使用此机器替换掉老机器，变更kafka_2.11-0.10.1.0/config/server.properties中broker.id后，发现使用启动命令./bin/kafka-server-start.sh -daemon config/server.properties失败，无法启动：[kafka_2.11-0.10.1.0]$ ./bin/...
2019-09-05 15:32:48
1280
转载 Golang Gin 框架 Route学习
路由package mainimport ( "github.com/gin-gonic/gin" "time" "log")func main() { // 初始化 router := gin.New(); // 常规操作 router.POST("/", func(context *gin.Context) { ...
2019-06-02 21:29:22
3202
转载 Golang中Gin框架的基础知识学习
目录1.安装2.基本的架构 2.1 直接调用方案 2.2 函数方案3.HTTP服务器 3.1 GET参数获取 3.2 POST参数获取 3.3 JSON参数获取 3.4 提交表单获取参数 3.5 文件上传 3.6 响应输出3.7 嵌套HTML视图 ...
2019-06-02 21:05:02
1958
转载 InfluxDB基本概念
1、数据格式在 InfluxDB 中，我们可以粗略的将要存入的一条数据看作一个虚拟的 key 和其对应的 value(field value)。格式如下： 1 cpu_usage,host=server01,region=us-west value=0.641434055562000000000 虚拟的 key 包括以下几个部分： datab...
2019-04-19 01:14:14
369
转载 什么是消息队列？
一、什么是消息队列？消息队列，一般我们会简称它为MQ(Message Queue)，嗯，就是很直白的简写。我们先不管消息(Message)这个词，来看看队列(Queue)。这一看，队列大家应该都熟悉吧。队列是一种先进先出的数据结构。在Java里边，已经实现了不少的队列了：那为什么还需要消息队列(MQ)这种中间件呢？？？其实这个问题，跟之前我学Redis的时候很像。...
2019-04-19 01:00:52
525
转载 数据库分片（Database Sharding)详解
Introduction 导言任何看到显著增长的应用程序或网站，最终都需要进行扩展，以适应流量的增加。以确保数据安全性和完整性的方式进行扩展，对于数据驱动的应用程序和网站来说十分重要。人们可能很难预测某个网站或应用程序的流行程度，也很难预测这种流行程度会持续多久，这就是为什么有些机构选择“可动态扩展的”数据库架构的原因。在这篇概念性文章中，我们将讨论一种“可动态扩展的”数据库架构：分片数据...
2019-04-12 12:12:00
447
转载 InfluxDB引擎
引言InfluxDB是一款Go语言写的时序数据库。时序数据库主要用于存储基于时间序列的指标数据，例如一个Web页面的PV、UV等指标，将其定期采集，并打上时间戳，就是一份基于时间序列的指标。时序数据库通常用来配合前端页面来展示一段时间的指标曲线。为什么需要时序数据库时序数据库较传统的关系型数据库以及NoSQL究竟有什么优势，下面会结合相关模型的特性进行分析LSM TreeLSM...
2019-04-12 11:20:15
218
转载 Storm流式处理框架
Hadoop的高吞吐，海量数据处理的能力使得人们可以方便地处理海量数据。但是，Hadoop的缺点也和它的优点同样鲜明——延迟大，响应缓慢，运维复杂。 有需求也就有创造，在Hadoop基本奠定了大数据霸主地位的时候，很多的开源项目都是以弥补Hadoop的实时性为目标而被创造出来。而在这个节骨眼上Storm横空出世了。 Storm带着流式计算的标签华丽丽滴出场...
2019-04-12 10:54:55
947
转载 分布式系统相关
简介 分布式要解决什么问题呢？解决持久化数据太大，单个节点的硬盘无法存储的问题；解决运算量太大，单个节点的内存、CPU无法处理的问题。解决这些问题，有两种思路：scaleup，scaleout。前者就是提升单个节点的能力，更大的磁盘，更快的CPU，定制的软硬件，然而这意味着更高的价格，而且再怎么scaleup 也是有上限的。后者就是把存储、计算任务分担到普通的机器上，通过动态增加节点来应...
2019-04-12 10:44:18
124
转载 服务的有状态和无状态
对服务器程序来说，究竟是有状态服务，还是无状态服务，其判断依旧——两个来自相同发起者的请求在服务器端是否具备上下文关系。 状态化请求，服务器端一般都要保存请求的相关信息，每个请求可以默认地使用以前的请求信息。 无状态请求，服务器端所能够处理的过程必须全部来自于请求所携带的信息，以及其他服务器端自身所保存的、并且可以被所有请求所使用的公共信息。...
2019-04-11 22:18:20
931
转载 消息队列MQ
目录一、简介二、为什么需要消息队列（MQ）？三、介绍 一、简介 消息队列（Message Queuing），在计算机科学中，是一种进程间通信或同一进程间不同线程的通信方式。 广义上讲消息队列是解决分布式系统中，各个功能模块间的信息传递通信方式。 与文件传输和RPC相比，消息队列具有更好的平台无关性，并能够很好地支...
2019-04-11 21:39:52
195
转载 复制粘贴功能按钮实现[vue.js]
需求：点击复制按钮，实现复制粘贴功能。data return中表格数据：tableColumns: [ { title: 'Token', key: 'token', width: 400, render: (h, params) => { let token...
2019-03-18 14:28:31
1065
转载 falcon学习-transfer篇
transfer，接收客户端发送的数据，做一些数据规整，检查之后，转发到多个后端系统去处理。在转发到每个后端业务系统的时候，transfer会根据一致性hash算法，进行数据分片，来达到后端业务系统的水平扩展。transfer 提供jsonRpc接口和telnet接口两种方式，transfer自身是无状态的，挂掉一台或者多台不会有任何影响，同时transfer性能很高，每分钟可以转发超过...
2019-03-17 23:06:11
513
转载 几个很好的学习网址
shell学习：http://wiki.jikexueyuan.com/project/linux-command/chap02.htmlhttp://billie66.github.io/TLCL/book/Linux学习：http://billie66.github.io/TLCL/book/各种前沿技术学习：https://haoqicat.com/https:/...
2019-02-28 15:16:17
180
原创 .cvs数据库文件导入数据库
1. .csv文件，在本地的地址为： 2.将/Users/shangyanfei/Downloads/shangyanfei_twfault_2018-06-25-18-10-34_sql1.csv目录下的.csv文件导入到本地数据库：1）将本地mysql数据库设置为可导入导出的模式，具体操作如下：a.本地进入mysql命令模式，查看本地mysql是否允许导入导出操作，命令为s...
2019-01-31 17:31:32
991
原创 Python中列表推导式的使用
列表推导式是一种方便简洁的语法形式，可以利用它将一个列表经过过滤后转换成另一个列表，也可以利用它将函数应用于列表中的元素。书写形式：[ 表达式 for 变量 in 列表 ] 或者： [ 表达式 for 变量 in 列表 if 条件 ] 例如：l1 = [1,2,3,4,5]print [a*2 for a in l1 if a>0] ...
2018-08-08 20:15:05
578
原创 Python统计.txt文本中每个英文单词个数
目录需求：实现：需求：给定一个word.txt文件，统计文件中每个英文单词出现的次数，保存在word2.txt中。实现：word.txt:Python2.7下的统计脚本：import collectionsimport redef word_cal(): with open('word.txt','r') as fp: cont...
2018-08-06 10:41:36
7892
1
原创 dagre-d3使用时问题：TypeError: svgEdgeLabels.exit is not a function
问题：TypeError: svgEdgeLabels.exit is not a function解决办法：更新dagre-d3版本。google：https://github.com/dagrejs/dagre-d3/issues/282
2018-07-10 18:15:48
939
转载 vue使用iview的notice
问题描述iview是一个vue的组件库，用起来很好用，但是在使用notice和message的时候发现一个问题，就是按照文档的写法不能调用，文档中的写法是这样的：this.$Notice.info({ title: "这是一个提示消息"})在运行的时候就会报$Notice没有定义。解决办法经过查询，发现如下解决办法： 按照iview文档的写法是这样的引入的：import { Notice...
2018-06-04 16:25:09
4640
原创 关于最近前端JS、Vue、iview学习中的总结
最近项目需要，对前端一个功能模块进行改造，主要使用到了iview、bootstrap-vue、vue.js等前端知识，改造完成，作为一个后台开发，在前端的学习上遇到了很多不熟悉的知识点，在此总结。1.iview中清空select组件选中项： Select(filterable, clearable, ref="store", .....) Option(v-for="item in...
2018-05-28 15:02:27
1882
原创 基于D3.js的树图连线信息展示方案（带路径的文字展示方案）
最近由于项目需要，需要在树图上展示一些节点之间的调用信息，后来在网上找了一些方案，相关的例子几乎没有。 现在将效果图以及代码展示如下（具体的关键性部分已经注释）： <!DOCTYPE html><html lang="en"> <head> <meta charset="utf-8"> <titl
2018-05-11 17:44:11
6484
转载 Python的6种内建序列操作
数据结构式通过某种方式(例如对元素进行编号)组织在一起的数据元素的集合，这些数据元素可以是数字或者字符，甚至可以是其他数据结构。在Python中，最基本的数据结构是序列(sequence)。序列中的每个元素被分配一个序号–即元素的位置，也称为索引。第一个元素索引是0，第二个则是1，一次类推。python包含6中内建的序列，即列表、元组、字符串、Unicode字符串、buffer对象和xrange对
2017-08-16 16:00:08
2732
1
原创 对Redis的学习与应用
最近在写脚本的时候需要将大量数据处理后存到Redis中，在此学习与总结。关于Redis Redis是一个开源，高级的键值存储和一个适用的解决方案，用于构建高性能，可扩展的Web应用程序。Redis有三个主要特点，使它优越于其它键值数据存储系统 。Redis将其数据库完全保存在内存中，仅使用磁盘进行持久化。 与其它键值数据存储相比，Redis有一组相对丰富的数据类型。Redis可以将数据复制
2017-08-11 11:32:23
361
原创 D3.js实现树图节点为矩形+内容分割+可折叠demo
知识点：rect:画长方形，矩形标签x，y ：在svg中的位置 rx,rx ：设置菱角的弧度（做成圆角矩形使用），如果设置长方形宽度和长度相同就标识为一个圆 width，height ：长方形的宽度和高度 fill ：长方形的填充颜色 stroke ：长方形的边框颜色 stroke-width ：边框宽带 fill-opacity ：长方形的透明度 stroke-opacity
2017-08-08 15:25:52
7903
2
转载 Python时间戳与时间字符串互相转换
#设a为字符串import timea = "2011-09-28 10:00:00"#中间过程，一般都需要将字符串转化为时间数组time.strptime(a,'%Y-%m-%d %H:%M:%S')#将"2011-09-28 10:00:00"转化为时间戳time.mktime(time.strptime(a,'%Y-%m-%d %H:%M:%S'))>>1317091800.0#将时
2017-08-03 15:13:41
651
原创 HTML常用的获取页面属性方法总结（HTTP/HTTPS/request）
在处理HTTP与HTTPS的时候，遇到获取取当前网址的协议+域名+参数等情况，项目是Django项目，因此在取request中的属性值时遇到一些问题，有些取值方式需要遵循Django的取值语法。1.前端JS获取当前页面属性值的方法 window.location 对象用于获得当前页面的地址 (URL)，并把浏览器重定向到新的页面。常用到的有： location.hostname： 返回 w
2017-07-28 16:23:48
4612
转载 MAC 升级node.js的快捷方法
今天在部署运行项目的时候出现了node.js和npm版本的问题：主要原因是版本过低，解决办法，升级node.js版本到v8.0.0: 这里记录一下 mac 升级 node.js的简易方法。 切记要按照步骤:第一步，先查看本机node.js版本： $ node -v第二步，清除node.js的cache： $ sudo npm cache clean -f第三步，安装 n 工具，这个工具是专门用
2017-07-18 11:32:54
837
原创 Git部署项目流程与常用命令
普通项目部署流程：gitcheckoutbranchname1切换到分支 git checkout branch_name1 切换到分支 git pull origin branch_name1 拉取远程分支 $ git merge branch_name2 合并name2==若有冲突，解决冲突gitadd. git add . git commit -m ‘your com
2017-07-17 17:35:05
1189
原创 D3.js实现节点折叠+闪烁+叶节点形状改变的demo
这个demo主要实现的功能是D3树图节点折叠功能+闪烁+叶节点形状改变功能：效果图（带颜色节点有闪烁功能）： HTML代码：<!DOCTYPE html><html lang="en"> <head> <meta charset="utf-8"> <title>Tree Example</title> <style> .node { cursor:
2017-07-10 11:02:47
8142
转载 MAC解决端口占用
1.前言启用goagent、firefly等服务的时候，如果非正常退出，再次启动经常会遇到address already in use,端口被先前启动的服务进程所占用，导致服务无法使用。这种情况，可以注销或重启（注销不一定有用）。下面介绍另一种方法–在终端中查找占用端口的进程并杀死，然后重启服务。2.查看端口终端输入：lsof -i tcp:port 将port换成被占用的端口(如：8086、999
2017-06-26 19:59:50
8102
1
原创 MySQL删除列无响应问题
在执行MySQL删除列操作时无响应，这个问题的解决办法如下： 在远程主机上登录MySQL，执行show full processlist观察state和info两列，查看有哪些线程在运行。 mysql> show full processlist; Id User Host db Command Time State Info 134 root loca
2017-06-21 13:43:43
992
原创 数据处理后的缓存清除问题：Max retries exceeded with url
今天在处理数据更新后的缓存清除时，一直报错：ConnectionError: HTTPConnectionPool(host='0.0.0.0', port=8081): Max retries exceeded with url: /team/team_relation_user/ (Caused by <class 'httplib.BadStatusLine'>: '')问题重现： 这是在
2017-06-15 16:18:38
7833
原创 Python中urllib2的数据标准化问题
在使用urllib2获取接口数据时一直显示服务器内部错误： urllib2.HTTPError: HTTP Error 500: Internal Server Error原因:请求数据传入错误。错误代码：import jsonimport urllib2url = "http://xxxxxxxx.com/api/xxx/xxx/"data = { 'service_n
2017-06-13 14:52:02
3079
原创 MySQL联合查询分页
有两个表table_A, table_B:pro: id pro_name creator_id create_time 1 pro1 101 2017-5-1 2 pro2 103 2017-3-1 3 pro3 103 2017-2-3 4 pro6 116 2017-6-3pro_users: id pro
2017-05-29 14:59:42
3747
1
原创 Flask 使用消息闪烁（flash）报错
今天在使用Flask框架时，在开发提交表单功能时，遇到了这个错误：RuntimeError: The session is unavailable because no secret key was set. Set the secret_key on the application to something unique and secret.解决方法是在flask项目开头加入设置SECRET_
2017-05-01 21:07:19
2276
原创 Flask应用部署
一、WSGI全名：Python Web Server Gateway Interface定义了Web服务器和Web应用程序之间通信的接口规范。WSGI应用：是一个接受两个参数的可调用对象。两个参数： 1.environ参数是个字典对象 ，包含CGI风格的环境变量。 2.start_response参数是一个接受两个固定参数和一个可选参数的可调用者。WSGI服务器：为每一个HTTP请求
2017-04-28 23:28:29
814
转载 Python十分钟总结知识点
链接：https://www.zhihu.com/question/28530832/answer/98071958 来源：知乎【搭建开发环境】 1 可以到Welcome to Python.org下载安装包，然后通过configure、make、make install进行安装。 2 也可以到ActiveState | ActiveState去下载ActivePython组件包。（Activ
2017-04-27 23:17:56
404
转载 Python编译环境安装+问题处理
一、安装Python：因为Python是跨平台的，它可以运行在Windows、Mac和各种Linux/Unix系统上。在Windows上写Python程序，放到Linux上也是能够运行的。要开始学习Python编程，首先就得把Python安装到你的电脑里。安装后，你会得到Python解释器（就是负责运行Python程序的），一个命令行交互环境，还有一个简单的集成开发环境。2.x还是3.x目前，Pyt
2017-04-26 15:06:02
618
原创 Python中filter实现计算素数
def su(x): for n in range(2,x): if x%n==0: return False return Trueprint(list(filter(su,range(2,101))))注： Python内建的filter()函数用于过滤序列。和map()类似，filter()也接收一个函数和一个序列。和map()不同的
2017-04-24 18:10:02
766
原创 Python尾递归
一般递归：def sum(n): if n==0: return 0 else: return n+sum(n-1)递归函数的优点是定义简单，逻辑清晰。理论上，所有的递归函数都可以写成循环的方式，但循环的逻辑不如递归清晰。使用递归函数需要注意防止栈溢出。在计算机中，函数调用是通过栈（stack）这种数据结构实现的，每当进入一个函数调用，栈就会加一层栈帧
2017-04-24 10:08:35
534
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人