- 博客(200)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 如何做好面试官
1、面试基础：确定用人岗位和画像先人后事 还是 先事后人成熟的团队 一般是先事后人，这时候合适比优秀更重要，这时候经验很重要。人才画像：符合岗位需求的优秀人才的共同特征描述，以便于企业快速、精准找到想找到的人。保洁 喜欢用应届生，公司培养能力比较强，可以快速培养。人才画像的六个维度： 冰山模型。K-知识 P-个性特质 S-专业技能M-动机A-综合素养V-价值观举例子：面试不是唯一的评估方式：不通维度面试方式是多样的...
2022-03-09 18:56:04
1219
1
原创 高效找对人
9 让伯乐机制有效落地激发信心核心在于凝聚人心与传递价值，比如积极的宣传岗位的发展空间与薪酬福利。降低门槛明确人才标签和明确搜寻方向，让伯乐从机会推荐人变成信息提供人。由HR来主导推荐过程，做关键点的反馈。比如：明确公司或者职位。伯乐只提供信息，HR来主导交流。减少伯乐的工作量。优化激励分级激励，并定期公开表彰；给伯乐独家的人才锁定权，给伯乐更好的激励保障。10：招聘渠道升级：匹配用人需求，拜托招聘困境误区：铁山上找金子。 铁山（普通人才） 金子（高...
2022-02-23 20:04:00
743
1
原创 七个习惯成就高效能人士（学习摘要）
绩效的三个层次效率 -》 效果 -》效能要遵循一种良性得循环。1、观-行为-得得循环个人成功领域1、积极主动人性得本质是主动而非被动得，人类不仅能针对特定环境选择回应方式，更能主动创造有利得环境。采取主动不等于胆大妄为，惹事生非或者滋事挑衅，而是要让人们充分认识到自己有责任创造条件。2、以终为始找到自己的目标什么是目标，区分目标和目的的区别目标的特点：明确性，结果明确，不模糊 可衡量性，量化更加准确 可达性，掌控相关的资源 实际性， 有专
2022-02-22 19:15:08
2689
转载 RocketMQ Streams：将轻量级实时计算引擎融合进消息系统
随着各行各业移动互联和云计算技术的普及发展，大数据计算已深入人心，最常见的比如 flink、spark 等。这些大数据框架，采用中心化的 Master-Slave 架构，依赖和部署比较重，每个任务也有较大开销，有较大的使用成本。RocketMQ Streams 着重打造轻量计算引擎，除了消息队列，无额外依赖，对过滤场景做了大量优化，性能提升 3-5 倍，资源节省 50%-80%。RocketMQ Streams 适合大数据量->高过滤->轻窗口计算的场景，核心打造轻资源，高性能优势，在资
2021-12-08 09:10:59
376
原创 云原生 Kuma 简单部署与使用
1、部署1.1postgres 部署这里使用dockerdocker run --name postgres -e POSTGRES_PASSWORD=123456 --net=host -p 5432:5432 -d postgres:latest部署好后，创建kuma 数据库。1.2 Kuma 安装Universal Mode下载并解压缩curl -L https://kuma.io/installer.sh | sh -tar xvzf kuma-*.tar.g.
2021-09-08 19:45:00
721
转载 国内外大型系统架构设计准则和设计案例
ContentPrinciple Scalability Availability Stability Performance Intelligence Architecture Interview Organization Talk BookPrincipleLessons from Giant-Scale Services - Eric Brewer, UC Berkeley & Google Designs, Lessons and Advice from
2021-08-21 14:17:29
1962
原创 概要设计方法
目的划分边界功能层次调用关系和调用方式是否要包含数据结构 API？可以明确有那些表（但是表字段可以不用完全列举出来）设计方法学首先回答一个问题，先设计对象还是先设计行为？交互设计的方法学以"用户体验"为中心的设计思维与方法以"行为"与"组织"为设计对象的思维与方法以"行为"为设计对象的思维与方法 领域驱动的设计方法学设计模式的方法学选择合适的方法学如何设计业务流程核心关键流程由大概到详细有向无环图...
2021-03-22 08:58:59
580
1
原创 关键词法需求分析
原始需求都是非常模糊，可是几张图片，可以是一段文字，也可以是一篇冗长的行业规范文档，还可以是一段Copy过来的代码。怎么样才能深入分析用户需求 并提炼出概要设计呢？这里给出一个切实有效的方法--关键词法分析法。1、什么是关键词分析法分析关键词法the method of keyword analysis分析关键词法是日本创造工学研究学中山和教授创建的一种解决问题和开发创造性发明方法。它由麻省理工学院教授W·J·弋登提出的综摄法所发展而来，它以使用问题的关键词作为出发点，并对之重新构思，进而找
2021-03-21 22:02:35
448
原创 Cybersource支付流程设计
Cybersource是VISA提供的全球移动支付方案，不过使用的都是信用卡，信用卡类型包括 VISA,MasterCard,AMEX，由于Cybersource已经对接了全都主要发达国家的信用支付系统，以及其强大的风控系统，所以在国外使用的还是非常多的，只不过在国内用的就比较少了。这里主要给出Cybersource支付设计流程，样例代码是涉密的，无法给出。如果有疑问，也可以私下找我。Cybersource支付主要包含两个阶段，授信过程和结算过程。对于我们这种使用的第三方商户系统来说，重点关
2021-02-04 17:36:53
2232
4
原创 深度学习----使用LSTM算法预测变压器套管温度
1、概要本来想使用Julia 的Flux深度学习框架，但是Flux对时间序列数据分析的支持不是太好，只好使用 Keras+TensorFlow. 暂时没有使用堆叠式LSTM，这里只是使用一层 LSTM ，一层Dense。总的来开效果还不错。2、准备数据数据是在某电站采集的真实数据，且都已经经过清理，可以直接拿来用。数据按照分钟、小时、天 等三种时间矢量单位进行分析，这里给出的代码是按照小时的时间矢量单位，也就是每条数据都是某一天某一小时内的温度平均值，要预测的值也是 某一小时内的温度平均值.
2020-12-12 18:01:31
1346
原创 docker -ps 命令查不到 minikube 中发布的pod 的容器
首先升级之前的部署环境（1）先升级部署的docker 19.09.3（2）然后 minikube : v1.13.1 部署的单机kubernetes (3) 最后升级部署 helm 3.4.0，添加helm源 helm repo add bitnami https://charts.bitnami.com/bitnami这时一切正常。开始发布应用程序了(1)安装nginx-ingress#安装nginx-ingresskubectl create namespace ...
2020-11-14 22:30:35
1569
原创 简单实现 dubbo 集成 zipkin 的小插件
1、实现小插件的初衷以及思路相比较pinpoint，zipkin 通过brave是原生支持dubbo的调用链数据采集的，实现也比较简单，开发测试日常使用也比较简单。但是我这里要重点考虑几个问题：（1）更加灵活，虽然可以通过spring cloud seluth zipkin 也可以实现，但是要添加一些更灵活的配置就没那么简单了。（2）高度容错，允许通过分布式配置动态开启或关闭调用链的采集,还有就是即使zipkin服务端宕机了，也不能影响微服务的运行。 (3) 支持自定义标签，有时候需要...
2020-11-08 22:51:15
473
原创 Julia 时间序列数据分析 ---- TimeSeries基础用法
这里主要介绍Julia 时间序列分析库 TimeSeries 的用法。(1)基础数据类型使用,取数using Datesusing TimeSeriesusing MarketData################（1）数据索引########tuple 类型的数据，封装到TimeArray中，注意：一定要指定时间戳 timestamp = :datetimedates = Date(2018, 1, 1):Day(1):Date(2018, 12, 31)data = (datet
2020-10-11 16:29:38
2294
原创 OpenResty ----lua实现的 Snowflake(雪花算法）生成器
lua 5.1 只支持32位，下面是lub 的bit库位移计算得到的结果。所以如果要在lua5.1环境下实现雪花算法只能借助其他的方式。> print(bit.lshift(1,30))1073741824> print(bit.lshift(1,31))-2147483648> print(bit.lshift(1,32))1...
2020-09-13 23:01:18
1552
1
原创 lua 执行 带参数的 shell 脚本
这只是一个小技巧。lua 执行shell 脚本比较简单，但是如果要传递参数，就要麻烦些。这里 先通过字符串拼接命令，同时也会把要传递的参数拼接到字符串的后面。想看shell 脚本，执行位运算（lua5.1本身不支持位运算，只能依赖bit 库，但是由于不支持int64,所以大数字的位运算只能借助其他方式）shell 脚本：这是lua脚本要执行的shell脚本##((timestamp - twepoch) << timestampLeftShift) | (datacent
2020-09-13 08:35:42
5642
2
原创 微服务 ---- 不同软件平台的重试策略对比
目录1、微软云重试策略1.1、重试的应用场景：1.2 不同组件的重试策略：1.3、重点看下 ：REST接口的重试策略2、qubole的重试策略2.1 、服务器端错误（5xx系列）2.2、客户端错误（4xx系列）2.3 使用指数回退重试失败的请求3、servicenow4、amazon5、dubbo的集群策略6、spring retry6.1 重试策略定义6.2 回退策略重试是微服务中非常重要的设计概念，不同软件平台都有自己的重试策略，这里做下简单对
2020-09-06 19:07:49
910
1
翻译 微服务----幂等与发件箱模式
当你为看电视而购买一套家庭影院时，你得到一堆遥控器。一个遥控器用于电视，一个用于接收器，一个用于DVD/蓝光播放器、一个用于有线电视盒、卫星电视或机顶盒。也许你有一个多碟CD播放器，甚至是一个转盘，也许你还带着录像机等等，但是以后不会再有了，解决方案在下面。解决方案不是处理一堆远程设备，而是让一个通用远程设备来管理其他的远程设备。一旦你这样做了，你会发现不是所有的组件都是一样的，至少在他们在处理红外线信号的代码（遥控器发出的实际信号）方面是不同的。一个廉价的A/V接收器可能包含PowerToggle
2020-08-29 22:46:23
623
转载 升级遗留代码的最佳实践
导读： 在传统企业甚至互联网企业中往往存在大量的遗留代码，这些遗留代码大多都能够正常工作，有的可能还运行着关键业务或者持有核心数据。但是，大部分遗留代码通常经常存在技术陈旧、代码复杂、难以修改等特点。随着时间的推移，遗留代码的维护和管理的成本越来越大。在全面转型微服务的今天，这些遗留代码该如何处理呢？Tomasz Kania-Orzeł 为我们阐述了升级遗留代码的最佳实践，我相信，这篇文章对于拥有大量遗留代码的企业 / 组织很有借鉴意义。“我在 Ruby on Rails 上有一款可以追溯到 2011
2020-08-16 18:51:39
225
原创 Julia 并发编程 ---- 循环中正确使用并发的方式
1：非并发using Randomconst m = MersenneTwister(0);function dothestuff!(out_N, N, ic, m) out_N[:, ic] .= rand(m, N)endfunction dummy_base(m=m, N=100_000,c=256) out_N = Array{Float64}(undef,N,c) for ic in 1:c dothestuff!(out_N, N, ic,
2020-08-16 17:55:25
1094
原创 NewSQL ---- Mysql.8.0 与 MemSQL 7.0 大数据量查询性能对比
目录1测试环境以及测试用例设计1.1测试环境1.2测试用例设计2 千万级数据量性能测试对比2.1 MemSQL时间范围分页查询2.1.1 性能测试数据2.2任务信息查询2.2.1 性能测试数据2.3 执行批次范围查询2.3.1 性能测试数据2.4 批次任务查询2.4.1 性能测试数据2.5 聚合查询2.5.1 性能测试数据2.5 系统资源监控数据2.6总结2.7 图表性能分析2.7.1查询时间对比2.7.2吞吐量对比3 稳定性测
2020-08-16 15:40:22
914
翻译 Julia 并发编程 ---- 多线程与多进程的一些使用建议
这里先看一份代码示例using Distributedaddprocs()@everywhere using SharedArrays;@everywhere using BenchmarkTools;function test(lim) r = zeros(Int64(lim / 16),Threads.nthreads()) Threads.@threads for i in eachindex(r) r[Threads.threadid()] = (Bi
2020-08-15 17:44:28
2044
原创 NewSQL ---- Mysql.8.0 与 CockroachDB.v20 大数据量查询性能对比
1测试环境以及测试用例设计1.1测试环境Mysql 和Mongodb 都是 4C/8G，测试接口都是通过Spring boot 微服务rest接口测试。MySQL 数据中的表和mongodb中集合都设创建了相同的索引。其中create_time 都使用了降序索引。1.1.1 Mysql 索引1.1.1 CockroachDB 索引1.2测试用例设计1.2.1时间范围分页查询参数/result/{page}/{size}/{startTime}/{endTime}1.2
2020-08-03 01:37:30
1729
1
原创 NewSQL ---- Docker 优化部署 MemSQL
MemSQL 部署稍微比较麻烦，需要设置LICENSE_KEY。镜像一定使用memsql/cluster-in-a-box，之前的镜像已经废弃了。这个镜像也只能用于测试。1、设置LICENSE_KEY这里提供一个我申请的 licenseBGY2ODhiMWE1MTk3YzQ0YjhhNzdmYzU3NTdiOTFmNDQ4AAAAAAAAAAAEAAAAAAAAAAwwNAIYeZemlJfrUTxFC542kaiZmYR0jbSkfxX9AhhGXF4PBIYNzGpP2d17vnlt7uo
2020-08-02 21:34:50
346
原创 NewSQL ---- Docker部署 cockroachdb数据库
CockroachDB是一款开源的分布式数据库，具有NoSQL对海量数据的存储管理能力，又保持了传统数据库支持的ACID和SQL等，还支持跨地域、去中心、高并发、多副本强一致和高可用等特性。支持OLTP场景，同时支持轻量级OLAP场景。 官方有定制好的Docker镜像可以直接使用。这里提供两种部署方式 分布是 手动docker部署和 docker-compose一键部署。1 手动部署详细参考：用户手册1.1 脚本这里整理一份直接copy 使用的脚本，并添加了性...
2020-07-25 18:56:12
514
原创 NewSQL ---- 常用NewSQL数据库梳理
很多企业都需要处理来自多个数据源的复杂数据，因此需要利用数据库管理系统来存储和管理数据。现在，有很多不同类型的数据库系统，而找到一个正确的数据库不是一件容易的事。这需要考虑业务需求，以便选择正确的数据库管理系统。企业使用关系数据库管理系统（RDBMS）来存储和管理他们的数据。然而，这些系统无法处理海量的复杂数据，无法满足当今数据库用户的需求。因此，很多企业都在寻找能够在保持传统数据库系统重要特性的同时，也能提供可伸缩性、可用性和高性能的数据库系统。数据库软件供应商也已经确定了这一需求，并开发了NewSQ
2020-07-19 16:47:22
9378
翻译 6大服务网格工具比较
服务网格（Service mesh）已经不是一个新鲜概念，但它实现了连接运行在Kubernetes作为容器化平台之上的微服务，这使得服务网格的想法更加流行。如果没有服务网格，每个微服务都需要配置以接收（或发送）连接到其他需要与之通信的微服务，但服务网格完全改变了这一状况。与此前需要手动配置以及投入大量的时间精力来维护微服务之间的连接所不同的是，开发人员现在可以创建一个网格，使得微服务彼此通信可靠、可控以及安全。Kubernetes和服务网格是相互作用的，主要是因为使用服务网格可以在不增加工作量的情况下，
2020-07-12 21:30:07
268
原创 Julia机器学习---- 决策树（决策树-CART、随机森林、回归随机森林）
1、算法说明决策树属于监督式机器学习，一般是通过训练带有标签的数据进行分类，然后来预测没有带有标签的数据 属于那个类别。监督式学习问题可以进一步被分为回归和分类问题。决策树（这里作为一个大类）也包含分类（剪枝决策树分类器、随机森林）和回归（回归随机森林）。1.1 实现原理这里列举一些比较好的文章决策树[1,2,3]随机森林[1,2,3]回归随机森林[1,2,3]1.2 在使用决策树之前重点看下随机森林优缺点：优点：正如上文所述，随机森林算法能解决分类与回归两种类型的问题，
2020-07-12 21:29:39
1167
1
原创 Julia 机器学习 --- k-折交叉验证
k-折交叉验证(k-fold crossValidation)在机器学习中，将数据集A分为训练集（training set）B和测试集（test set）C，在样本量不充足的情况下，为了充分利用数据集对算法效果进行测试。对一组n个样本进行k-折交叉验证，这些样本被随机分成k个大小几乎相同的不相交验证集。这将生成长度约为n*（1-1/k）的k个训练子集，每次将其中一个包作为测试集，剩下k-1个包作为训练集进行训练主要目的：通过多次训练，得出偏差和方差，来衡量一个模型评估方法的好坏。Error
2020-07-06 22:03:07
903
原创 Julia 机器学习 ---- 训练集和测试集的拆分函数
如果只有一个数据集，在机器学习的过程中，一般会将原始数据集分割为训练数据集和测试数据集，训练集 用于训练模型的子集。测试集- 用于测试训练后模型的子集。但要确保测试集满足以下两个条件：规模足够大，可产生具有统计意义的结果。 能代表整个数据集。换言之，挑选的测试集的特征应该与训练集的特征相同。在Julia中也提供了一些拆分数据集的方法，这里给出简单的代码示例。1、流出法留出法（hold-out）直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T。在S上训练..
2020-07-04 18:10:11
1265
原创 Julia 机器学习 ---- 单变量线性回归 和 多元线性回归 (Linear regression)
目录1、线性回归概述2、数据准备3、数据探索3.1简单的数据清洗3.2 图形分析数据3.2.1 盒形图的离群点分析，需要根据四分位距去掉部分数据点。3.2.2 密度图进行分布分析3.2.3 散点图相关分析4、数据预处理4.1、独热编码（One Hot Encoding）4.2、按照比例分割为“测试集”和“训练集”5、建立模型6 检验标准（模型诊断）7、 模型预测、评价、交叉验证7.1 模型的预测与评价7.1.1预测7.1.2 计算误差线
2020-07-04 17:25:13
3614
原创 Julia ---- Debugger 代码调试方式
Julia debug相对比较麻烦，但还是有一些比较好用的工具 ，这里简单介绍两种方式JuliaPro 中debug插件 [email protected]
2020-06-20 23:14:48
1853
原创 Julia机器学习 ---- 特征选择
特征评价对理解数据集是非常必要的。根据你随后想建立的模型的类型，有多种策略可以完成特征评价，其中最重要的如下。 区分指数——连续型特征。 费舍尔判别比——连续型特征。 相似度指数——离散型特征。 杰卡德相似度——离散型特征。 互信息——既适用于离散型特征，也适用于连续型特征。...
2020-06-19 23:25:18
776
原创 Julia 机器学习----基于DataFrame 的特征标准化方法
1、概述评价是现代社会各领域的一项经常性的工作，是科学做出管理决策的重要依据。随着人们研究领域的不断扩大，所面临的评价对象日趋复杂，如果仅依据单一指标对事物进行评价往往不尽合理，必须全面地从整体的角度考虑问题，多指标综合评价方法应运而生。所谓多指标综合评价方法，就是把描述评价对象不同方面的多个指标的信息综合起来，并得到一个综合指标，由此对评价对象做一个整体上的评判，并进行横向或纵向比较。而在多指标评价体系中，由于各评价指标的性质不同，通常具有不同的量纲和数量级。当各指标间的水平相差很大时，如果直接用
2020-06-13 22:46:44
835
原创 Julia机器学习--KNN算法KDTree结构搜索欧式距离最近的数据，并绘制图表
NearestNeighbors是Julia中一个效率比较高的KNN分类统计代码库，它提供了BallTree，KDTree等多种数据结构。这里使用KDTree结构搜索欧式距离最近的数据， 并绘制图表。这里仍然使用鸢尾花数据代码示例using RDatasetsusing DataFramesusing CSVusing NearestNeighborsusing Colorsusing PyPlotusing PyCallimport PyPlot:plotimport Nea
2020-06-06 19:56:15
715
原创 Julia机器学习--KNN算法BallTree 结构分类统计，并使用圆绘制图表
NearestNeighbors是Julia中一个效率比较高的KNN分类统计代码库，它提供了BallTree，KDTree等多种数据结构。这里使用BallTree结构，并绘制图表。这里仍然使用鸢尾花数据代码示例using RDatasetsusing DataFramesusing CSVusing NearestNeighborsusing Colorsusing PyPlotusing PyCallimport PyPlot:plotimport NearestNeighb
2020-06-06 18:50:08
718
原创 Julia ---- PyCall.jl 的正确安装方式
Julia中经常需要Python的代码库，毕竟科学计算还是Python的库比较丰富。这时需要现在安装PyCall.jl。如果是直接Pkg.add("PyCall") 那你就错了。如果要正确使用这个程序包，Julia需要一个完整的Python编译环境，默认情况下，它是Miniconda 来管理python的编译环境。当然也可以手动设置，如下所示，但是我的观点最好还是使用默认的，一个独立的编译环境是编写稳定代码的基础，最好不要跟其他编程环境共享Python的基础设置。ENV["PYTHON"] = "..
2020-05-26 21:09:46
5031
6
转载 我们对比了5款数据库，告诉你NewSQL的独到之处
导读：NewSQL 是一种新方式关系数据库，意在整合 RDBMS 所提供的 ACID 事务特性，及 NoSQL 提供的横向可扩展性。本文通过对 VoltDB、TiDB、Cosmos DB、Citus、Vitess 等 NewSQL 数据库的介绍，给出了 NewSQL 的独到考虑。作者：Gokhan Simsek译者：盖磊来源：AI 前线（ID：ai-front）对大多数开发人员而言，SQL 以及 MySQL、PostgreSQL 等关系数据库管理系统（即 RDBMS）并不陌生。RDBM.
2020-05-23 18:24:54
2083
转载 物理概念在数据分析中的实践——阻尼
物理概念在数据分析中的实践——阻尼 作者： CPDA 数据分析师 刘程浩 最近我在编写一些课件，写着写着，有些过去已经看到几百次的，但是却没认真留意的概念引起了我的注意。因为有些算法模型对大多数人来说偏应用，你只要会用就行。但是如果要讲出来，让人听懂看懂，还真不是一回事儿。里面有很多概念，看似简单，想提一下然后就跳过去，但是到了后面再写的时候，发现之前跳过去的概念又见面了，还真绕不过去。于是我决定认真搞清楚这些概念的应用，也顺带做一个理解物理和数据分析之间的桥梁。 说到阻尼，物理学...
2020-05-18 19:25:50
1587
cockroach-docker-compose.rar
2020-07-25
ManageEngine-MibBrowser_FreeTool_64bit.zip
2019-08-18
MobaXterm_Portable_v11.7z
2019-05-31
阿里开源 注册中心 nacos
2019-01-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人