- 博客(147)
- 资源 (20)
- 收藏
- 关注
RSS订阅转载 查看 / 修改本地 Git 用户名和邮箱地址
用户名 和 邮箱地址 是本地 Git 客户端的一个变量，当你安装 Git 后首先要做的事情就是设置你的 用户名 和 邮箱地址 ，因为每次 Git 提交都会使用这个 用户名 和 邮箱地址 来记录提交信息，下面分享一下本地 Git 如何查看 / 修改 用户名 和 邮箱地址 。查看用户名和邮箱地址打开终端，分别输入以下命令即可查看 用户名 和 邮箱地址 。//查看用户名git conf...
2020-01-02 21:54:51
3053
转载 解决Charles抓取https报文乱码问题
1. 安装电脑端证书。在Help菜单下的路径，下载根证书，并且在钥匙串里设置信任此证书。2.请求手机证书。在相关的手机wifi配置pc端代理，打开Safari软件，输入图片中默认的地址chls.pro/ssl，手机会自动跳转到证书下载界面，按照提示安装即可。安装后，设置信任此证书。3.在菜单Proxy --> SSL Proxying Settings 配置环...
2019-12-08 21:41:18
2779
原创 安卓应用商店上架从入门到精通到放弃
不知道有多少安卓应用个人开发者，因为提交应用商店而放弃安卓开发的，我就快放弃了。没错，这是一篇吐槽文。 我学习安卓开发比较早了，不过工作中一直没有以安卓为主业，安卓开发都是业余时间搞搞的。想到什么好玩的，就业余时间开发一下，前些年提交应用商店还是比较简单的，那时主流的几家商店：360、安卓、安智、应用宝、豌豆荚等商店，提交应用时基本需要的内容都差不多，无非是一些应用的...
2019-12-04 15:57:32
2064
2
原创 一个通知中心中台系统设计简介
本文在介绍一个中台系统——通知中心的设计。上一篇文章《一个广告资源运营管理中台系统简介》其实已经讲了一些，关于中台这里就不在赘述了。把通知中心做成中台系统，优点显而易见，任何部门涉及发送消息相关业务时，都可以接入进来。业务部门负责发送内容的填充，通知中心负责把消息发送出去。因为要发送的消息类型很多：短信、push消息、app站内信、微信公众号推送、企业微信通知推送、邮件等等，显然这是...
2019-11-03 11:02:40
6848
1
原创 一个广告资源运营管理中台系统简介
本文起了一个稍微大的名字。又是运营管理，又是中台的。其实只是想阐述一下广告资源运营管理系统设计，但是再一想，在大公司，这样的运营管理系统其实是划分到中台范围的。随着公司逐渐发展壮大，刚开始一条业务线，也会逐渐衍生出多条业务线。一条业务线就是一个大部门，每个大部门又会有自己的技术部门。这时的公司其实会有多个同级的技术部门的，大家做着各自的业务，彼此会有交集。那么这个时候中台就出现了，中...
2019-10-31 22:18:11
3450
转载 Mysql主从同步实战
1、环境说明os:ubuntu16.04mysql:5.7.17下面的实战演练，都是基于上面的环境。当然，其他环境也大同小异。2、进入实战工具2台机器：master IP:192.168.33.22slave IP:192.168.33.33master机器上的操作1、更改配置文件我们找到文件/etc/mysql/mysql.conf.d/mysql...
2019-10-26 21:17:30
300
转载 Mysql主从同步的原理
1、什么是mysql主从同步？当master(主)库的数据发生变化的时候，变化会实时的同步到slave(从)库。2、主从同步有什么好处？ 水平扩展数据库的负载能力。 容错，高可用。Failover(失败切换)/High Availability 数据备份。 3、主从同步的原理是什么？首先我们来了解master-slave的体系结构。如下图：不管...
2019-10-26 21:15:46
594
原创 java判断字符串是否都是汉字
有时我们项目需要做实名验证，是啊，现在很多业务都要做实名认证，用户信息真是各种被获取，比如前面文章我吐槽现在很多安卓应用商店，注册开发者都要实名认证的，不仅要上传身份证正反面照片，还要上传手持身份证照片，搞得像借贷一样，也是无语。那么做实名认证时，肯定需要校验一下用户输入的姓名信息是否正确，怎么着也得先校验一下输入的姓名是否都是汉字，下面是一个用户姓名是否都为汉字的简单校验逻辑，供参...
2019-10-26 10:04:11
2824
原创 使用Spring Boot Starter实现相对安全的数据库数据源管理
现在业务开发基本都要和数据库打交道，那么第一步就是连接数据库，当然数据库连接过程有很多开源实现，我们也就不用在和底层数据库驱动打交道，更不用去手动管理连接和释放连接等等，只需一些简单配置即可。在配置数据库时，一般我们都是明文配置在工程文件中。像数据库连接池一些基础属性明文配置也就无所谓了，但是对于数据库用户名和密码如果也这样配置就会存在安全隐患。因为团队内接触过该工程的人都可以看到用...
2019-10-25 22:20:55
734
转载 Redis分布式锁的正确实现方式（Java版）
前言分布式锁一般有三种实现方式：1. 数据库乐观锁；2. 基于Redis的分布式锁；3. 基于ZooKeeper的分布式锁。本篇博客将介绍第二种方式，基于Redis实现分布式锁。虽然网上已经有各种介绍Redis分布式锁实现的博客，然而他们的实现却有着各种各样的问题，为了避免误人子弟，本篇博客将详细介绍如何正确地实现Redis分布式锁。本博客使用第三方开源组件Jedis实现Redis客户端，...
2019-10-22 22:15:52
111
原创 分布式系统及基于zookeeper的分布式锁示例
曾经和别人聊天聊到服务端和客户端技术栈差异，你说服务端有数据库，客户端也有；服务端有缓存，客户端也有；服务端有多线程、有锁，客户端也有；在技术栈上，服务端有的，客户端其实也有。但哪种是服务端有、客户端没有的呢？我想那就是分布式，客户端不管android还是ios，终究都是单机，而服务端怎么着至少也得2台机器吧，线上环境部署单点机器（不过现在云服务器貌似也挺稳定），一旦出现故障，那业务...
2019-10-09 22:56:41
213
转载 基于Zookeeper的分布式锁
实现分布式锁目前有三种流行方案，分别为基于数据库、Redis、Zookeeper的方案，其中前两种方案网络上有很多资料可以参考，本文不做展开。我们来看下使用Zookeeper如何实现分布式锁。什么是Zookeeper？Zookeeper（业界简称zk）是一种提供配置管理、分布式协同以及命名的中心化服务，这些提供的功能都是分布式系统中非常底层且必不可少的基本功能，但是如果自己实现这些功能而且...
2019-10-09 22:22:54
144
1
原创 你们真的需要微服务吗及Spring Cloud微服务框架
微服务已经火了好几年了，随便搜搜可以找到很多微服务相关的技术文章，大部分文章都在说微服务有什么什么优点，似乎是后端技术栈的标配，如果哪个公司没有采用微服务架构，似乎很low、弱爆了。对于每天都在用微服务架构、都在微服务架构下开发的人来说，越看这些文章，越觉得写这些夸大微服务文章的人其实人云亦云罢了，或者写这些文章的人其实都已经不写代码了，只是看了些资料然后就开始个人发挥。之所以这么说...
2019-09-30 23:03:43
622
原创 线上环境机器cpu持续占用高排查步骤
前段时间遇到生产环境下机器cpu持续占用很高的问题，赶紧检查近期发布情况以及代码改动，看了后发现都是些平常改动，并不会引起这么大的“动静”。那么如何排查是怎么引起的呢？谷歌百度一下，发现解决步骤如下：1. 登录线上机器，控制台输入top命令，查看各进程cpu使用情况，先定位是哪个进程出问题。比如此时发现PID为2633的Java进程占用CPU高达300%，出现故障。2. 找到...
2019-08-18 13:27:44
570
原创 java版本身份证号码校验与卫语句
最近在公司做项目时，有一个小功能点就是身份证号码校验，即判断是否是合理的身份证号码。不想重复造轮子，想着公司的一些基础组件可能有这个功能，一找还真有，原作者代码逻辑应该是正确的，但是风格有点呵呵了，各种嵌套if … else…，也不是说这样就不好，但是有更好的流程控制写法。那就是卫语句，这种写法我也是看了阿里巴巴java开发手册才知道，也推荐大家去看看。 那么什...
2019-08-10 13:32:56
296
原创 程序员的精装修粗小结
以前总觉得每周写一篇博客，是个很低的要求，这个目标很容易达成。但是现在来看，真是呵呵了，理想很丰满，现实很骨感。计划总是被各种各样的事情打乱，这就是生活吧。 从去年11月份到现在，一直在装修房子，如果从软件开发的角度看，自己同时担当了产品经理、项目经理、开发经理，房子装修什么样，什么风格，落实到细节上，墙纸什么颜色、家具什么颜色等等等，如果写出来应该是个几十页的产品文...
2019-08-05 23:01:21
243
原创 随机打乱数组及字符串后追加指定个数字符的方法
实际做业务开发时，需求是千变万化的，一个大功能点会包含很多小功能点，小功能点又会包含若干环节，具体到每个环节，代码实现上又是五花八门，这取决于程序员的编程思路和工作态度，我想不应该仅仅满足功能实现，还应该尽可能的找到最佳实践。对于最佳实践，每个人都有不同理解和定义，简洁、高效、易懂，这是我的理解。刚好最近工作中用到随机打乱数组方法和字符串追加字符方法，实现起来非常简单。对于随机打乱数...
2018-12-26 23:12:01
629
原创 《SQL必知必会——第20、21、22课：管理事物处理、使用游标、高级sql特性》
第20课 管理事物处理 使用事务处理，通过确保成批的sql操作要么完全执行，要么完全不执行，来维护数据库的完整性。假如像微博加关注这样的场景，a关注b， a增加一个关注者，b增加一个粉丝，这个过程至少需要执行两条sql语句，如果两条只有一条执行成功，显然产生了脏数据，要么a的数据不对、要么b的数据不对。要保证整个操作完整，就要用到事物，上面场景，如果某一条出错，使用事...
2018-12-20 22:37:23
249
原创 《SQL必知必会——第17、18、19课：创建和操纵表、使用视图、使用存储过程》
第17课 创建和操纵表 前面讲了那么多sql增删改查操作，一切操作都是建立在表的基础上，也就是先有一张可操作的表，建表语句也比较简单，使用create table关键字即可，如下所示：CREATE TABLE `shopping_mall_user_address` ( `id` bigint(20) unsigned NOT NULL AUTO_INCR...
2018-12-15 22:14:46
276
原创 《SQL必知必会——第14、15、16课：组合查询、插入数据、更新和删除数据》
第14课 组合查询 组合查询貌似没什么可写的，因为工作中用的不多。多数情况下，组合相同表的两个查询所完成的工作与具有多个where子句条件的一个查询所完成的工作相同，所以很多时候大家也就采用多个where子句查询了，不怎么用组合查询。下面是组合查询示例：select cust_name, cust_contact, cust_email from customer...
2018-12-09 14:02:51
610
原创 《SQL必知必会——第12、13课：联结表、创建高级联结》
两个多月没有更新博客，有时不禁问时间都去哪儿了。似乎每个周末也没有打游戏、也没有追剧消磨时光，心里倒想着过得这么休闲、悠哉，但现实却是各种压力山大，还需继续奋斗。有点跑题了，还是说说这两课要讲的内容吧。这两课的内容说简单也简单，说复杂也复杂。简单是因为，这两课讲的内容其实就是查询操作，虽说有一些新花样，但万变不离其宗。说复杂呢，因为这次查询涉及的表数量都超过2个，也就是不在一张表上折...
2018-11-18 22:00:03
304
原创 《SQL必知必会——第9、10、11课：汇总数据、分组数据、使用子查询》
第9课 汇总数据 用过excel的对这个知识点理解起来就毫不费力了，excel里面有很多统计类的汇总函数，同样sql里面也有，也就是对某些行运行聚集函数，计算并返回一个值。sql主要有以下聚集函数：avg()，count()，max()，min()，sum()，看到函数名，基本也就知道是做什么的了，比如：select avg(price) as avg_price fr...
2018-08-26 10:49:30
368
1
原创 《SQL必知必会——第6、7、8课：用通配符进行过滤、创建计算字段、使用函数处理数据》
第6课 用通配符进行过滤 什么是通配符呢？本书没有具体说，相信大家都知道什么是通配符，在接触计算机过程中，通配符的概念应该早早建立了起来。我还是查了，百度百科上这么解释：“通配符是一种特殊语句，主要有星号(*)和问号(?)，用来模糊搜索文件。当查找文件夹时，可以使用它来代替一个或多个真正字符；当不知道真正字符或者懒得输入完整名字时，常常使用通配符代替一个或多个真正的字符...
2018-08-19 12:43:34
373
原创 《SQL必知必会——第3、4、5课：排序检索数据及过滤数据》
第3课 排序检索数据 这一课主要讲order by用法，看似很简单，实际有些细节还可以说说。 order by子句的位置：在指定一条order by子句时，应该保证它是select语句中的最后一条子句，否则将会出错。 order by按多个列排序：指定列名，列名之间用逗号分开即可；除此之外，还可以按照相对位置排序，比如order by...
2018-07-28 16:50:53
343
原创 《SQL必知必会——第1、2课：sql基础概念及检索数据》
现在还会有这种想法，出于对技术的敬畏，在开始真正使用某项技术之前，都会翻翻相关书籍，潜心学习一下，然后在开始，所谓出生牛犊不怕虎，在软件开发这个行业还是不提倡，一旦乱用技术，后面的坑实在难填。代码的改动就意味着调试、测试，以及对生产环境的影响，是很花团队时间和精力的。最好就是一开始把技术用正确，后面即使有改动，也是小改动，可以很快修复。还是说说这本书《SQL必知必会》（Ben For...
2018-07-18 21:57:26
317
转载 NLP11-基于Gensim的文本相似性挖掘[LsiModel]
摘要：通过对数据的抓取，基于jieba分词，去掉停用词，运用Gensim建立词典，生成BOW语料，运行tfidf模型计算词权重，采用LsiModel进行降维，最后运用Gensim提供的MatrixSimilarity类来计算两文档的相似性【基于余弦的距离的计算】。1. 爬取数据确定一个内容主题为健康信息类, python的requests包可以对所给的信息URL进行请求并抓取，可采用beautif...
2018-07-05 21:16:17
797
转载 推荐系统技术之文本相似性计算（三）
这是第3篇：https://segmentfault.com/a/1190000005599507前面说了两篇了，分别介绍了TFIDF和向量空间的相关东西，然后介绍了主题模型，这一篇我们就来试试这两个东西。词向量就不在这篇试了，词向量和这两个关系不大，不好对比，不过我最后也给出了代码。0. 工具准备工欲善其事,必先利其器，那么我们先来利其器，这里我们使用的是python的gensim工具包，地址是...
2018-07-01 10:01:41
589
转载 推荐系统技术之文本相似性计算（二）
这是第2篇：https://segmentfault.com/a/1190000005569529上一篇中我们的小明已经中学毕业了，今天这一篇继续文本相似性的计算。首先前一篇不能解决的问题是因为我们只是机械的计算了词的向量，并没有任何上下文的关系，所以思想还停留在机器层面，还没有到更高的层次上来，正因为这样才有了自然语言处理这门课程了。今天我们稍微说说这个吧，后台留言很多朋友对这方面...
2018-07-01 09:59:49
397
转载 推荐系统技术之文本相似性计算（一）
六月就这么过去了，才写了2篇原创博客，月初时定的目标是至少4篇的，一天天也是瞎忙，有时各种琐事也搞得人很烦躁，七月争取多写几篇，流水账也没关系，只要动笔就行。前段时间看了几篇文本相似性的文章，觉得写的挺不错的，思路清晰，有理论、有实践，佩服原文作者，实际中并不一定会采用这样的相似性算法，但是很有参考价值，决定转发过来。 下面是原文地址：https://segmentfau...
2018-07-01 09:57:21
1608
原创 使用python语言编写常见的文本分类算法
自然语言处理中一个很常见的操作就是文本分类，比如一组新闻文本，通过分类模型，将新闻文本分为政治、体育、军事、娱乐、财经等等几大类。那么分类第一步就是文本向量化，前一篇博客讲了一些，本文可以说是前文的实践版本。本文主要介绍一些常见的文本分类模型，说是介绍，其实主要以代码和结果为主，并不会详细的介绍每个算法的思想、原理、推导过程等，那样的话，估计可以写一个7、8篇的系列了，另外我也发现很...
2018-06-21 22:07:20
3977
4
原创 自然语言处理中的词袋模型与文本向量化
前段时间做了一些自然语言处理方面的工作，自然语言处理不像图像处理，每个像素点都是数值，也可以看做是天然的特征，可以直接代入公式参与各种运算，但是自然语言不行，都是文字，计算机理解不了，计算机只认0/1，不认啊喔额，所以给定一段文本，若对其进行各种处理，比如通过算法自动文本分类，通常需要先把文本表达成机器可以处理的数据类型，也就是将文本中的一个个词或字转变成数字，这样机器才能进行常规的...
2018-06-04 22:15:06
3825
转载 集中式内存缓存Guava Cache学习
本文摘转自：http://www.cnblogs.com/peida/p/guava.html，还有这篇文章写的也不错：http://www.cnblogs.com/peida/p/guava.html，是一个Guava学习系列，通过这几篇文章的讲解，对Guava应该有了一个清晰的认识和了解，不过，实战中，还需多查文档，多看官方示例demo。发现拷贝过来的文章排版好垮，再加上csdn...
2018-05-26 16:15:19
1141
转载 使用缓存的9大误区（下）
本文摘转自：https://kb.cnblogs.com/page/144396/ 本篇文章在上篇的基础上继续讨论了使用缓存的几个误区，包括：缓存大量的数据集合，而读取其中一部分；缓存大量具有图结构的对象导致内存浪费；缓存应用程序的配置信息；使用很多不同的键指向相同的缓存项；没有及时的更新或者删除再缓存中已经过期或者失效的数据。 缓存大量的数据集合，而读取其中一部分 ...
2018-05-26 16:03:31
451
转载 使用缓存的9大误区（上）
本文摘转自：https://kb.cnblogs.com/page/138696/ 如果说要对一个站点或者应用程序经常优化，可以说缓存的使用是最快也是效果最明显的方式。一般而言，我们会把一些常用的，或者需要花费大量的资源或时间而产生的数据缓存起来，使得后续的使用更加快速。 如果真要细说缓存的好处，还真是不少，但是在实际的应用中，很多时候使用缓存的时候，总是那么的不尽人意...
2018-05-26 16:01:02
1018
原创 游泳健身了解一下，kotlin也了解一下
最近看了一下kotlin编程语言，第一感觉是代码里充斥着各种符号，给人一种七零八落的感觉。比如kotlin中，继承使用冒号：，这其实是c++的继承语法，而java的设计者当初可能觉得c++的继承语法太过于抽象，或者与java总体设计风格不符，而是使用extends关键字，现在绕了一圈又回去了，不知道各位语言的使用者对此有何感想？说白了，就是更简单、更省事，封装的更好，少了很多看似无用...
2018-05-20 12:14:20
355
原创 游泳健身了解一下，object-c也了解一下
本文谈不上技术文章，只是前几天看了object-c语法，其实oc语法此前看过一次，不过纸上得来终觉浅，看过后没怎么实践，后来也就忘得差不多了。这次又看了一下，然后随便写几句吧。如果单纯有java基础，看oc会觉得有好多弯要转。如果有c/c++基础，看oc会稍微好一些，毕竟oc是c的超集，属于c大本营内一员，当然，在这个大本营，oc是自成一派的。我想因为是c大本营的语言，所以ios系统...
2018-05-16 22:37:27
387
原创 使用MQL语言获取mt4行情并保存至本地
在使用mt4看行情时，如何把行情也保存至本地呢？需要使用mql编程语言，该语言主要用于编写交易策略，实现自动化交易，说白了就是使用该语言编写脚本，然后满足一定条件就开始交易，所谓程序化、自动化、智能化交易。
2018-04-22 14:34:22
4029
1
原创 曲线实现hive行级更新操作
最近做了一点数据分析的工作，比如分析用户留存率，但是留存率需要先自己统计和计算，用的是公司内部的大数据平台。有时真觉得所谓大数据，数据量上去了，但是质量未必上去，比如前几天我分析的移动应用内埋点数据，数据量可谓超大，但是很多埋点其实是完全无意义的，埋点的初衷是为了分析应用内各个页面、按钮等点击访问情况，但是无的放矢的埋点，导致很多埋点根本不会去分析，这样将产生大量冗余数据，这样的大数...
2018-04-14 19:01:29
1599
原创 谁说菜鸟不会数据分析
前几天部门主管推荐下买了本《谁说菜鸟不会数据分析》，这本书在数据分析领域还是挺有名气的。以前大数据这个词应该仅限专业领域被引用，记得以前接触过气象数据，有些气象数据是自上世纪90年代开始积累的温度、压强、湿度、风向、风速等数据，各个观测站经年累月的连续积累，汇总在一起，数据量可想而知。随着互联网的兴起，大数据这个词慢慢的飞向了寻常百姓家，经常被很多新闻媒体在报道中引用，经常被大家所谈...
2018-03-20 21:58:35
2682
1
原创 使用fastText进行文本分类及源码分析时的一点感受
最近工作涉及到文本分类问题，就尝试用了一下fastText库，fastText是facebook开源的一个词向量计算以及文本分类工具库，准确率比肩深度学习。如其名，fastText在训练时贼快，这也是该库最大的优势，相比cnn动辄几小时、十几小时的漫长训练过程，fastText只需几分钟就训练完成。
2017-12-02 19:58:34
9082
1
使用多线程及图像分块实现图像处理加速运算
2017-05-02
图像处理中使用多线程及图像分块实现加速运算
2017-05-02
基于优化对比度增强的图像去雾算法
2017-03-10
高质量的c++随机数生成方法
2017-01-15
android gif图片动画播放功能
2015-10-05
实现android文字描边功能
2015-10-03
android环境下摄像头数据采集及显示
2015-05-01
基于android平台高仿微信5.3主界面
2014-08-30
基于ffmpeg的windows c++程序
2014-05-31
矢量场可视化实验数据
2014-03-15
使用颜色转换算法实现图像调色
2014-01-02
使用颜色分布法计算图像相似度
2013-12-28
基于直方图比较的图像相似度计算
2013-12-26
大津法计算图像阈值
2013-12-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人