- 博客(45)
- 收藏
- 关注
RSS订阅原创 STOP LEARNING FRAMEWORKS
原文：https://sizovs.net/2018/12/17/stop-learning-frameworks/非常喜欢这句话 80%的复用，20%的创新把你的时间放到80%的原理上，少部分放到20%的创新上Microservices frameworks Evolutionary Architecture微服务框架 ，更加关注框架演化本身New programming language Clean Code, Design Patterns, DDD新的语言go，python，更加
2020-10-09 19:36:12
217
原创 mysql/redis/habase/mongodb/es数据库杂谈
嗷嗷嗷嗷，保持思考，保持智障。哈哈哈。用的越多，越感觉自己是智障。尤其是是什么，为什么，怎么办，一套三连下来，真的是哑口无言。使用数据库，一直存在一个问题就是，一张表的数据量是要在多少以内。按照组内经验主义就是，sqlsever几千万都没问题，join很快。mysql就不行了。阿里是建议五百万左右吧，公司内部是一千万左右。不能超过2表join（这个更多是设计的问题，舍得放空间我觉得问题会好很多。像sqlsver，那个节点连接图，真的看的头晕，还是mysql相对简洁很多，更多从架构的角...
2020-10-01 22:39:46
258
原创 redis sds结构的一点思考
嗷嗷嗷嗷，保持思考，保持智障。哈哈哈。redis 结构很多，但是最基础的是简单字符串，然后redis里面叫做SDS。从Java的角度看这个事情超级简单。还需要设计吗？不就是多了一个类吗？有自己的length。可以自动扩展，这在我们java里面不是so easy的事情吗？学习是螺旋式上升。其实这个角度不对。你以前看问题是直接从一个java去设计程序，java，去设计程序有一个很大的问题是在于有JVM，JVM很大程度上让程序猿感受不到里面的思想。OK，假如没有JVM，数组方式非常原...
2020-09-28 23:06:57
214
原创 杂记-08-26
以前觉得，一定要写出有质量，有干货的文章才能写，但是自己转念一想，我又不是啥大佬，还要有什么大佬包袱。简直扯淡，从今以后，我想写啥就写啥。今天是七夕，单身的生活真的难受，从个人的理念来讲，但是反过来从投资的角度来说，每次七夕或者每个节日都可以去引爆热点，提升关注度，拉升一波股价，进而噶韭菜。这次疫情不知道噶谁了。再进一步的讲背后的热点，是不是可以通过技术去捕捉了，然后进行一次提前埋伏。技术人员讲的是，如何抓取数据，然后分析特征投资人员讲的是，怎么抓住热点，进而引导热点普通人讲的是，享受生活祝福
2020-08-26 00:19:34
186
原创 Tensorflow LMST预测股票
这个是我一直想做的。其实去年我就开始学习了，可惜意志力不坚定。学理论总是学不完。TS的demo，我其实都跑了蛮多遍了，官方文档也是。但是总是做到自己去预测那一步。然后最近，我改变了策略。开始看那种偏向于实战性的视频。强烈推荐 北大的ts笔记棒呆了。完美符合我的预期。本来是我是去啃youtube的版本的。不过这个，真的是棒呆了。基础理论虽然很多不懂，但是大致的思路出来了。--------我是有趣的分割线--------------------------------------其实TS做预
2020-06-14 23:40:12
816
原创 elasticsearch 插入源码分析 以及一点思考
官方API:https://www.elastic.co/guide/en/elasticsearch/client/java-rest/current/java-rest-high-document-bulk.html之前和ES support的小伙伴说是我现在就是异步的，会自动进行大小验证，数量验证，然后进行数据提交，而不是同步的。之前因为忙，一直没调研。后面有时间就调研了一下，果然这位同学，看错了。es rest client 现在bulk api，默认是同步的，而不是异步的。bulksync才
2020-05-26 19:02:17
1559
原创 查服的一点琐碎思考
1.对于性能的要求减少几百毫秒的时候你思考的不仅仅是新的技术框架，而是也要深入代码的业务逻辑。比如一个循环，O(n2）,那么能不能O（n），因为当你几条数据o(n),o(n2)差别不大，但是几百条，几千条，可能就有几十毫秒的差别，几十毫秒在99。9%的时间都无所谓。但是对于你要提升那几百毫秒，真的是天降甘露。2.几百毫秒，那么序列化，反序列化。网络请求时间。聚合怎么做更加合理。3.更换技术...
2020-03-21 00:25:49
123
原创 以前的写的一次关于对迅雷玩客云的一个分享PPT
当时太年轻了。哈哈哈哈。今天突然看CDN，想起来了。文档：玩客云.note链接：http://note.youdao.com/noteshare?id=c0f223dc6e6a817da2f3cf6e5ad007bd&sub=80D19D99A56D41E4B8DF8B7BDA37AD38...
2020-03-15 22:54:56
223
原创 压抑与进步
最近一直很忙，感觉压力很大。我要随便写写缓解压力。代码反复重构，然后又要忙着做查服性能优化。并且要准备参加一个考试，非常的烦恼。给我非常大的压抑。想想具体有什么了，第一个是代码重构，重构代码，很久之前就逐渐对于代码的重构热度不高了，因为都知道优秀的代码可以保持好的扩展性，维护性，健壮性。但是没人关注。所以逐渐放下，现在又开始重新拿起。第一次是我是有点反感的。因为非常多的任务,dead li...
2020-03-15 22:07:03
135
原创 关于技术的一点反思
组织架构的调整，导致新的领导过来，有新的要求。然后发现，新的一套虽然有点多，但是其中核心还是阿里标准规范那一套，还有TTD为核心的一套。其实很久之前我就进行过使用，并且学习。然后因为领导不重视这一块，然后逐步改为了高速迭代。质量放松下去了。其实现在看自己的代码，发现差了很多了。基础不能不牢靠啊。看代码，发现自己对于整体的代码结构虽然更容易理解，但是整体的结构并没有本质的提升。还是要保持阅...
2020-02-12 23:25:44
269
原创 JVM GC的一些思考
GC是一个老生常谈的问题，但是从现在的开发角度看GC带来的意义是什么，是硬件的上限难以提高，从软件的角度上，来提高硬件的使用率JVM的GC其实一直都是在内存的整理效果和GC造成的CPU时间损失中博弈。所以带来了不同的GC收集器年轻代：Serial收集器...
2020-02-03 23:48:18
126
原创 jvm内存溢出的一些思考
去参加了一次5天的windows kernal dump培训，虽然从技术上看收获不大，但是在其中对我分析问题尤其是从jvm的角度看问题起到了蛮大的启发作用，写一个自己的重新认知。想到以前被有的同学批判了一下实战太少，所以还是要自己撸代码看。内存溢出，是一个老生常谈的问题，但是大部分的程序员遇到较少，这就要归功于jvm同学了，尤其是回收机制的更新的真的快。内存溢出显示到外部肯定是有一个表象。对...
2020-02-03 00:07:04
566
原创 Redis集群概念和结构概念
Redis是非关系型数据库，使用key value结构做存储redis支持了string,list,hash,set,zset5种类型。以下是一些基础结构1.string结构SDS结构，线程安全，防止溢出，惰性空间释放2.list结构双端，无环3.dictionary结构hash表实现，可以参考hashmap的实现渐进rehash,新建B，然后后续使用的时候，慢慢从A->B...
2020-01-26 23:01:50
136
原创 spring-事务阅读笔记
事务我得关注点在于什么时候给这个方法加入事务我们调用方法的时候，是怎么样确认调用事务的我这里有一个demo的xml，使用Jdbc template<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.sprin
2020-01-04 14:45:57
108
原创 携程商旅酒店直连平台的实践（一）
现在才发现，离我上一篇博文竟然接近1年没有发过东西了。惊呆了我。我要每周都写了，就算不写技术也要写其他东西，不然真的是思考的多，没有留下记录都是空白。在携程商旅主要做酒店直连这一块。商旅酒店其实架构都很老，并且实践的技术很多不是很新。但是抗住了之前的压力，但是开始做直连之后就显得比较不行了。之前商旅的酒店类型区分为如下1.OTA酒店2.单体酒店3.非直连套系酒店4.直连套系酒店区...
2019-12-22 19:40:46
3721
原创 怎么判断mysql是否性能足够的一点理解
最近一个服务很慢，导致我各种排查问题，排查的时候，考虑到是不是mysql压力过大，但是这块业务的数据库是部署在AWS，运维同学反馈是看不到服务器相关信息，非常无语。但是引发了我一个思考，什么是数据库性能。之前在QCON上面听腾讯的某个部门演讲，关于他们的服务器利用率非常高，比其他部门高50%还是多少。他们就是考虑CPU密集业务，IO密集业务来提高服务器性能利用率，可惜讲的很简单，粗略一讲就过去了...
2019-01-21 20:23:42
750
原创 spring5.0源码-AOP源码阅读笔记
上节 阅读完基础的bean加载之后，关注点转到了，AOP为Aspect OrientedProgramming的缩写，意为：面向切面编程，通过预编译方式和运行期动态代理实现程序功能的统一维护的一种技术。AOP是OOP的延续，是软件开发中的一个热点，也是Spring框架中的一个重要内容，是函数式编程的一种衍生范型。利用AOP可以对业务逻辑的各个部分进行隔离，从而使得业务逻辑各部分之间的耦合度降...
2018-12-23 23:03:00
655
原创 spring5.0源码-容器源码阅读笔记
Spring 版本 分支5.0.x Spring git地址代码运行说明git clone [email protected]:spring-projects/spring-framework.gitcd spring-frameworkgradlew.bat build读head first，讲述如何更好的去提高效率，通过交互来提高，来引导整个流程，我也仿制一下1.Spring...
2018-12-19 00:09:40
243
原创 微信小程序第三方平台开发流程以及改善
下图是一个基础流程写出业务没问题，其实业务在99%的时间都是ok的，但就是那1%的错误非常的关键非常需要关注的点是authoization_code的刷新，因为它的过期时间是1个小时，不刷新会导致接口重复调用次数过多，并且大并发的情况下，缓存穿透会导致很多问题。解决方案有一个专门监听redis过期通知的项目，然后将通知放到队列中，最后放到kafka队列中去处理。因为是1个小时过期，那么我...
2018-09-26 21:43:41
2153
原创 python，爬虫爬取网页的图片，基础改善版
突然发现样式太坑，还要爬取在css里面，写了个基础的，解决下朋友的问题import stringimport urllib.requestimport reimport osimport urllib# 根据给定的网址来获取网页详细信息，得到的html就是网页的源代码import requestsimport timeimport soupfrom PIL import...
2018-09-03 08:51:21
193
原创 9大常见算法
一篇稳定和非稳定文章 https://blog.csdn.net/yangnianjinxin/article/details/77918882public class sjms { public static void main(String[] args) { int[] nums = new int[]{5, 4, 10, 24, 8, 12, 34, ...
2018-08-05 22:30:57
1644
原创 java不同的引用类型，使用情况详细代码说明
之前关于这个，看了一些文章，但是总是觉得讲的不够清晰，自己都实践了很多次，才反映出来，其中暴漏出了自己很多不足，GC命令不熟悉，导致我测试了很久一直不触发，软引用的GC。本来代码里面留了很多不同的类型，不过感觉看起来还是太麻烦了，直接删除了 额外提示几句，static是方法区分配内存的。设置JVM堆大小不要设置大了，我这里是12M,64位机器上应该都没问题，32位我没测试用自己的话描...
2018-07-30 22:40:26
1104
转载 JAVA中的锁
在学习或者使用Java的过程中进程会遇到各种各样的锁的概念：公平锁、非公平锁、自旋锁、可重入锁、偏向锁、轻量级锁、重量级锁、读写锁、互斥锁等待。这里整理了Java中的各种锁，若有不足之处希望大家在下方留言探讨。公平锁和非公平锁 公平锁是指多个线程在等待同一个锁时，必须按照申请锁的先后顺序来一次获得锁。公平锁的好处是等待锁的线程不会饿死，但是整体效率相对低一些；非公平锁的好处是整体效率相对...
2018-07-22 23:58:41
125
原创 web开发安全性的一些思考
作WEB开发的时候，很少对深层次的安全性进行考虑，国内现在的氛围也不是太好，读书的时候总是会逛乌云，后面工作一直也没怎么考虑，都是依靠框架去解决问题。但是由于安全部门对我们的网站检测比较多，虽然都是脚本检测的，但是依旧闹出了很多事情，需要处理 处理的办法，脚本扫描一般都是扫描框架漏洞，或者字符串，还有xml包处理的一些问题。处理起来并不复杂，通常是升级，加过滤，加判断。这些脚本都能通过。 ...
2018-07-09 00:21:13
297
原创 后端的角度看前端REACT/VUE
随着公司的开发任务的需要，我已经把REACT,VUE这两种前端技术已经使用了一遍，尤其是vue较为深入（疯狂加班，代码重构了N次，特性全部走了一遍），相比于jsp,freemarke,velocity这种前端技术，给我是完全不同的感受。 我刚接触angular.js的时，是直接引用JS，用CDN，然后用起来，并没有想象中的好用，虽然也是mvvm的框架了，但是感受并不深刻，代码类似以下&l...
2018-07-01 21:48:10
1024
原创 23种设计模式图片以及设计模式六大原则
设计模式六大原则：单一职责原则的英文名称是Single Responsibility Principle，简称是SRP。 There should never be more than one reason for a class to change.里氏替换原则 If for each object o1 of type S there is an object o2 of type T
2017-12-24 19:15:47
1324
原创 绕过微信客户端授权，获取网页源码
首先有人写出来一个比较不错的例子，我先贴出来 http://chitanda.me/2015/06/29/debug-wechat-website-in-pc/ 本来想直接链接文字的，结果发现MarkDown这种模式没找到 但是别人讲的情况都是非常基础的情况，现在的套路深似海，以及有一种及其坑爹的情况解析。 先把最简单的情况说明就是check了user-agent,那么去模拟一个就行了，常用的头
2017-10-27 23:46:43
25460
1
原创 阿里云通过nginx,docker完美搭建Ngrok服务器（http,https）
阿里云服务通过docker,ngnix完美搭建Ngrok服务器
2017-09-24 20:56:08
3935
1
原创 微信免充值服务验证
具体实现代码，工具类就懒得贴出来了，调用下自己的就行了，主要是几种价格，价格一定要正确，如果价格不正确校验是不通过的 package wx;import com.derbysoft.easygo.utils.*;import java.util.Date;import java.util.HashMap;import java.util.UUID;/** * Create
2017-09-24 19:58:55
1222
原创 EXCEL大数据导出（100W条）
EXCEL导出，如果说上了数十万条，那么走内存直接一次性导出相当的困难，我本地的内存调的相对较小，所以大概5-6万条就不行了，我在createCell加了一个输出语句，循环到5-6万条，就会非常非常慢，每次createCell一次，需要5-10S，后面会越来越慢。解决这种事情，一般的解决思路是，每次到一定量的数据就输出到一个文件，最后汇总成一个文件。POI提供了SXSSFWorkbook，判断一下
2017-03-26 20:31:45
9800
原创 活跃度的爬虫开发（一）
爬虫最简单的实现就是一个http连接request,然后解析resposne，最后根据样式或者什么规则，进行匹配，然后提取信息，判断是否链接其他页面爬取信息。 我在GIT上面在写了一个关于通过关键字查活跃度，暂时在优化中，暂时支持CMD查询。 GIT地址是 https://github.com/hzm1313/tz 基础实现 publi
2017-03-24 10:55:39
383
原创 Oracle SQL优化初解
SQL这个语言发现越写是发现是越有意思，比如说公司有大牛能把跑快一天的报表优化到半个小时，能把一分钟的报表优化到1秒，都感觉自己用的是假的SQL。当然虽然这些大牛没有太多共事，但是也学习到许多SQL知识。 设计数据库，需要的是3大范式 1.无重复列，2.依靠主键，不能多主键，3.数据列信息不要重复存储 3大范式中第3个造成数据冗余其实看情况是可以接受的,因为一定量的数据冗余可以
2017-03-24 10:45:21
225
原创 线程的一些杂记
线程这个东西只有实践才能出真知，工作上需求少，但是业余还是要偶尔锻炼下的，有意思的题目就放在这里，然后实现下子线程循环 10 次，接着主线程循环 100 次，接着又回到子线程循环 10 次，接着再回到主线程又循环 100 次，如此循环50次，试写出代码。用锁的概念实现才是正理，注意object这个静态变量，这个样子写，可以很清晰的synchronized,wait,notify的关系
2017-03-24 09:10:11
188
原创 Spring boot WAR包部
Spring boot用自带的run方法进行部署，很方便，但是现在用ECLIPSE更习惯，百度上面的很多文章，我看的头疼，基本上都一个样，并且还有冲突的，然后跑到官方文档，翻了了半天才翻到，并且有一个问题，部署上去了，访问方法访问不到 官方文档上面关于传统WAR包部署是很简单的 1.继承一个SpringBoot的一个父类，同时重写configure 方法@Spring
2017-03-13 20:36:51
411
原创 负载均衡NGINX+redis实现SESSION共享
网上的例子，没搜索到JAVA的，看到C#什么的，感觉挺奇怪的，就正好自己借助别人的思路用JAVA实现 SESSION共享实现的方法，我选择了COOKIE，当然其他方法比如说，中间服务器，或者制定一个SESSION规则，将哪个SEESION分配到哪个服务器。选择COOKIE实现，最主要是方便，同时也有我现在做的是ERP系统，对于并发没有太多要求。 NGINX的负载均衡，去官网http
2016-12-11 19:39:36
4533
原创 EXCEL大批量导入2007版本的实现（100W可执行）
很久很久没写博客了，工作了感觉纯理论水平竟然直线下滑，现在重新开始了 这个版本的代码是网上的，但是有BUG，空格之类的BUG，测出来的时候一脸懵逼，然后修改成为了一个可以处理2007，90W的数据量是没问题的，我测试过，不会有BUG的实现了，其实最好去POI的官网去，官网上面有很多INSTANCE，方便记忆我也把网址贴出来https://poi.apache.org/spreadshe
2016-11-15 17:04:02
1460
2
原创 分析dz 7.2 漏洞
作为小白，自学时一件比较头痛的事，最主要是看到一个漏洞你要去分析，和要有对应环境去尝试。。。我这里就完全搭建一次环境，并且最后会提到去发现漏洞网站的方法。 第一步我们要去下载DZ7.2和UCENTERDZ7.2 http://www.comsenz.com/downloads/install/discuz#down_openucenter(一个管
2014-07-12 13:23:10
1166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人