- 博客(36)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Linux下载代码库CSV文件换行符直接由\r\n会变成\n
问题背景：在windows下更新git，下载代码库的CSV文件能正常通过界面导入，但是在Linux环境下导出CSV模板文件修改再导入报文件为空，无法导入。定位分析：原以为在构建版本时可能导致文件格式变化，如JS混淆等，但经过各种屏蔽，竟然发现是git checkout .导致文件换行符变化。顺着这个思路考虑，觉得只有可能跟操作系统相关。分析代码，发现解析文件是通过\r\n去截取行，但是Linux下CSV文件换行符就会自动变成了\n。在windows环境下通过记事本打开Linux环境上下载的模板，所有文字会变
2020-06-17 14:26:07
1235
原创 如何成为一个有趣的人--读书有感
这本书本来不在我的书架里面的，我一向对这种说教类的书籍不太感兴趣，更何况潜意识里面就认为人的有趣是由成长环境、性格、学识等多因子促成的，哪是一本书就能轻易改变，小心画虎不成反类犬。但是看到好友中很多人看了这本书，是大家认为自己需要变得有趣，想学习还是这本书确实讲的有道理，激起了我的好奇，花了大概3个多小时就在微信读书上看完了。很轻松讲故事一样，娓娓道来，大部分是当前社会例子和发表观点话语，很接地气...
2020-05-24 08:33:51
318
原创 Akka默认20s超时修改配置
问题现象：项目中调用第三方rest接口，耗时超过20s，连续请求5次，然后报超时失败定位分析： 我scala代码中默认是5分钟超时失败，也没有设置循环调用的地方，搜索了所有相关代码和环境配置都没有20s配置的地方，百思不得其解。通过查找资料发现，我们是通过spray框架对外提供rest接口和访问外部信息。而akka有一套比较完善的超时机制设置，具体见文档说明https://doc.akka.io/docs/akka-http/current/common/timeouts.html于是，在akka.c
2020-05-18 12:28:04
1251
原创 5G+如何改变社会--读书有感
5G市场已经被炒作好几年了，身为设备商行业，每天多多少少的耳濡目染感受其变化，周围的同事也如火如荼的学习相关知识和培训。但因为我的工作和5G业务相关度实在很低，所以也没有特意去学习。某次偶然翻阅内网，看到一位领导的5星书籍推荐，引起了我的好奇，就默默的在微信读书的书架里加上了。看了大概两周终于将书基本看完，个人感觉写的比较全面，可以做为5G知识的入门篇。书中分析对各行各业的影响，在脑海中想象画面，...
2020-04-25 16:55:30
6159
1
原创 Angular2在linux环境上编译报内存不足等问题
问题描述：1、linux下sh node_modules/.bin/ng build -aot -sm -prod --base-href=“”报内存不足2、解决内存不足后，编译继续报错定位分析：问题1：Node内存不足所导致的， Node是基于V8引擎，在Node中通过 JavaScript 使用内存时只能使用部分内存（64位系统下约为1.4 GB，32位系统下约为0....
2020-04-20 18:58:38
430
原创 面试官感悟
其实之前也面试过几个人，但都是零星的跟着别人一起，我也只是偶尔询问一两句就结束了。昨天这是一场真正的大型招聘会，而且面试也是相当规范，面对的还是社招。对于我这种初出茅庐来说，这是第一次真正接触参与的一场招聘会，想起要面那些比自己工作年限还长的人，心里很没底，有点小担心和紧张的。当然一整天下来也算体验了一把让人难以忘怀的面试官感觉，让我感触最深的三点如下：1、台上一分钟，台下十年功。举办一场...
2019-10-13 12:33:28
292
原创 我的搭档我的团
-序言-这篇文章其实去年就用手机写好了，但是因为电脑出了问题再加上心情不太好，所以一直没放到网上来。我印象中，是熬了两个晚上才写完的，每次写到一半就写不下去了，想放弃时但又觉得该纪念些什么，继续接着往下写。那段时间天天失眠，想着想着就泪流不断，心情跌落到尘埃，觉得整个世界都在针对我，感觉自己突然没了依靠。-1-一年一度的巴菲特股东大会5月5日在奥马哈如期举行，当我看到88岁的巴菲特和9...
2019-10-13 12:29:24
124
原创 Elasticsearch生命周期
项目中需要对Elasticsearch中的数据进行定时清理，经过网上资料搜索和部分实践，对于ES的生命周期发展历程，进行了大致整理，仅供参考。1、ES5.0以前的版本可以通过设置ttl处理：https://www.elastic.co/guide/en/elasticsearch/reference/1.7/mapping-ttl-field.html...
2019-10-13 12:19:44
235
原创 Web Service服务器和客户端实现
一、概念定义Web Service是一个平台独立的，低耦合的，自包含的、基于可编程的web应用程序，可使用开放的XML标准来描述、发布、发现、协调和配置这些应用程序，用于开发分布式的互操作的应用程序。简单对象访问协议（Simple Object Access Protocol，SOAP）是一种基于 XML 的协议，可以和现存的许多因特网协议和格式结合使用，包括HTTP，SMTP，MIME，...
2019-10-13 12:12:43
829
原创 第一次与客户需求交流点滴
已经很久没写博客了，今天偶尔想起来，再来翻翻。看到自己两年前写的文章，仍然历历在目，感慨良多。虽然现在见客户已经是家常便饭的事情，不再畏首畏尾，也将本文原来的私密属性改成公开，算是见证一下自己的成长。--------------------------------------------------------------------------------------------------...
2019-10-13 11:52:41
196
原创 多个Gbase集群间表同步思路
背景：项目中存在多个不同子系统，每个子系统都拥有一套gbase集群，而有些表是各个子系统间公用的，如果各子系统只在自己的Gbase集群中更新公共配置，就会导致各子系统配置数据不一致，进而影响整个系统的功能功能，所以需要有一个框架来定时同步各子系统的配置数据。问题：如何判断表变更？进行表同步时，考虑版本不同可能存在表结构差异，如何保证同步时让业务影响最小？思路：1、gbase提供集群间同步工...
2019-04-30 19:58:15
1147
原创 url中包含中文处理
问题：项目中测试建了一个池名称为“山东#青岛”，通过url传递参数到后台直接就报错，原因是#把后面的字符链接给截断了，通过对#转义后在chrome和firefox浏览器可以正常传递使用，但是在IE浏览器下还是歇菜。虽然创建这样的名字很不合理，但确实是个bug，特别对于通过用户配置的参数，中文和转义字符很容易出现请求的url中。解决方法：经过验证，采用 encodeURIComponent()可...
2019-04-15 22:15:12
5319
1
原创 Nginx安装配置高可用
一、概述Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like 协议下发行。其特点是占有内存少，并发能力强，事实上Nginx的并发能力确实在同类型的网页服务器中表现较好，中国使用Nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。Nginx采用C进行编写，能够支持高达 50,000 个并发连接数的响应，使用了epoll...
2019-04-14 23:12:16
269
原创 IE11浏览器下cytoscape.js请求图片不显示
现象：项目中使用angularjs2+cytoscape.js绘制网络拓扑图，其中节点背景使用了图片显示，在windows环境下调测，所有浏览器都正常显示，但是一放到Linux环境服务器上，IE11浏览器下访问无法显示，其他浏览器正常。问题：通过对cytoscape.js源码打印发现请求图片是通过<img crossorigin="anonymous" src="assets/imgs/...
2019-03-27 22:21:52
916
1
原创 MySQL性能分析方法
1、慢查询SQL排查1）、开启慢查询日志，可以让MySQL记录下查询超过指定时间的语句，通过定位分析性能的瓶颈，才能更好的优化数据库系统的性能。2）、参数说明：slow_query_log 慢查询开启状态slow_query_log_file 慢查询日志存放的位置（这个目录需要MySQL运行帐号的可写权限，一般设置为MySQL的数据存放目录）long_query_time 查询超过...
2019-03-20 19:23:09
300
原创 MySQL主从复制
1、概念数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。MySQL 默认采用异步复制方式，这样从节点不用一直访问主服务器来更新自己的数据，数据的更新可以在远程连接上进行，从节点可以复制主数据库中的所有数据库或者特定的数据库，或者特定的表。2、作用1）读写分离在开发工作中，有时候会遇见某个sql 语句需要锁表，导致暂时不能使用读的服务，这样就会影响现有业务，使用主从复制，让主...
2019-03-14 22:56:17
274
原创 MySQL锁机制
1、概念锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中，除传统的 计算资源（如CPU、RAM、I/O等）的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一 个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。按操作类型分类：读锁（共享锁，对于多个读操作可以同时进行，互不干扰），写锁（互斥锁，如果当前写操作没有完成，...
2019-03-13 23:34:26
210
原创 MySQL性能优化之explain分析
MySQL 提供了explain 命令， 它可以对 SELECT 语句进行分析，并输出 SELECT 执行的详细信息， 以供开发人员针对性优化。深入了解MySQL基于开销的优化器，可以获得很多可能被优化器考虑到的访问策略的细节，以及当运行SQL语句时哪种策略预计会被优化器采用。explain命令用法十分简单, 在 SELECT 语句前加上explain就可以了。mysql> explai...
2019-03-13 20:52:05
409
2
原创 MySQL索引原理及SQL优化
一、索引定义索引是一种高效获取数据的存储结构，是一个排序的列表，在这个列表中存储着索引的值和包含这个值的数据所在行的物理地址。在数据十分庞大的时候，索引可以大大加快查询的速度，这是因为使用索引后可以不用扫描全表来定位某行的数据，而是先通过索引表找到该行数据对应的物理地址然后访问相应的数据。优势：提高查询效率，降低I/O次数；降低CPU使用率，B树本身就是一个排好序的结构，根据索引可以加快分...
2019-03-11 08:32:44
204
原创 MySQL存储引擎
和其它数据库相比，MySQL有点与众不同，它的架构可以在多种不同场景中应用并发挥良好作用。主要体现在存储引擎的架构上，插件式的存储引擎架构将查询处理和其它的系统任务以及数据的存储提取相分离。这种架构可以根据业务的需求和实际需要选择合适的存储引擎。一、逻辑架构连接层 ：是一些客户端和连接服务，包含本地socket通信和大多数基于客户端/服务端工具实现的类似于tcp/ip的通信。主要完成一...
2019-03-04 22:42:35
289
原创 SM敏捷实践经验总结
部门开展敏捷已经三年有余，我是作为最早一批敏捷实践者，曾经也连续当了两年的SM。期间部门组织过大量的敏捷培训，也专门学习出差到各地的敏捷会议，看了不少相关书籍，对敏捷内容不说熟练，但也是相对比较了解的。也正是因为这场轰轰烈烈的敏捷让我开阔了眼界，增长了格局，影响了我的方方面面。虽然现在已转做BA，在整理资料时t突然发现两年前的敏捷经验总结，呵呵，都不记得是在什么情况下写的，但现在看看还是颇感意外，...
2019-02-28 23:40:57
14647
原创 Linux下MySQL安装部署
一、版本下载路径：https://www.mysql.com/downloads/，选择最下方的下载链接进入目前已经到8.0.15版本了，但是在公司里大部分都使用5.x版本，从5.4以后MySQL整合了三方公司的新存储引擎，推荐使用5.5或5.7，这里以5.5版本为例。linux下安装MySQL有三种方式yum、tar.gz、rpm，这里选择rpm方式安装。查看linux系统是3...
2019-02-28 22:16:31
1351
原创 HTTPS原理及实现
HTTP 是一种超文本传输协议，它是无状态的、简单快速的、基于 TCP 的可靠传输协议。 HTTP 使用明文传输，由此造成了很大的安全隐患。在网络传输过程中，只要数据包被人截获，截获人可以直接解析出数据包内的信息，从而导致重要信息（如：账号、密码）泄露，造成重大损失。由于HTTP协议存在安全风险，WebInspect安全扫描工具对统一门户、监控等web界面进行安全扫描时，会提示风险为High的“I...
2019-01-15 22:32:31
1113
原创 IPv6应用
国家要求2018年底一部分地区可以用上IPv6，到2020年，基本普及IPv6，到2025年，全面支持IPv6。一、IPv6与IPv4的区别主要有以下几点：1.IPv6的地址空间更大。IPv4中规定IP地址长度为32,即有2^32-1个地址；而IPv6中IP地址的长度为128,即有2^128-1个地址。夸张点说就是，如果IPV6被广泛应用以后，全世界的每一粒沙子都会有相对应的一个IP地址。2....
2019-01-15 22:31:17
7492
原创 Linux下ELK6.2.3日志分析平台搭建
官网下载地址：https://www.elastic.co/downloadsELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库...
2019-01-15 22:30:25
431
原创 java实现socket消息头码流方式
最近项目上要求实现与第三方平台进行socket通信，因为第一次接触，客户也只提供了协议接口文档，没有样例说明，很是迷惑。网上搜索了不少资料，关于socket如何建立连接的不少，但是具体关于消息头通过码流方式发送，特别是使用java语言的少之又少，在同事的帮助下，最终得以实现，遂记录之。接口描述：消息数据由消息头和消息体组成。消息头由9个字节（byte）表示，消息体长度不固定，各类消息不同。消息...
2019-01-15 21:54:57
4443
1
原创 Linux服务器不启动X11支持无界面运行
项目中使用了java的swing画拓扑图导出功能，但发现会报如下错误：经定位发现，该错误是因为没有设置DISPLAY值导致，使用export DISPLAY=:0即可解决。再经过进一步分析发现关闭X11，会导致整个拓扑图导出功能失败，原因是使用了Jframe对象依赖X11的输出。但在实际项目中生成环境服务器是一般不建议开启X11的，所以必须找到替代方法，经过验证，发现使用Xvfb，即可...
2019-01-11 08:27:26
5363
原创 解决JAR包冲突问题
最近因为项目大版本调整，各个模块需要进行适配验证。而我负责的模块啥都没有修改，居然跑不起来，感觉很是纳闷。于是不断的打断点调测，发现在本地运行一切正常，但是一到环境中就出问题，关键还没有错误日志打出，很是迷惑。迫不得已情况下只能慢慢加打印，看具体问题出在哪个步骤。终于皇天不负有心人，在耗时半天，尝试变换加了不下10次打印信息，在调用一个jar包方法时，程序跑飞了。可调用的jar包，我明明有的，而且...
2018-12-31 23:00:57
1233
原创 Mysql插入重复行数据处理方法
1、需求在mysql更新数据时，我们经常希望如果数据库中存在该条记录，就只对其更新相关字段属性（如时间）或者不做处理，如果不存在记录就直接插入。2、常规思维通过查询是否包含该条记录，存在则更新否则就插入该方法需要每条查询判断然后再更新或插入执行sql性能很低，容易造成阻塞。3、mysql处理方法以下方法同时也支持批量处理：1）对于主键和唯一索引，可以用IGNORE关键字，遇到重复...
2018-09-28 09:49:48
2516
原创 IntelliJ IDEA、Eclipse配置MAVEN
一、MAVEN安装1、官网下载MAVEN：http://maven.apache.org/download.cgi2、选择版本下载；3、解压下载的Maven压缩包，注意不要解压到中文路径下；4、配置Maven本地仓库路径。进入解压路径，找到配置文件settings.xml，比如：C:\apache-maven-3.5.4\conf\settings.xml增加一个本...
2018-08-17 23:22:37
247
原创 JS的toFixed方法问题
问题：公式中，输入端口利用率 = （输入总流量/带宽）*100，而在前端计算时，输入总流量为726Mbps，带宽为10GE，于是端口利用率计算为(726/(1024*10)).toFixed(2）*100，结果却是7.000000000000001，完全跟预期的不一样，但是其他的数据相同的方法却是整数，百思不得其解。方法：经过查询各种资料，最后找到方法改成((100*726)/(1024*10...
2018-07-29 17:59:19
1808
1
原创 jTopo绘制网络拓扑图
jTopo的官网：http://www.jtopo.com/jTopo源码下载：https://download.csdn.net/download/jia18703423204/9071639最近一直在研究拓扑图，项目上推荐了jTopo，也就顺带研究了一番。根据官网描述，jTopo是一款完全基于HTML5 Canvas的关系、拓扑图形化界面开发工具包。本人也基于jTopo做了一个简单的交换机相...
2018-04-11 10:02:43
4334
1
原创 GP数据库初始化失败定位
1、背景在两台主机上安装包含master、standby、segment的一套GP数据库，在初始化阶段出现失败。查看GP数据库的启停日志文件 /home/gpadmin/gpAdminLogs，错误信息如下：20180317:08:31:39:087050 gpsegstart.py_host77:gpadmin:host77:gpadmin-[INFO]:-Postmaster /data2/p...
2018-03-17 15:02:42
1646
原创 git&gerrit代码提交
1、 注册和登录账号2、 在账号—setting--SSH Public Key添加本地工作机器（linux或者windows）的ssh key，$cat ~/.ssh/id_rsa.pub 显示公钥，如果这个公钥不存在则使用下面一条命令生成。$ ssh-keygen -t rsa 一路回车生成ssh key3、 找到project—general--clone with commit-...
2018-03-17 14:40:16
4856
原创 AMD、CMD、CommonJS规范
1、产生背景AMD、CMD、CommonJS都是为了解决JavaScript的模块加载而产生，倡导模块化开发理念。JavaScript没有自己的模块加载机制，当大量的复杂的代码产生时，没有好的加载机制，就会导致代码管理混乱，多人协作出问题。2、规范约定1）AMD(Asynchronous Module Definition)，异步加载模块定义，AMD 是 RequireJS 在推广过程中对模块定义...
2018-03-15 23:02:48
242
原创 数据库delete不释放空间处理方法
最近做项目遇到个问题，数据库实际有效数据才几万行，但是因为该表属于频繁变动的表，单节点实际已经超过30亿行，rowid一直在增加，直接导致表不可用。最后分析下来，是因为delete操作只是将数据标识位删除，并没有整理数据文件，因此在数据文件中留下了碎片，不释放其占用的空间。如果一张表，频繁被insert、delete，且删除的数据没有规律，那么数据就会出现大量的空洞，占用磁盘空间且影响...
2018-03-07 23:16:01
17741
1
gradle-5.2.1-all
2019-02-11
Scala编程完整版
2016-12-21
phantomjs-1.9.7-windows.zip
2016-05-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人