未知之谜-CSDN博客

原创亿量级流量的数据统计分析以及挖掘技术实战(Spark And Storm)

本文，基于某电商海量的全链路数据，简明扼要的分享自己工作三年的时间内在实时数据统计分析以及数据挖掘方面的经验。

2017-12-21 11:04:39 3478

原创 Faster R-CNN算法

摘要：本文主要讲解Faster R-CNN算法的由来和原理。

2017-12-27 17:59:36 415

原创 Fast R-CNN算法

摘要：本文主要讲解Fast R-CNN算法的由来和原理。

2017-12-27 17:58:14 457

原创 R-CNN算法

R-CNN算法序列博客共三篇，分别如下：R-CNN算法 Fast R-CNN算法Faster R-CNN算法摘要：本文主要讲解R-CNN算法序列的第一篇，主要讲解R-CNN算法的原理和推导过程。正文：常见的CNN算法只能实现图片单一物体（对象）的识别，是一个分类问题。目标检测（Object Detection）比CNN更加复杂些，主要针对多对象图片的侦测识别，目标

2017-12-27 17:56:31 839

原创 Tensorflow下运行数字识别

前言：本文主要针对图片格式的数字进行识别处理、建模和识别，在tensorflow集群下运行。

2017-12-22 22:21:59 389

原创 Windows 10环境下安装虚拟环境以及Tensorflow框架

引言：开发环境，基本上都是使用的Windows环境，测试和线上环境为Linux或者unix环境。Tensorflow是当今机器学习（深度学习）领域的学习框架，在各种大小企业中得到广泛的应用和推广。本文主要进行罗列windows 10环境下安装Tensorflow的过程。1.安装Anaconda，因为它非常方便便捷的帮着我们部署。搜索anaconda官方网站，下载windows版

2017-12-22 18:07:09 1651

原创 javax.script包

1.概述 javax.script包是后端java语言和前端语言javascript语言进行交互的中介。Java Scripting API 包含一组类和接口，这是一个相对比较小的 package包，以 ScriptEngineManager 类作为起点。

2017-12-21 10:46:47 2681

原创分布式系统

1.何为分布式系统？ Consistency 一致性 • (all nodes see the same data at the same time) Availability 可用性 • Reads and writes always succeed. Partition tolerance 分区容错性 • (the system continues to operate

2017-12-11 18:47:26 185

原创 Scala中object\class\trait的区别

object： object对象中的所有方法都是静态类型的。伴生对象是类文件中定义一个与类名相同的对象。class：和java中的class类似。在Scala声明private变量会Scala编译器会自动生成get,set,在Scala中变量是需要初始化的，如果不声明private默认是public的。trait： java中默认是通过接口实现多重继承，关键字是implements，scal

2017-11-22 14:41:34 454

原创 POST和GET

比较 GET 与 POST 下面的表格比较了两种 HTTP 方法：GET 和 POST。 GET POST 后退按钮/刷新无害数据会被重新提交（浏览器应该告知用户数据会被重新提交）。书签可收藏为书签不可收藏为书签缓存能被缓存不能缓存编码类型 application/x-www-form-urlencoded application/x-w

2017-11-02 22:13:15 301

原创简单工厂、工厂方法模式和抽象工厂

引言：本篇是设计模式开篇之作，设计模式的设计原则为六条： 1. 开闭原则一个软件实体如类、模块和函数应该对扩展开放，对修改关闭。 2.单一职责原则一个类只负责一个职责。类T负责两个不同的职责：职责P1，职责P2。当由于职责P1需求发生改变而需要修改类T时，有可能会导致原本运行正常的职责P2功能发生故障。 3.接口隔离原则

2017-11-02 21:17:50 213

原创 HIVE脚本优化

1.写HIVE脚本时，要善于使用multi-insert语法 insert into(或者overwrite) table1 partition(dt = ‘2017-11-02’) select a, b from app.app_m04_order_info //增量表 where dt >= sysdate

2017-11-02 14:08:23 1142

原创 JMAP的使用

jmap –heap Attaching to process ID 369634, please wait… Debugger attached successfully. Server compiler detected. JVM version is 25.20-b23using thread-local object allocation. Parallel GC with 43

2017-11-01 12:59:10 7083

原创文件COPY

FileUtils.copyURLToFile(jarUrl, jarFile);

2017-10-31 12:45:23 312

原创 IdeaIU2017下载破解

下载地址链接：http://pan.baidu.com/s/1qXNa9UO 密码：9wwg激活注册码：http://xidea.online

2017-10-26 10:44:19 802

原创 HIVE存储格式

TextFileHive数据表的默认格式，存储方式：行存储。可使用Gzip,Bzip2等压缩算法压缩,压缩后的文件不支持split 但在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比SequenceFile高几十倍。复制代码 –创建数据表： create table if not exists textfile_table( site string,

2017-10-26 09:37:05 340

原创 JSTAT分析

S0 S1 E O M CCS YGC YGCT FGC FGCT GCT 21.22 0.00 40.59 76.43 81.25 80.97 2212 513.286 3 3.413 516.699 21.22 0.00 40.59 76.43 81.25 80.9

2017-10-16 16:09:59 1071 1

原创 Java Development kit 9 - new Features

Jdk1.9自2017年9月24日发布以来，已经越来越多的科研人员开始关注和是用。

2017-09-28 22:12:58 201

原创 Linux内核以及cpu个数等信息查询

2017-09-01 13:43:50 527

http://www.blogjava.net/DLevin/archive/2011/09/13/358497.htmlJava二进制指令代码解析 Java源码在运行之前都要编译成为字节码格式（如.class文件），然后由ClassLoader将字节码载入运行。在字节码文件中，指令代码只是其中的一部分，里面还记录了字节码文件的编译版本、常量池、访问权限、所有成员变量和成员方法等信息（详见Java

2017-08-29 15:39:36 276

原创 Class文件格式

ClassFile { u4 magic; //魔术，4个字节，为0xCAFEBABE u2 minor_version; //次版本 u2 major_version; //大版本 u2 constant_pool_count; //常量池的个数，两个字节，代表后面会有多少个常量 cp_info constant_pool[constant

2017-08-29 13:39:17 220

原创一致性Hash算法

一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。一致性hash算法提出了在动态变化的Cache环境中，判定哈希算法好坏的四个定义：1、平衡性(Balance)：平衡性是指

2017-08-25 16:31:41 176

原创 Flume

安装FLumeFlume的安装非常简单，其核心就是agent。从官网下载稳定版本：? 1 2 3 4 5 wget http://apache.fayea.com/flume/1.6.0/apache-flume-1.6.0-bin.tar.gztar zxvf apache-flume-1.6.0-bin.tar.gzmv apache-flume-1.6.0-bin apache-f

2017-08-25 15:43:26 325

原创 JAVA序列化和反序列化的常见格式

dubbo RPC是dubbo体系中最核心的一种高性能、高吞吐量的远程调用方式，我喜欢称之为多路复用的TCP长连接调用，简单的说：长连接：避免了每次调用新建TCP连接，提高了调用的响应速度多路复用：单个TCP连接可交替传输多个请求和响应的消息，降低了连接的等待闲置时间，从而减少了同样并发数下的网络连接数，提高了系统吞吐量。dubbo RPC主要用于两个dubbo系统之间作远程调用，特别适合高并发、小

2017-08-25 15:41:19 1246

原创全链路数据监控

1.分布式系统调用链监控的特点有哪些? 2.什么是全链路性能监控? 3.怎样做全链路性能监控架构?分布式系统调用链监控应用架构由集中式向分布式演进后，整个调用关系变得复杂。分布式架构由复杂且较大规模集群构成，各个应用之间相当独立，可能由不同团队、不同语言实现。系统一个完整的调用过程可能横跨多个服务及数据中心。复杂的调用导致系统出问题后难以定位问题。无法准确知道整体系统性能及运行情

2017-08-24 18:26:33 4122 1

原创 VisualVM连接远程主机的方式以及注意事项

一般要观察远程给主机的信息，主要使用Eclipse Memory Analysis Tools工具和jdk 的jre下自带的工具VisualVM进行监控、调试和排查问题。步骤： 1.找到$CATALINA_HOME echo $CATALINA_HOME 2.cd ../bin 3.vim catalina.sh 找个空的地方，添加如下： JAVA_OPTS

2017-08-23 20:36:02 3672

原创 jvm调优

http://www.crazyant.net/1858.html http://www.cnblogs.com/panxuejun/p/6052315.html http://www.cnblogs.com/lsx1993/p/4722684.html

2017-08-15 20:55:18 183

原创独占锁和共享锁

http://www.infoq.com/cn/articles/jdk1.8-abstractqueuedsynchronizerhttp://ifeve.com/java-synchronousqueue/ http://blog.csdn.net/longeremmy/article/details/8231184

2017-08-15 20:54:39 810

原创赋值，浅克隆和深度克隆

赋值，引用类型，是直接复制的对象地址；浅克隆，该对象的所有变量属性均和原来的对象包含相同的数值，如果该属性是被复制对象的所有变量都含有与原来的对象相同的值，而所有的对其他对象的引用仍然指向原来的对象。换言之，浅复制仅仅复制所考虑的对象，而不复制它所引用的对象。

2017-08-15 20:53:11 308

原创查机器CPU过高和内存过高的问题

1.ps -ef |grep java 查询机器上的所有进程，以全格式显示 -e为展示所有的进程信息；-f 为全格式 2.ps -Lf 113456 113456为进程号 3.pstree -p显示所有的进程树 4.pstack 123456显示123456这个进程的栈信息 5.top -10 显示占用cpu最高的若干个进程

2017-08-10 20:44:55 618

原创 Unsafe类

java不能直接访问操作系统底层，而是通过本地方法来访问。Unsafe类提供了硬件级别的原子操作，主要提供了以下功能：1、通过Unsafe类可以分配内存，可以释放内存；类中提供的3个本地方法allocateMemory、reallocateMemory、freeMemory分别用于分配内存，扩充内存和释放内存，与C语言中的3个方法对应。2、可以定位对象某字段的内存位置，也可以修改对象的字段值，即使它

2017-08-09 09:03:42 192

原创实现Tomcat热更新部署

插件式的架构可以为系统带来极高的扩展性。典型的一个例子就是eclipse。我们可以下载各种各样的插件来不断丰富eclipse的功能，而eclipse本身却不需要作任何改动。那么在Java中如何实现插件机制呢?动态加载实现插件式系统的基础是动态加载机制。所谓动态加载是指系统所要用到的字节码文件不需要添加classpath目录下，而在运行时由程序本身根据需要加载到jvm中。这种情况下相应的jar包可以放

2017-08-08 15:41:23 5907

原创 java后端学习之路

最近BAT等各大互联网巨头们的校招陆陆续续都准备开始了，可能对于在校的大多数学生来说，不知道如何正确衡量自己掌握的技术，更不知道BAT这样的公司会要求自己必须具备什么样的技术能力。对于Java研发方向的技术面试，这里总结了一些你必须要掌握的技术知识点，考察的内容会比这里总结的多，所以如果想要有一个很不错的offer，下面的知识点需要都具备。社招考察的内容会在此基础上增加项目经验、技术实战经验、热门技

2017-08-07 15:30:22 560

原创 Mybatis-generator常用的几个内置插件

Plugin能够用来在MyBatis Generator生成Java和XML文件过程中修改或者添加内容；Plugin必须实现org.mybatis.generator.api.Plugin接口，在这个接口中提供了非常多的方法，所以，很自然，MBG提供了一个适配器org.mybatis.generator.api.PluginAdapter，一般情况下只需要继承这个适配器即可； MBG已经提供了一些

2017-07-28 14:29:56 3706

原创优化算法系列

梯度下降算法、蚁群算法、退火算法、遗传算法、粒子群算法、蜂群算法 1.梯度下降算法2.蚁群算法3.模拟退火算法4.遗传算法5.粒子群算法6.蜂群算法

2017-07-11 14:21:27 913

转载 java gcc博客系列

http://blog.csdn.net/kjfcpua/article/details/7300286http://yhjhappy234.blog.163.com/blog/static/31632832201222691738865/http://syyixin.iteye.com/blog/2183615http://jbutton.iteye.com/blog/1569746http://

2017-07-10 10:53:00 205

原创 Linux运维排查问题

[mart_cd@BJYF-Client-15244 ~]$ top top - 14:07:25 up 322 days, 21:16, 5 users, load average: 0.07, 0.53, 0.84 Tasks: 623 total, 1 running, 620 sleeping, 1 stopped, 1 zombie %Cpu(s): 0.2 us

2017-07-04 14:14:14 774

原创 JVM调优1

http://blog.csdn.net/fenglibing/article/details/17323515查看 java进程列表信息 jps -lvm查看JVM中堆栈方法信息 jstack -l 1254

2017-07-04 14:00:03 193

原创 JVM调优的文档

堆大小设置 JVM 中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存无限制。我在Windows Server 2003 系统，3.5G物理内存，JDK5.0下测试，最大可设置为1478m。典型设置： java -Xmx3550m -Xms3550m

2017-06-30 14:30:46 294

空空如也

空空如也