ae5555-CSDN博客

原创 xgboost

xgboost构建过程xgboost 从顶到底构建树，在从低到顶反向进行剪枝。

2017-06-29 22:03:10 2523

原创 C++ 基础知识

static 成员变量在类中用static声明变量，static变量在类外进行定义，并且无法通过构造函数进行定义。class A{ public: static int n; A(){}};int A::n = 1;普通的成员变量是对象的一部分，而static类型的变量独立于任何对象而存在，而是与其所在的类相关联。static成员变量可以作为函数的默认参数，而非st

2017-06-27 21:13:42 346

原创 tensorflow总结

tf.variable_scope & tf.name_scopetf.name_scope不会给tf.get_variable()加命名前缀，tf.variable_scope加命名前缀。查看模型使用的所有变量for v in tf.all_variables(): print(v.name)

2016-11-11 15:36:33 515

原创 Spark Sql

SparkSQL有两个分支，sqlContext和hiveContext , sqlContext支持SQL语法解析器，hiveContext支持SQL语法解析器和hiveSQL语法解析器。

2016-11-11 15:26:31 337

原创 ubuntu press S to skip

修改/etc/fstab文件，将提示出问题的分区注释掉，因为启动时系统找不到该分区。

2016-11-08 22:13:05 698

原创 linux文件编码格式转换

vim中查看、设置文件编码:set fileencoding通过enca命令查看、修改文件编码//查看文件编码enca -L zh_CN file//修改文件编码enca -L zh_CN -x UTF-8 < file > result_file批量修改文件编码

2016-11-08 22:08:26 409

原创 scala&spark相关

scalatest 版本要和scala版本一致。scalac error : bad option: ‘-make:transitive’ 在pom.xml中，删除-make:transitive一般而言，saveAsTextFile会按照执行task的多少生成多少个文件，比如part-00一直到part-0n，n自然就是task的个数，亦即是最后的stage的分区数。//做完计算之后将数据

2016-11-07 20:09:59 356

使用nmblookup、nbtscan，客户端要安装sambasudo apt-get install samba查看ip对应的hostnamenmblookup -A 10.2.1.4 | grep '<00' | grep -v GROUP | awk '{print $1}'查看ip端对应的hostname sudo nmap -sU --script nbstat.nse -p137 192

2016-11-06 23:35:07 2849

原创 CUDA(2)

cudaMalloc函数使用限制 1. 可以将cudaMalloc()分配的指针传递给在设备上执行的函数。 2. 可以在设备代码中使用cudaMalloc()分配的指针进行内存读/写操作。 3. 可以将cudaMalloc()分配的指针传递给在主机上执行的函数。 4. 不能在主机代码中使用cudaMalloc()分配的指针进行内存读/写操作。 5. 不能使用标准C的free()函数来释

2016-09-28 21:03:14 379

原创 CUDA(1)

CUDA架构之前的图形处理架构中，计算资源划分为顶点着色器和像素着色器。CUDA架构包含了一个统一的着色器流水线。同时，GPU不仅能任意地读写内存，还能访问软件管理的缓存。CPU与GPUCPU 和 GPU之间浮点运算能力之所以存在这样的差异，原因就在于CPU具有复杂的控制逻辑和大容量的缓存，适合进行控制转移，处理分支繁杂的任务，而GPU专为计算密集型、高度并行化的计算而设计。架构使用GPU运行的程序

2016-09-27 10:23:41 567

原创 thrift

数据传输协议protocolTBinaryProtocol 二进制格式 TCompactProtocol 压缩格式 TJSONProtocol JSON格式 TSimpleJSONProtocol JSON只写协议client和server的数据传输协议必须一致。TransportTSocket 阻塞IO TFramedTransport 非阻塞IO TFileTransp

2016-07-13 15:08:06 434

原创 D2RQ

D2RD2R主要包括D2R Server、D2RQ Engine以及D2RQ Mapping语言。D2R Server 是一个HTTP Server，提供对RDF数据的查询访问接口；D2RQ Engine 使用一个可定制的D2RQ Mapping文件(.ttl)将关系型数据库中的数据换成RDF格式，它并没有将关系型数据库发布成真实的RDF数据，而是使用D2RQ Mapping文件将其映射成虚拟的RD

2016-07-06 15:40:22 2294

原创 http session

session与cookiesession一般指的类就是javax.servlet.http.HttpSession。HTTP协议本身是无状态的，cookie机制就是为了解决HTTP协议无状态的缺陷所做的努力，session(服务端)和cookie(客户端)是在客户端和服务器之间保持状态的解决方案。 cookie是通过扩展HTTP协议来实现的，服务器通过在HTTP的响应头中加上一行特殊的指示来提示

2016-07-03 22:05:47 814

原创 jquery总结

json与对象转换//json字符串转对象jQuery.parseJSON(jsonstr);//json对象转json字符串JSON.stringify(jsonobj);

2016-07-03 16:29:19 271

原创 linux 总结

//查看内核版本cat /proc/versionuname -a//查看系统版本lsb_release -a

2016-07-03 09:22:58 436

原创 nutch使用

nutch 1.x (nutch 1.11为例)抓取网页存储到本地bin/crawl urls crawl 2建索引bin/nutch solrindex http://127.0.0.1:8983/solr/ crawl/crawldb -linkdb crawl/linkdb crawl/segments/*nutch 2.x (nutch 2.2.1为例)mysqlmy.ini或my.c

2016-07-03 09:18:27 999

原创数据库优化

性能瓶颈要正确的优化SQL,需要快速定位性能的瓶颈点。索引索引会大大增加表记录DML(insert、update、delete)的开销。一个表可以建多个索引，一个索引可以由多个字段组成。有些时候，只需要访问表中的几个字段，并且字段内容较少，可以为这几个字段单独建立一个组合索引。性能优化是无止境的，当性能可以满足需求时即可，不要过度优化。在实际数据库中我们不可能把每个SQL请求的字段都建在索引里，

2016-05-20 21:23:27 308

原创 Spring MVC

Controller获取请求参数通过@PathVariable获取路径中的参数@RequestMapping(value="/{id}/{str}")public String test(@PathVariable String id,@PathVariable String str)通过HttpServletRequest获取 @RequestMapping(method=Reques

2016-03-28 15:00:59 280

原创 Docker工具

DockerUI//不支持多主机//http://<docker host ip>:9000docker run -d -p 9000:9000 -v /var/run/docker.sock:/var/run/docker.sock dockerui/dockerui

2016-03-23 23:50:02 344

原创 Word2Vec数学模型

N-gram模型N-gram模型假设一个词出现的概率只与它前面固定数目的词相关。一般而言，n的选取需要同时考虑计算复杂度和模型效果两个因素。神经网络语言模型(1) 神经概率语言模型中假定了”相似的”词对应的词向量也是相似的。 (2) 概率函数关于词向量是光滑的，即词向量中的一个小变化对概率的影响也只是一个小变化。模型1.基于词向量的模型自带平滑化功能。 2.词向量是Distributed R

2016-03-20 13:13:00 466

原创 NLP工具

bosonnlpfrom bosonnlp import BosonNLPimport datetimenlp=BosonNLP('BOSON_API_TOKEN')//中文时间转换result=nlp.convert_time("去年清明节")//语义联想，相关词suggest=nlp.suggest('数学',top_K=10)//关键词提取，有权重,权重平方和为1keyw

2016-03-19 22:42:53 775

原创 Spring常见问题

1.NoClassDefFoundError: org/springframework/context/event/EventListenerFactory spring的jar包不一致或者确实包。2.java.lang.IncompatibleClassChangeError : class org.springframework.core.type.classreading.ClassMe

2016-03-07 20:44:54 8194

原创 Spring Security权限管理框架

Spring SecuritySpring Security是作为过滤器控制权限的，在web.xml中配置过滤器。<filter> <filter-name>springSecurityFilterChain</filter-name> <filter-class>org.springframework.web.filter.DelegatingFilterProxy</filter

2016-03-07 20:32:38 2546

原创 java网络编程

302重定向重定向的目的url写在header的Location属性。 httpclient以GET发送请求时，http的返回码是200，自动处理了重定向；以POST发送请求时，http的返回码是302，不自动处理重定向，处于占用连接等待状态。HttpPost request=new HttpPost(url);HttpResponse response=httpclient.execut

2016-03-02 20:54:52 296

原创贝叶斯规则和LDA主题模型

共轭先验和共轭分布P(θ\theta) 先验分布、P(θ|X\theta | X)后验分布、P(X |θ\theta)似然函数。后验分布=先验分布*似然函数/P(X) 使得先验分布和后验分布具有相同的形式，称他们是共轭分布;先验分布称为相应似然函数的共轭先验。似然函数是关于统计模型中的参数的函数，表示模型参数的似然性，用于在已知观测所得到的结果时，对模型的参数进行估计。Beta分布是二项分

2016-02-26 15:32:10 1456

原创 Cmake使用

基本配置 cmake_minimum_required(VERSION 2.6) project(myproject) set(SRC_LIST main.c) add_executable(myproject ${SRC_LIST})cmake自带的环境变量PROJECT_SOURCE_DIR 工程代码所在目录 PROJECT_BINARY_DIR 生成执行

2016-01-25 16:27:26 422

原创 Shark机器学习库

安装按照官网上的步骤在linux编译后，安装的默认目录在/usr/local/include和/usr/local/lib目录。使用shark库时，将CMakeLists.txt放在工程目录下，执行 cmake . makeCMakeLists.txt的内容为: cmake_minimum_required(VERSION 2.8) project(ExampleProje

2016-01-24 23:25:46 1085

原创 C++(2)

智能指针unique_ptrunique_prt不支持复制构造与赋值操作，但可以移动赋值，移动赋值是显式的所有权转移，转移之后前者不再拥有该内存。 #include <memory> unique_ptr<int> one(new int(100)); unique_ptr<int> two=move(one); //重新绑定对象 one.reset(new int(1

2016-01-20 22:25:48 387

原创 C++(一)

auto vector<int> number(5,10); for(auto& e:number) { e=e+2; cout<<(int)e<<endl; }纯虚函数在基类中只有声明而没有定义，必须在子类中加以实现，相当于java中的接口。虚函数可以在基类中定义，在子类中可以重写也可以不重写虚函数。 virtual void func()=0;

2016-01-20 14:51:04 380

原创幂律分布与自组织过程

幂律分布服从幂律分布的现象称为无标度现象,即系统中个体的尺度相差悬殊,缺乏一个优选的规模。凡有生命,有进化,有竞争的地方都会出现不同程度的无标度现象。物理世界在相当程度上是具有惰性的，动态过程总能找到能量消耗最少的途径。

2016-01-19 23:27:26 1419

原创正态分布的生成

逆变换法假设U=F(x)是一个概率分布函数，F−1^{-1} 是它的反函数，若U是一个服从(0,1)均匀分布的随机变量，则 F−1(U)^{-1}(U) 服从函数F给出的分布。 Box-Muller算法先得到服从均匀分布的随机数，然后将均匀分布的随机数转变为服从正态分布。如果(0，1]值域内有两个独立的均匀分布的随机变量U1和U2。可以使用下面两个等式得到两个独立的N(0,1)。 Z=R*co

2016-01-19 16:51:16 1712

原创 python/Django使用总结

默认情况下，启动项目 python manage.py runserver这种情况下，只能本地访问。改变服务器监听的IP地址，可以让其他地址访问项目: python manage.py runserver 0.0.0.0:8000Django ORM检索数据库 //检索所有对象 all_entries=Entry.objects.all()

2015-12-31 14:08:06 400

原创 boost库总结一

progress_display在控制台显示程序的执行进度,但是无法把进度显示输出与程序的输出分离。 #include<boost/progress.hpp> using namespace boost; progress_display pd(long expected_count); //增加进度 pd++;date_timedate_time库需要编译。

2015-12-30 16:09:05 419

原创 Python/gensim主题模型库

每个py文件称之为模块，每个具有init.py文件的目录被称为包。只要模块或者包所在的目录在sys.path中，就可以使用import 模块或import 包来使用。如果要使用的模块和当前文件在同一目录，只要import相应的文件名就可以。如果使用的模块不在同一目录下，使用sys.path.append方法将模块所在目录加入到搜素目录中。然后进行import即可。这种方法是暂时的。使用PYT

2015-12-29 23:03:52 9254

原创 python/逻辑回归

正则化方法，防止过拟合，提高泛化能力在机器学习算法中，常常将原始数据集分为三部分:training data、validation data 、testing data。其中validation data用来避免过拟合，根据validation data上的效果确定学习速率、迭代停止时机等。testing data则用来判断模型的好坏。L2 regularization权重衰减L2正则化就是在

2015-12-25 14:13:10 1126

原创 theano学习笔记

定义函数 import theano.tensor as T from theano import function,pp //标量 x=T.dscalar(‘x’) //向量 x=T.vector(“a”) //矩阵 x=T.dmatrix(‘x’) y=T.dscalar(‘y’) z=x+y f=function([x,y],z)

2015-12-24 20:57:54 723

原创 JVM(三)

执行引擎JVM监控与工具使用JDK中工具大多数是tools.jar包的接口的封装。tools.jar中的类库不属于java的标准API。

2015-12-23 21:22:47 430

原创 JVM(二)

class文件结构JVM的语言无关性的基础就是虚拟机和字节码存储格式，只有能把程序代码编译成class文件，虚拟机不关心class的来源是什么语言。字节码指令提供的语义描述能力比java本身更强大，因此，java无法支持的语言特性并不代表字节码指令不能支持。魔数class文件的前四个字节称为魔数，用来标志该文件能否被虚拟机接受的class文件。这个魔数值为0xCAFEBABE。高版本的JDK

2015-12-23 15:57:52 322

原创 JVM(一)

数据类型java虚拟机可以操作的数据类型有两类:原始类型和引用类型，对应地，有原始值和引用值两种类型的数值。基本类型包括数值类型、boolean和returnAddress；引用类型包括类类型、接口类型、数组类型。 returnAddress指向一条虚拟机指令的操作码，程序运行期间无法改变returnAddress类型的值。java虚拟机不提供操作Boolean类型的字节码指令，程序在编译后b

2015-12-22 22:40:41 332

原创 linux/openssl

在linux中，主要使用openssl和gpg两种方法实现安全机制。单向加密单向加密是计算一段数据的特征码，利用特征码对数据完整性进行校验，且输出定长。常见的加密算法有MD5、SHA1。对称加密对称加密就是加密和解密使用相同的密钥。常见的算法有DES、AES、3DES。非对称加密加密和解密使用的不是一个秘密。常见的算法有DSA、RSA。openssl //对称加密 //加密 open

2015-12-21 15:17:05 423

0day安全:软件漏洞分析技术

2013-07-04

linux网络安全技术与实现.pdf

第 1 章防火墙的基本概念 ····················································································· 1 1.1 TCP/IP的基本概念 ························································································································ 2 1.1.1 应用层 ···································································································································· 2 1.1.2 传输层 ···································································································································· 3 1.1.3 网络层 ···································································································································· 4 1.1.4 链路层 ···································································································································· 4 1.2 数据包传输 ····································································································································· 4 1.3 TCP、UDP及Socket的关系 ········································································································ 9 1.4 何谓防火墙 ··································································································································· 12 1.5 防火墙的判断依据 ······················································································································ 14 1.5.1 各层数据包包头内的信息 ·································································································· 14 1.5.2 数据包所承载的数据内容 ·································································································· 16 1.5.3 连接状态 ······························································································································ 16 1.6 防火墙的分类 ······························································································································· 17 1.6.1 数据包过滤防火墙 ·············································································································· 17 1.6.2 应用层防火墙 ······················································································································ 18 1.7 常见的防火墙结构 ······················································································································ 19 1.7.1 单机防火墙 ·························································································································· 19 1.7.2 网关式防火墙 ······················································································································ 20 1.7.3 透明防火墙 ·········

2013-03-15

HTTP协议详解.pdf

引言.................................................................................................................................................................... 3 一、HTTP 协议详解之URL 篇........................................................................................................................... 3 二、HTTP 协议详解之请求篇........................................................................................................................... 3 三、HTTP 协议详解之响应篇........................................................................................................................... 4 四、HTTP 协议详解之消息报头篇................................................................................................................... 5 1、普通报头.............................................................................................................................................. 5 2、请求报头.............................................................................................................................................. 6 3、响应报头.............................................................................................................................................. 7 4、实体报头.............................................................................................................................................. 7 五、利用telnet 观察http 协议的通讯过程.................................................................................................8 1、打开telnet......................................................................................................................................... 8 2、连接服务器并发送请求...................................................................................................................... 9 3、实验结果：.......................................................................................................................................... 9 4、注意事项............................................................................................................................................ 10 六、HTTP 协议相关技术补充.........................................................................................................................

2013-03-13

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

0day安全:软件漏洞分析技术

linux网络安全技术与实现.pdf

HTTP协议详解.pdf

第9章_linux防火墙配置.pdf

WPF编程宝典——C# 2010版

ARM7技术参考手册

ubuntu_OS中文操作手册.pdf

空空如也