- 博客(62)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 数据规整化:清理，转换，合并，重塑
简介数据分析和建模方面的大量编程工作都是用在数据准备上的：加载，清理，转换以及重塑。有时候，存放在文件或数据库中的数句柄不能满足你的数据处理应用的要求。许多人都选择使用通用编程语言(如Python,perl,R或Java)或UNIX文本处理工具(如sed或awk)对数据格式进行专门处理。幸运的是，panads和Python标准库提供了一组高级的，灵活的，高效的核心函数和算法。数据库风格的DataFr
2016-03-01 16:43:53
1090
原创 数据加载,存储与文件格式化
读写文本格式的数据pandas中的解析函数 read_csv/read_table函数的参数 将数据写出到文本格式In[1]: data=pd.read_csv('data1.csv')data.to_csv('data2.csv')手工处理分隔符格式csv语支选项 JSON数据obj= """{"name":"Wes", "places_lived":["United States
2016-03-01 15:47:48
1027
原创 pandas入门
简介pandas学习网站：http://pandas.pydata.org/ pandas含有使数据更快更简单的高级数据结构和操作工具。pandas是基于NumPy构建的，让以NumPy为 中心的应用变得更加简单pandas的数据结构要使用pandas,首先就得熟悉它的两个主要数据结构：Series和DataFrame。虽然它们并不能解决所有问题，但它们为大多数应用提供了一种可靠的，易于使用的基
2016-02-29 21:43:20
833
原创 IPython使用指南
简介：2001年，Fernando Perez为了得到一个更为高效的交互式Python解释器而启动的一个项目，IPython不仅仅是一个加强版的shell，他可以直接进行绘图操作的GUI控制台，一个基于web的交互式笔记本，以及一个轻量级的快速并行计算引擎。常用命令：1.启动：ipython/ipython qtconsole –pylab=inline 2.Tab键自动补全内省在变量名或命令的前
2016-02-28 20:45:44
6386
原创 在linux上安装NumPy,Matplotlib,SciPy和IPython
大部分Linux发行版都有NumPy的软件包。 我们将针对一些流行的Linux发行版给出安装步骤。(1) 要在Red Hat上安装NumPy，请在命令行中执行如下命令：yum install python-numpy(2) 要在Mandriva上安装NumPy，请在命令行中执行如下命令：urpmi python-numpy(3) 要在Gentoo上安装NumPy，请在命令行中执
2016-02-28 19:07:35
647
转载 Python学习资源
Python学习视频● Python正则表达式 ● Django架构和使用● Django快速Web应用开发入门视频教程● Python类Nagios监控软件开发实战● Python项目实训视频教程:网络爬虫● 苏勇老师Python 语言基础视频教程-Web开发● Python自动化运维入门篇● Py
2016-02-27 14:46:29
1058
转载 虚拟机字节码执行引擎
1、概述2、运行时栈帧结构2.1、局部变量表局部变量表复用对垃圾收集的影响2.2、操作数栈2.3、动态连接2.4、方法返回地址2.5、附加信息3、方法调用3.1、解析3.2、分派静态分派：动态分派：单分派与多分派：虚拟机动态分派的实现：3.3、动态类型语言支持3.3.1. 动态类型语言3.3.2、JDK 1. 7 与动态类型3.3.3、 java. lang. invoke 包3.3.
2016-01-26 20:12:03
358
转载 虚拟机类加载机制
生命周期从被加载到虚拟机内存，到卸载内存为止，包含7个阶段：加载 、验证、解析、 准备、初始化、使用、卸载。 验证、准备和解析统称为连接。 加载、验证、准备、初始化和卸载这5个阶段的顺序是确定的，而解析则不一定，它可以在初始化阶段之后再开始，以支持java的运行时绑定。2. 3种情况必须对类进行“初始化”遇到new（实例化对象）、getstati
2016-01-25 18:00:37
321
转载 JVM类文件结构
Class文件是一组以8位字节为基础单位的二进制流，包含多个数据项目（数据项目的顺序，占用的字节数均由规范定义），各个数据项目严格按照顺序紧凑的排列在Class文件中，不包含任何分隔符，使得整个Class文件中存储的内容几乎全部都是程序运行的必要数据，没有空隙。当遇到需要占用超过8位字节以上空间的数据项目时，会按照高位在前的方式分割为多个8位字节进行存储数据项目分为2种基本数据类型（以及由
2016-01-24 18:26:45
377
原创 OpenJDK垃圾收集器与内存分配策略
OpenJDK垃圾收集器与内存分配策略OpenJDK垃圾收集器与内存分配策略确定回收目标的方法回收时机垃圾收集算法垃圾收集器内存分配与回收策略确定回收目标的方法引用计数算法可达性分析算法 1.基本思想：通过一系列的称为”GC Roots”的对象作为起始点，从这些节点开始向下搜索，搜索所走过的路径称为引用链(Reference Chain),当一个对象到GC Roots没有任何引用链相
2016-01-20 22:23:06
3038
转载 编译openjdk8
在Ubuntu14下构建Hotspot并使用Eclipse调试德胜 发布于 8个月前，共有 2 条评论偶尔会看一点点JVM代码,所以尝试构建了一把最新的OpenJDK81.环境介绍 1)时间: 2015-05-13 2)系统: Linux haogrgr-vm 3.16.0-30-generic #40~14.04.1-Ubuntu SMP Thu
2016-01-18 22:36:20
4699
1
转载 编译JDK
1下载jdkhttp://download.java.net/openjdk/jdk8/promoted/b132/openjdk-8-src-b132-03_mar_2014.zip[java] view plaincopy1、依赖脚本 sudo apt-get install build-essential gawk m4 liba
2016-01-18 14:40:03
495
原创 JAVA概述
JAVA概述JAVA概述JAVA语言主要服务JAVA语言注释关键字标识符基本数据类型变量和常量表达式 运算符表达式的提升和类型转换 控制流程 表达式语句分支语句循环语句break和continue语句 类与对象 类的定义与对象的创建 类的定义格式对象的创建和初始化构造方法 构造方法及其重载默认的构造方法定义方法 方法定义格式按值传递类的继承
2016-01-13 20:07:58
238
原创 编程语言与计算机
编程语言与计算机编程语言与计算机编程语言组成cpu与运算符控制流程线程进程内存与数据类型变量磁盘网卡与文件和网络总结编程语言组成注释数据类型变量运算符输入输出控制流程多线程进程流与文件网络进程对应单个或多个线程，进程是资源分配的最小单位，线程是CPU调度的最小单位。线程通过运算器和控制器对数据进行相应的计算和操作，网络与文件完成数据的存储和传输。cpu与运算符，控制流
2016-01-13 15:27:02
413
原创 MySQL进阶
MySQL进阶MySQL进阶MySQL高可用设计方案MySQL集群DRBD磁盘网络镜像方案MySQL ReplicationMySQL高可用设计方案如果单MySQL的优化始终还是顶不住压力时，这个时候我们就必须考虑MySQL的集群方案了，目前可行的方案有：一、MySQL Cluster优势：可用性非常高，性能非常好。每份数据至少可在不同主机存一份拷贝，且冗余数据拷贝实时同步。但它的维护非常
2016-01-09 22:07:00
366
原创 MySQL优化
MySQL优化MySQL优化1优化SQL2优化数据库对象3优化索引4表锁的问题5MySQL server服务器配置优化6磁盘IO优化应用优化分库分表反范式设计冗余结构设计1优化SQLa.通过show status了解各种sql的执行频率show status ‘Com_%’ 了解Com_select,Com_insert的执行次数 b.通过Explain分析低效的sql语句
2016-01-09 21:02:49
456
原创 MySQL使用
MySQL使用MySQL使用mysql日志种类mysql常用操作1登录数据库2修改密码3添加用户4创建数据库5备份恢复数据库6导入sql文件命令7用文本方式将数据装入数据库表中8删除数据库9数据库授权10删除授权11显示当前mysql版本和当前日期12查询所有数据表13查询表的字段信息14创建表15修改结构16操作数据17查询及删除操作18删除表19清空表
2016-01-09 16:37:04
392
原创 MySQL内核概述
Mysql内核概述Mysql内核概述Mysql体系结构Mysql源码组织结构MySQL数据结构MySQL算法MySQL主要执行过程Mysql体系结构MySQL是一个可移植的数据库，几乎能在当前所有的操作系统上运行，如Unix/Linux、Windows、Mac和Solaris。各种系统在底层实现方面各有不同，但是MySQL基本上能保证在各个平台上的物理体系结构的一致性。 MySQL由以
2016-01-07 15:26:36
3396
原创 文件与外部排序
文件与外部排序文件与外部排序基本的物理结构文件的组织方式基本的物理结构顺序结构链接结构索引结构文件的组织方式顺序文件索引文件ISAM文件VSAM文件散列文件多关键字文件 多重表文件倒排文件外部排序提高外部排序的方法有： - 进行多路归并，减少文件归并的趟数。 - 增加归并段的长度，减少初始归并的数目。 - 根据不同归并的长度，采取最佳归并方案。
2016-01-04 19:30:41
294
原创 内部排序
内部排序内部排序插入排序希尔排序快速排序选择排序归并排序基数排序各种内部排序的比较选择排序方法的主要考虑因素插入排序直接插入排序折半插入排序2-路插入排序表插入排序希尔排序快速排序冒泡排序快速排序选择排序简单选择排序树形选择排序堆排序归并排序基数排序多关键字排序链式基数排序各种内部排序的比较各种内部排序按所采用的基本思想( 策略) 可分为： 插入排序
2016-01-04 18:16:21
472
原创 查找
查找查找静态查找抽象数据类型定义动态查找索引查找哈希散列查找静态查找抽象数据类型定义ADT StaticSearchTable{ 数据对象D：D是具有相同特性的数据元素的集合。各个数据元素均含有类型相同，可唯一标识数据元素的关键字。 数据关系R:数据元素同属于一个集合。 基本操作P: Create(&ST,n) 操作结果：构造一个含n个数据元素的静态顺寻查找表ST. Dest
2016-01-04 17:54:38
282
原创 图
图[TOC] ADT Graph{ 数据对象V：具有相同特性的数据元素的集合，称为顶点集。 数据关系R：R={VR} VR={<\v,w>|<\v,w>|v,w∈V^p(v,w),<\v,w>表示从v到w的弧，p(v,w)定义了弧<\v,w>的信息} 基本操作： CreateGraph(&G,V,VR) 初始条件：n是图的顶点集，e是图的边集 操作结果：按和n的e定义构造图G De
2016-01-04 16:21:43
333
原创 树和二叉树
树和二叉树树和二叉树树的表现形式树的抽象数据类型定义二叉树的存储结构二叉树的遍历线索二叉树树的存储结构森林和二叉树的转换树和森林的遍历赫夫曼树及其应用树的表现形式倒悬树嵌套集合广义表形式凹入法表示显示树的抽象数据类型定义ADT Tree{ 数据对象D:D是具有相同特性的数据元素的集合。 数据关系R：若D为空集，则称为空树；若D仅含有一个数据元素，则R为空集，否则R=
2016-01-02 21:21:04
397
原创 数组和广义表
数组和广义表数组和广义表数组的抽象数据类型定义数组的物理存储广义表的抽象数据类型定义广义表的物理存储数组的抽象数据类型定义ADT Array{ 数据对象：ji=0,1,..,bi-1,1,2,…,n;D={aj1j2…jn|n>0称为数组的维数，bi是数据第i维的长度，ji是数组元素第i维的下标，aj1j2…jn∈ElemSet} 数据关系：R={R1，R2,…,Rn}Ri={<\aj
2015-12-30 21:37:26
451
原创 串的抽象数据结构
串串串的抽象数据类型定义栈的物理存储结构串的抽象数据类型定义ADT String{ 数据对象：D={ai|ai∈CharacterSet,i=1,2,…,n,n≥0} 数据关系：R={栈的物理存储结构定长顺序存储表示堆分配存储方式块链存储方式
2015-12-29 14:31:03
473
原创 栈和队列
栈和队列栈和队列栈的抽象数据类型定义栈的物理存储结构队列的抽象数据类型定义队列的物理存储结构代码实现栈的抽象数据类型定义ADT Stack{ 数据对象：D={ai|ai∈ElemSet,i=1,2,…,n,n≥0} 数据关系：R={<\ai-1,ai>|ai-1,ai∈D,i=1,2,3,…,n} 基本操作： InitStack(&S) 操作结果：构造一个空栈S. Destr
2015-12-28 15:56:59
312
原创 线性表
一般线性表一般线性表线性表的抽象数据类型定义线性表的存储结构线性表的顺序存储借助数组实现线性表的链式存储顺序存储于链式存储对比顺序存储存储效率高存取速度快修改效率不高链式存储修改效率高存取效率不高顺序表和链表的时间性能分析顺序表和链表的空间性能分析线性表的抽象数据类型定义ADT List{ 数据对象：D={ai|ai∈ElemSet,i=1,2,….,n,n>=0} 数据关系：
2015-12-27 16:45:39
425
原创 数据结构与算法概述
数据结构与算法概述数据结构与算法概述计算机求解问题的一般步骤抽象数据类型逻辑结构物理存储结构数据操作复杂度分析总结计算机求解问题的一般步骤问题抽象出数学模型问题所涉及的数据量大小及数据之间的关系如何在计算机中存储数据及体现数据之间的关系处理问题时需要对数据进行和种运算。所编写的书城的性能是否良好。抽象数据类型ADT <抽象数据类型名>{ 数据对象：<数据对象的定义> 数
2015-12-26 18:10:37
341
转载 linux网络体系结构
一 内核结构 按功能，Linux内核可以划分为5个不同的部分，每一部分处理一项明确的功能，同时又向其他内核组件提供这项功能。这种结构也反映到内核的源代码上——这5部分都形成了自己的子树。 1进程管理2内存管理3文件系统4设备驱动程序5网络 二 网络体系结构 先来看一下Linux网络体系结构
2015-12-21 09:37:12
359
转载 linux内核版本变化
说明： 这篇文件来源与网络上，至于作者是谁就不知道了，不过确实是非常精简，所以这里就再发布，以作为自己收藏，同时也希望可以帮助到大家。一．Linux 内核简介 Linux 是最受欢迎的自由电脑操作系统内核。它是一个用C 语言写成，符合POSIX标准的类Unix 操作系统。Linux 最早是由芬兰黑客Linus Torval
2015-12-14 09:11:12
1419
转载 Hadoop学习路线图
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。从2011年开始，中国进入大数
2015-12-12 14:47:10
307
转载 sed用法
调用sed命令有两种形式：sed [options] ‘command’ file(s)sed [options] -f scriptfile file(s)a\在当前行后面加入一行文本。b lable分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾。c\用新的文本改变本行的文本。d从模板块（Pattern space）位置删除行。D删除
2015-11-29 15:59:59
343
转载 Intel386汇编指令摘要
2.6.4 Intel386汇编指令摘要在阅读Linux源代码时，你可能遇到很多汇编指令，有些是你熟悉的，有些可能不熟悉，在此简要列出一些常用的386汇编指令及其功能。1． 位操作指令 指令 功能 BT 位测试 BTC
2015-11-28 09:52:50
1815
转载 常用汇编指令
学习汇编语言，最关键的就在于汇编指令集的掌握以及计算机工作方式的理解，以下是80X86汇编过程中经常用到的一些汇编指令。从功能分类上来说，一共可分为一、 数据传送指令：MOV、XCHG、LEA、LDS、LES、PUSH、POP、PUSHF、POPF、CBW、CWD、CWDE。二、 算术指令：ADD、ADC、INC、SUB、SBB、DEC、CMP、MUL、DIV、DA
2015-11-27 20:15:29
542
转载 bios中断大全
BIOS中断大全BIOS中断:1、显示服务(Video Service——INT 10H) 00H —设置显示器模式0CH —写图形象素01H —设置光标形状0DH —读图形象素02H —设置光标位置0EH —在Teletype模式下显示字符03H —读取光标信息0FH —读取显示器模式04H —读取光笔位置10H —颜色05H —设置显示
2015-11-26 21:56:07
392
原创 vim ide配置
操作系统：Ubuntu Desktop 10.04 LTS 转载请注明出处lingdxuyan.blog.chinaunix.net 一步步将vim改造成C/C++开发环境(IDE)原文地址http://blog168.chinaunix.net/space.php?uid=23089249&do=blog&id=2855999【参考资料】吴垠的“手把手教你
2015-11-17 23:26:01
385
原创 vim 插件安装
一代码补全 1autocomplpop 下载地址 http://www.vim.org/scripts/script.php?script_id=1879 下载后将该文件下对应的plugin和autoload下的文件复制到对应的/usr/share/vim/*下 if ( Error detected
2015-11-11 12:50:47
373
转载 字节流与字符流的区别
字节流与字符流先来看一下流的概念：在程序中所有的数据都是以流的方式进行传输或保存的，程序需要数据的时候要使用输入流读取数据，而当程序需要将一些数据保存起来的时候，就要使用输出流完成。程序中的输入输出都是以流的形式保存的，流中保存的实际上全都是字节文件。字节流与字符流在java.io包中操作文件内容的主要有两大类：字节流、字符流，两类都分为输入和输出操作。在字节流中输出数据主要是
2015-09-17 15:54:55
206
转载 java NIO
基础概念缓冲区操作 缓冲区及操作是所有I/O的基础，进程执行I/O操作，归结起来就是向操作系统发出请求，让它要么把缓冲区里的数据排干（写），要么把缓冲区填满（读）。如下图内核空间、用户空间 上图简单描述了数据从磁盘到用户进程的内存区域移动的过程，其间涉及到了内核空间与用户空间。这两个空间有什么区别呢？ 用户空间就是常规进程（如JVM）所在区域，用户空间是非特权区域，如不能
2015-09-17 15:46:49
217
转载 数据科学家应该具备的知识
经常有人问我“要成为数据挖掘工程师或者数据科学家应该读什么书？”类似的问题。下面是一份建议书单，同时也是成为数据科学家的指南，当然，这不包括取得合适大学学位的要求。在深入探讨之前，数据科学家似乎需要掌握许多技巧，如：统计学、编程、数据库、演讲技巧、数据清理与变换知识。理想情况下，你需要具备以下技能：了解统计学与数据预处理知识。理解统计陷阱。你必须明白在统计分析过程中偏差与常见错误都
2015-09-13 13:48:21
750
1
c++ c++ c++
2015-01-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人