2 萤火虫之暮

尚未进行身份认证

暂无相关简介

等级
TA的排名 1w+

从GB到GBDT到XGBoost

Boostingboosting一句话理解:三个臭皮匠,顶个诸葛亮。在计算机学习理论里,强可学习和弱可学习是等价的。弱可学习模型转化为强可学习模型方法:前向分布加法模型。最简单前向分布加法模型yk+1 = yk + ( y-yk )( y-yk )即为残差,每一个新的弱分类器学习的目标都是残差这么一个简单的模型,能否得到我们想要的结果?理论上( y-yk )只有方向是准确的,具体是...

2020-02-19 09:13:28

pandas读取大文件csv容易出现的错误

文章目录1. 不是utf-8格式,先读取一遍为utf-8,忽略掉错误:2. 出现null bytes错误,使用engine='c':3. 读取成功之后,保存为utf-8格式:1. 不是utf-8格式,先读取一遍为utf-8,忽略掉错误:filename = open('E://source_data/insured_utf-8.csv', encoding='utf-8',errors='ig...

2019-08-05 17:54:36

50-100G大文件的处理办法

文章目录1. 使用分布式框架处理,如上次介绍的spark2. 使用pandas chunk, 不比单机版的spark慢1. 使用分布式框架处理,如上次介绍的spark这种情况下集群才有优势,local单机版只能使用8G内存,rdd的优势也没发挥出来,好在是多patition和多任务。2. 使用pandas chunk, 不比单机版的spark慢import pandas as pddf_...

2019-08-02 11:34:42

spark搭建和使用,处理massive文件

文章目录1. 本地安装spark1.1 安装Anaconda1.2 安装JDK 1.81.3 安装spark1.3.1 安装spark for hadoop版本1.3.2 添加环境变量1.4 安装hadoop1.4.1 下载hadoop1.4.2 配置环境变量1.4.3 添加winutils.exe补丁1.5 安装pycharm1.6 使用1.6.1 创建sparkContext,注意pychar...

2019-08-02 10:26:36

Mongodb实现多表join

文章目录Mongodb实现多表join1、通过遍历其他表,插入到当前表2、优化方式2.1、mongodb的lookup, 也就是聚合功能2.2、mapreduce 分布式join多表Mongodb实现多表join千万数量级的table, 如何实现join?1、通过遍历其他表,插入到当前表from pymongo import MongoClientclient = MongoClien...

2019-07-26 17:55:01

《Neo4j全栈开发》_陈韶健

链接:https://pan.baidu.com/s/1HXRKjkPVjwmch7H2VSAg-A提取码:sdtm

2019-07-16 15:37:05

D3js(六):支持css的tooltips

文章目录实现如下效果,不是简单的文本,而是有样式的文本1、配置一个tooltips的div块:2、配置tooltips div块的css:3、配置节点上的事件处理:实现如下效果,不是简单的文本,而是有样式的文本1、配置一个tooltips的div块: var tooltip = d3.select("#graph").append("div") ...

2019-07-11 15:49:17

SpringMQ的使用

文章目录SpringMQ的使用1、windows安装2、添加依赖:3、增加rabbit的配置:4、最简单的测试:publisher--->MQ-->consumer4.1、建立连接配置:4.2、发送端:建立连接,获取通道,创建队列,准备消息,发送消息到队列:4.3 、接收端:建立连接,获取通道,声明队列,申请队列的一个消费者(内含监听消息的方法),在通道线路上接收消息。4.4 消息接收...

2019-07-01 10:44:08

Activiti的使用技巧

文章目录Activiti的使用技巧1、环境的搭建:activiti-spring 7.0.0+连接池+mysql1.1 依赖如下:1.2 连接池和数据库配置:1.3 activiti的配置,通过config文件注入的方式:2、部署2.1 自动部署2.2 手动部署2.3 表单介绍3、创建流程表4、开始流程5、处理任务5.1 获取任务5.2 处理任务6、监听器设置:6.1 class方式:填写的是cl...

2019-07-01 10:41:13

Docker User Guide

文章目录Docker User Guide:1. 简单启用docker2. 交互式启用docker3. 容器常用命令4. 以后台进程模式运行5. docker的命令格式:docker + flags + command + arguments6. 一般程序运行的简单例子7. 网络端口快捷方式8.查看WEB应用程序日志9.查看WEB应用程序容器的进程10.检查WEB应用程序11. 停止WEB应用容器...

2019-07-01 10:24:52

D3js(五):tooltips

文章目录何为tooltips?实现小贴士的2种方法:增加title标签,text就是title的内容,默认mouseover,mouseout处理定义tooltips,定义处理mouseover,mouseout完整示例何为tooltips?tips就是小贴士,tooltips就是小贴士工具实现小贴士的2种方法:增加title标签,text就是title的内容,默认mouseover,mo...

2019-06-29 21:20:10

D3js(四):箭头arrow

文章目录D3js方式html+d3方式D3js方式<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title> <script src="http://d3js.org/d3.v3.min...

2019-06-28 16:25:04

D3js(三):force实例

文章目录Data-Driven Documents理解selectionsselections操作直接上码:导入库,这里使用d3.v3,d3.v5可能有差异:建立画布,并把画布svg添加到html的body或者div里建立力矩图读取json数据把数据放进force里,force就可以直接使用自己的数据了依次把边添加到svg依次把节点添加到svg定义事件 mouseover, mouseout定义事...

2019-06-28 15:47:27

D3js(二): d3js基础

文章目录Creating SVG Elements Based on DataUsing the SVG Coordinate Space(坐标系)json数组简化SVG Basic Shapes and D3.jsSVG Paths and D3.jsSVG Group Element and D3.jsSVG Text Element来源:https://www.dashingd3js.com...

2019-06-28 14:33:14

D3js(一): d3js和DOM

文章目录SVGAdding a DOM ElementAdding an SVG ElementBinding Data to DOM ElementsUsing Data Bound to DOM ElementsSVG<svg width="50" height="50"> <rect x="0" y="0" width="50" height="50" fill="...

2019-06-28 11:41:06

deepin安装node,npm

文章目录评价deepinapt-get安装版本旧的不行推荐nvm安装评价deepin首先更新是落后于ubuntu的,所以导致可能很多最基本的库是旧的,甚至于内核,导致很多软件安装比较困难。apt-get安装版本旧的不行推荐nvm安装root@qbt:/home/qbt/Downloads# wget -qO- https://raw.githubusercontent.com/creat...

2019-06-22 11:10:24

neo4j-admin导入海量数据

文章目录1. ubuntu安装neo4j, 非docker方式2. 准备数据3. neo4j-admin的使用1. ubuntu安装neo4j, 非docker方式之所以使用非docker方式,是我们需要使用neo4j-admin方式导入csv文件,需要在关系neo4j的情况下操作,docker下操作不方便,可能我不会。java -versionwget -O - https://debi...

2019-05-05 18:00:00

Ubuntu 16.04 LTS 在anaconda环境下安装pytorch和tensorflow gpu,cuda10.0

文章目录准备更新笔记本的显卡驱动到较新的,最好是倒数第二新的版本安装cuda和cudnn:安装conda:安装tensorflow-gpu:安装pytorch:安装jupyter notebook:安装spyder:base 安装spyder,切换使用虚拟环境的kernel:每个虚拟环境均安装一个安装spyder:准备最新的Anaconda:https://mirrors.tuna.tsin...

2019-05-05 17:45:12

Win10 ancona傻瓜安装tensorflow-gpu,ancona傻瓜安装pytorch-gpu

楔子之前是在ubuntu16.04LTS上安装的是python2.7非anconda方式的tensorflow-gpu。1、学习使用一段时间后python2.7有点坑,网上的好多代码不能直接运行,比如:无法使用**表示keywords dic;2、而且在ubuntu使用spyder始终无法实现汉字的输入,对于学习阶段注释很重要,很不方便;3、后来偶然使用wintogo制作了一个win10的...

2019-04-22 23:17:22

语音特征提取: MFCC的理解

文章目录1. 一般wav提取特征的方式:2. 什么是MFCC:3. 什么求倒谱:4. 什么是频谱的包络:5.如何获取频谱的包络:1. 一般wav提取特征的方式:2. 什么是MFCC:在mel-spectrum上取对数,再做傅里叶变换得到的特征,就是MFCCs。这个过程可以概括为对mel-spectrum求倒谱。3. 什么求倒谱:求倒谱 就是对频谱取对数,再做傅里叶变换,又回去了。实...

2019-04-12 11:43:18

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。