erinapple的博客

原创 绘图之Drawio

drawio绘图工具简介drawio简单使用_哔哩哔哩_bilibili

原创 SQl 经验总结

get_json_object

原创 sh -x

sh -x 命令的执行 将执行过程显示 利于 debugsh -x yourshell.sh写入logsh -x yourshell.sh &> logshell命令怎么学 linux shell？ - 地球的外星人君的回答 - 知乎 https://www.zhihu.com/question/21281304/answer/172924307...

原创 GPU CPU(MPI) 区别

从CPU 迁移到GPU 两者的区别主要是GPU 并发低 计算优势CPU（即MPI） 并发性高 计算性能。但是使用经验是 使用的人多 相对应的集群等待时间长DRAM即动态随机存取存储器，是常见的系统内存。Cache存储器：电脑中作高速缓冲存储器，是位于CPU和主存储器DRAM之间，规模较小，但速度很高的存储器算术逻辑单元ALU是能实现多组算术运算和逻辑运算的组合逻辑电路。...

转载 mac 解压

第一次用Mac的电脑。好多不适应zip解压直接用系统自带的就可以Mac解压1.安装unrar（遇到brew问题）brew install unrar2.cd 到你的rar文件的目录下面cd /Users/edz/Downloads3.解压rar文件unrar x CSDNRecordingTemplates.rar...

原创 查看源码

使用pycharm比较好或者是idea https://www.oschina.net/code/snippet_4873_16289?p=3#comments

转载 pycharm中查看内建函数源码

在写代码的过程中，有的不常用的函数会忘记其具体用法，可以使用pycharm来查看源码，帮助自己重新想起来具体的使用方法：鼠标放在内建函数上，Ctrl+B，看源码点击需要查看源码的函数名，按住Ctrl+B自动跳转即可...

转载 装饰器@

http://python.jobbole.com/80955/

原创 从checkpoint获取某个变量的值

在进行调试的时候，可以保存模型，，加载模型保存模型的一种是保存成checkpoint,而如何从保import tensorflow as tfv1 = tf.Variable(tf.random_normal([1, 2]), name="v1")v2 = tf.Variable(tf.random_normal([2, 3]), name="v2")init_op = tf.gl...

转载 tensorflow collection

https://blog.csdn.net/shenxiaolu1984/article/details/52815641tensorflow用集合colletion组织不同类别的对象。tf.GraphKeys中包含了所有默认集合的名称。collection提供了一种“零存整取”的思路：在任意位置，任意层次都可以创造对象，存入相应collection中；创造完成后，统一从一个collect...

原创 dropout层

之前了解的网络都是在全连接层加dropout层，防止模型过拟合。在看deepfm的模型的时候，发现在每一层都可以加入dropout层对dropout层的深入理解做分类的时候，Dropout 层一般加在全连接层 防止过拟合 提升模型泛化能力。而很少见到卷积层后接Drop out （原因主要是 卷积参数少，不易过拟合） er类似卷积神经网络，只是在最后的全连接层使用dropout,循环神经...

转载 安装tensorflow 使用conda

https://blog.csdn.net/nxcxl88/article/details/527048771. 安装Anaconda从anaconda官网（https://www.continuum.io/downloads）上下载linux版本的安装文件（推荐Python 2.7版本），运行sh完成安装。2. 建立一个tensorflow的运行环境# Python 3.7$ ...

转载 C++ for循环5种用法

#include <algorithm> #include <vector> ////////////////////////////////////////////// int nArray[] = {0, 1, 2, 3, 4, 5}; std::vector<int> vecNum(nArray, nArray + 6); CStri...

原创 hive 中引号问题

写一段hql语句，其中一列引用shell脚本中的变量current_date=`date +%Y-%m-%d`​ #获得当前日期，如2015-03-18开始用双引号。​select '"'$current_date'"'...返回结果对应列返回​奇怪的数字，如1994。后改用单引号，select '$current_date'...​正常返回​2015-03-18...

转载 hive jiqiao

1.在Hive中可以使用正则表达式set hive.support.quoted.identifiers=None; select a.pin, `(pin)?+.+` from Table122.输出表数据时，显示列名set hive.cli.print.header=true;3.排序优化order by全局排序，一个reduce实现，不能并行故效率偏低；sort by部分...

转载 dataframe性质

1）查看DataFrame数据及属性df_obj = DataFrame() #创建DataFrame对象df_obj.dtypes #查看各行的数据格式df_obj['列名'].astype(int)#转换某列的数据类型df_obj.head() #查看前几行的数据,默认前5行df_obj.tail() #查看后几行的数据,默认后5行df_obj.index #查看索引df_...

转载 xgboost 输出重要特征

def ceate_feature_map(file_name,features): outfile = open(file_name, 'w') for i, feat in enumerate(features): outfile.write('{0}\t{1}\tq\n'.format(i, feat)) #feature type, use...

转载 hive reduce

、    控制hive任务中的map数:1.    通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2.    举例：a)    假设input目录下有1个文件a,大小为780...

转载 python 中的struct 类型

准确地讲，Python没有专门处理字节的数据类型。但由于str既是字符串，又可以表示字节，所以，字节数组＝str。而在C语言中，我们可以很方便地用struct、union来处理字节，以及字节和int，float的转换。在Python中，比方说要把一个32位无符号整数变成字节，也就是4个长度的str，你得配合位运算符这么写：>>> n = 10240099>&gt...

翻译 Hive 导入的中文数据出现乱码问题

1， hive支持的utf8，所以需要将文件的格式转换为对应的utf8。2，Hive中文乱码问题的解决办法，网上有很多帖子，然而很多都是基于Linux终端显示字符的修改，其实上对于一些条件下的HIVE中文乱码问题是无法解决的，如从CSV文件导入到HIVE中出现的中文乱码问题。 大家都知道，HIVE原生的字符编码是采用UTF-8方式的，这是支持中文的。然而在从Oracle导出CSV文件...

原创 contab设置周期性任务

CRONTAB概念/介绍      crontab命令用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。cron 系统调度进程。 可以使用它在每天的非高峰负荷时间段运行作业，或在一周或一月中的不同时段运行。cron是系统主要的调度进程，可以在无需人工干预的情况下运行作业。crontab命令允许用户提交、编辑或删除相应的作业。...

原创 shell 获取当月时间

 #!/bin/bash# 获取当前月份monthhive=`date +%Y-%m`# 获取昨天的日期#dthive=`date -d last-day +%Y-%m-%d`dthive=`date -d "2 days ago" +%Y-%m-%d`#$date -d "2 days ago" +%Y-%m-%d echo "nohup hive -hiveconf d...

原创 XGBOOST数据

XGBOOST处理的数据形式，主要可以是libsvm， 三元组，numpy的形式其中，numpy的形式是最常见的，通常情况下，使用HIVE处理的数据，样本字段，往往都是处理成numpy的形式，进行处理。但是，当数据非常稀疏的时候。可以将数据处理成KEY：VALUE的形式或者四三元组的形式尤其是点击对应的推荐系统...

原创 XGBOOST 数据处理

在Python中使用XGBoost下面将介绍XGBoost的Python模块，内容如下： * 编译及导入Python模块 * 数据接口 * 参数设置 * 训练模型l * 提前终止程序 * 预测A walk through python example for UCI Mushroom dataset is provided.安装首先安装XGBoost的C++版本，然后进...

原创 XGBOOST 进行稀疏数据的处理

xgboost进行稀疏数据的处理当数据及其稀疏的时候，不应该转换为numpy等形式，尤其是点击数据。商品成千上万，用户点击商品的种类只是其中的某一些类型，但是以此建立起来的点击矩阵的纬度却是庞大而冗余解决方式1：将数据转化为libsvm存储的形式， 数据的第一列是label, 第二列之后的是特征label   key1:value1  key2:value2  key3:val...

原创 Python time strftime()方法

描述Python time strftime() 函数接收以时间元组，并返回以可读字符串表示的当地时间，格式由参数format决定。语法strftime()方法语法：time.strftime(format[, t])参数format -- 格式字符串。t -- 可选的参数t是一个struct_time对象。返回值返回以可读字符串表示的当地时间。说明python中时间日期格式化符号：%y 两位数的...

原创 seaborn python 数据可视化的一种利器

from __future__ import divisionimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as sns1234561、定性调色板 Qualitative默认的定性调色板：deep, muted, pastel, bright, dark, colorbl...

转载 .loc，.iloc，.ix python

python 中根据位置取值.loc，.iloc，.ix还可以通过每一行的索引和列的索引，把需要的行和列单独取出来.loc主要是针对字符串的，当索引是字符串那么就用.loc，如果索引是数字，就用iloc[python] view plain copyimport numpy as np  import pandas as pd  df = pd.DataFrame(np.arange(0,60,2...

转载 ABTest

在倡导数据驱动的公司中，会通过大量的数据分析来了解产品业务的进展以及做相关的决定。一个较大的产品或者策略改进上线以后，需要进行一段时间的abtest，以决定这个产品或者策略改进是否符合预期，是否要扩大流量，或者需要中止实验。ABTest系统背景互联网与传统软件行业的开发最大区别就是快速迭代,新增一个业务或者新增一个基于老业务的算法更新也许只是某个工程师一天的结果。在这种代码高速发布过程中, 必然存...

原创 SQL order by limit

limit 0,1, 从你的表中的第0个数据开始，只读取一个；我们再看下mysql解释sql语言时的执行顺序：(7) SELECT (8) DISTINCT <select_list>(1) FROM <left_table>(3) <join_type> JOIN <right_table>(2) O...

转载 SOL 顺序

转载 linux 下文件权限问题

今天发现DB2中 ~sqllib/security/下面的文件：[db2inst1@win ~]$ ls -sil sqllib/securitytotal 27644686935 4 drwxr-sr-x. 2 db2inst1 db2iadm1 4096 Oct 8 2012 auditdata4686916 80 -r-s--x--x. 1 db2inst1 db2iadm1 81595 J...

翻译 sh 脚本文件

介绍：1 开头程序必须以下面的行开始（必须方在文件的第一行）：#!/bin/sh符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行程序。当编写脚本完成时，如果要执行该脚本，还必须使其可执行。要使编写脚本可执行：编译 chmod+x filename 这样才能用./filename 来运行2 注释在进行shell编程时，以#开头的句子表示注释，直到这一行...

转载 linux下的压缩文件

Linux下的压缩文件剖析 对于刚刚接触Linux的人来说，一定会给Linux下一大堆各式各样的文件名给搞晕。别个不说，单单就压缩文件为例，我们知道在Windows下最常见的压缩文件就只有两种，一是,zip，另一个是.rap。可是Linux就不同了，它有.gz、.tar.gz、tgz、bz2、.Z、.tar等众多的压缩文件名，此外windows下的.zip和.rar也可以在Linux下使用，不过在...

原创 linux 常用知识点

Linux/etc/profile文件的改变会涉及到系统的环境，也就是有关Linux环境变量的东西，学习Linux要了解Linuxprofile文件的相关原理，这里对则以文件进行具体分析。这里修改会对所有用户起作用。　　1、Linux是一个多用户的操作系统。每个用户登录系统后，都会有一个专用的运行环境。通常每个用户默认的环境都是相同的，这个默认环境实际上就是一组环境变量的定义。用户可以对自己的运行...

转载 linux常用的命令

介绍：1 开头程序必须以下面的行开始（必须方在文件的第一行）：#!/bin/sh符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行程序。当编写脚本完成时，如果要执行该脚本，还必须使其可执行。要使编写脚本可执行：编译 chmod+x filename 这样才能用./filename 来运行2 注释在进行shell编程时，以#开头的句子表示注释，直到这一行...

翻译 Linux下profile和bashrc四种的区别

/etc/profile、/etc/bashrc、~/.bash_profile、~/.bashrc很容易混淆，他们之间有什么区别？它们的作用到底是什么？/etc/profile: 用来设置系统环境参数，比如$PATH. 这里面的环境变量是对系统内所有用户生效的。/etc/bashrc:  这个文件设置系统bash shell相关的东西，对系统内所有用户生效。只要用户运行bash命令，那么这里面的...

翻译 numpy中argsort()函数的用法以及sort(),sorted()

argsort函数返回的是数组值从小到大的索引值,是numpy中的函数python的内建排序函数有 sort、sorted两个。1、基础的序列升序排序直接调用sorted()方法即可1 ls = list([5, 2, 3, 1, 4])2 new_ls = sorted(ls)或者使用ls.sort()即可，直接将ls改变3 print(new_ls)需要注意：sort()方法仅定义在lis...

翻译 python 中 np.where

python或者numpy中能够返回符合某一条件的下标的函数是np.where()，不过np.where()并不接受list类型的参数，可见np.where()既可以接收三个参数，用于三目运算，也可接收一个参数，返回符合条件的下标。>>a = np.array(a)>>aarray([1, 2, 3, 1, 2, 3, 1, 2, 3])>>idx = n...

转载 WOE python手写代码

http://www.sohu.com/a/227312722_479788