6 xubc

尚未进行身份认证

IT酱油课

等级
博文 59
排名 5w+

win10中tensorflow-gpu安装

本机安装的版本号如下操作系统:      Windows10   GPU型号:      NVIDIAGeForce920MXTensorFlow版本:tensorflow-gpu1.9.0CUDA版本:    cuda_9.0.176_win10CUDNN版本:   cudnn-9.0-windows10-x64-v7.1安装python的...

2018-07-25 10:25:43

spark中日志清理

spark开启history-server之后,app日志会保存在制定的目录下,若yarn开启日志收集,也需要进行app-logs的自动清理##yarn日志收集yarn.log-aggregation.retain-seconds=1209600yarn.log-aggregation.retain-check-interval-seconds=86400##spa...

2018-07-17 10:54:26

常见函数导数公式

2018-07-11 14:46:32

回归评价指标

分类问题一般使用准确率,召回率等评价指标,但是回归问题评价一般使用误差相关定义指标:MSE    MeanSquaredError   均方误差   这个就是目标损失函数lossfunctionRMSE  rmse=sqrt(MSE)MAER2参考:https://blog.csdn.net/skullFang/article/details/79107127...

2018-07-10 16:40:49

hbase regionserver进程启动参数

/usr/jdk64/jdk1.8.0_77/bin/java-Dproc_regionserver-Dcom.sun.management.jmxremote-Dcom.sun.management.jmxremote.port=18409-Djava.rmi.server.hostname=10.50.70.20-Dcom.sun.management.jmxremote.s...

2018-06-15 11:16:27

hive中SerDe使用

SerDeisashortnamefor“SerializerandDeserializer.”HiveusesSerDe(and!FileFormat)toreadandwritetablerows.HDFSfiles–>InputFileFormat–><key,value>–>Deserializer–&gt...

2018-05-07 11:21:48

推荐系统评测指标

用户满意度技术指标:准确率召回率覆盖率多样性流行度新颖度惊喜度实时性产品指标:点击率ctr转化率vppv

2018-03-29 14:42:37

信息熵

信息熵信息增益信息增益比基尼系数马太效应

2018-03-29 14:05:01

二分类评判指标

Precision:TP/(TP+FP),分类器预测出的正样本中,真实正样本的比例Recall:TP/(TP+FN),在所有真实正样本中,分类器中能找到多少Accuracy:(TP+TN)/(TP+NP+TN+FN),分类器对整体的判断能力,即正确预测的比例参考文章:http://alexkong.net/2013/06/introduction-to-auc-and-roc/...

2018-03-28 17:42:09

NLP处理-Spark中的HashTF与CountVectorizer模型

http://spark.apache.org/docs/latest/ml-features.html#tf-idfimportorg.apache.spark.ml.feature._importorg.apache.spark.ml.linalg.SparseVectorimportorg.apache.spark.sql.SparkSessionimportsc

2017-07-10 15:32:17

maven编译异常错误loading CharSequence class file is broken

在用maven对项目进行编译打包时,遇到了下面奇怪的编译错误"C:\ProgramFiles\Java\jdk1.8.0\bin\java""-Dmaven.home=C:\ProgramFiles(x86)\JetBrains\IntelliJIDEACommunityEdition2016.2.1\plugins\maven\lib\maven3""-Dclasswo

2017-07-06 11:09:38

spark application运行时版本不兼容错误

17/06/2714:34:41INFOdeprecation:mapred.map.tasksisdeprecated.Instead,usemapreduce.job.maps17/06/2714:34:41INFOMemoryStore:Blockbroadcast_0storedasvaluesinmemory(estimatedsize788

2017-07-03 17:46:52

ssh远程到目标机器执行命令shell脚本

linux下ssh到目标机器首先需要配置免密码登陆,才能执行如下脚本 hostnames服务器列表文件master.hadoopw1.hadoopw2.hadoopw3.hadoopw4.hadoop 运行shell脚本#!/bin/bashfunctionusage(){echo"Wrongargumentsinput..."echo"Usa

2017-06-30 09:50:49

spark读取mongodb数据

valspark=SparkSession.builder.appName(this.getClass.getName().stripSuffix("$")).getOrCreate()valdf=spark.read.format("com.mongodb.spark.sql").options(Map

2017-06-26 11:38:51

spark在windows上local模式下的缺失winutils.exe异常

在window10上IntellijIDEA上已Local的模式运行调试Spark程序,并且将中间结果写入本地目录时,程序抛出异常错误UsingSpark'sdefaultlog4jprofile:org/apache/spark/log4j-defaults.properties17/06/1911:24:33INFOSparkContext:RunningSpark

2017-06-19 11:49:41

mongo在shell中操作命令

在linux中安装mongodb的客户端很简单,下载对应版本的mongodb-linux-x86_64-rhel62-3.4.2.tgz,解压后加入目录bin到环境变量中就可使用mongo198.168.0.1:27017/nlp-unlp_s-p123456连接mongo之后,数据库操作命令#查看库中所有表showcollections;#查看表中数据db.

2017-06-05 11:44:07

随机变量协方差的意义

在概率论中,两个随机变量X与Y之间相互关系,大致有下列3种情况:当X,Y的联合分布像上图那样时,我们可以看出,大致上有:X越大 Y也越大,X越小 Y也越小,这种情况,我们称为“正相关”。当X,Y的联合分布像上图那样时,我们可以看出,大致上有:X越大Y反而越小,X越小Y反而越大,这种情况,我们称为“负相关”。

2017-05-26 14:12:16

spark提交任务端口占用异常

当在同一台机器上提交多个spark任务时并且是以client的方式提交,会报端口占用错误17/05/0515:51:07WARNAbstractLifeCycle:FAILEDorg.spark-project.jetty.server.Server@3c8bdd5b:java.net.BindException:Addressalreadyinusejava.net.

2017-05-05 16:13:59

python库numpy的使用

python库numpy的使用

2017-04-27 15:24:36

导数据中的网络引起的异常

最近由hive想应用数据库mysql和hbas导数据的时候,莫名的出现很多连接异常或者中断的情况,初步怀疑是开启并发过多占满网络带宽导致  导入mysql数据库LostconnectiontoMySQLserverat'readingauthorizationpacket',systemerror:0 导入Hbase数据库时ssh连接中断  ja

2017-04-27 14:52:37
奖章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!