- 博客(160)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 Spark SQL中出现 CROSS JOIN 问题解决
Spark SQL中出现 CROSS JOIN 问题解决1、问题显示如下所示： Use the CROSS JOIN syntax to allow cartesian products between these relation 2、原因： Spark 2.x版本中默认不支持笛卡尔积操作3、解决方案： 通过参数spark.sq...
2019-08-09 12:50:39
5083
原创 Python 中的时间处理包datetime和arrow
Python 中的时间处理包datetime和arrow在获取贝壳分的时候用到了时间处理函数，想要获取上个月时间包括年、月、日等# 方法一:today = datetime.date.today() # 1. 获取「今天」first = today.replace(day=1) # 2. 获取当前月的第一天last_month = first - datetime.ti...
2019-07-05 20:29:52
18449
6
原创 Pycharm 在Windows下出现闪退问题（即是在运行一段时间后，自己就退出崩掉了）的解决方法
Pycharm 在Windows下出现闪退问题（即是在运行一段时间后，自己就退出崩掉了）的解决方法 最近自己下载了最新版本的Pycharm，运行程序过程中发现，在运行一段时间后（比如10几分钟），Pycharm会自动退出，查询了很久才解决了。Why？是因为你自己下载的Pycharm是最新版或更新到了最新版，但是你的破解补丁文件没有更新，版本对应不上所引发的问题。How to R...
2018-08-09 20:45:58
39357
6
原创 pip 安装出现超时问题的解决
pip 安装出现超时问题的解决 我们在用默认的pip源进行安装python库时，会出现超时问题下载不了，如下图显示所示：那么我们应该如何解决呢？方法：在自己电脑的 C:\Users\yanjiangdi001 路径下新建pip文件夹，如下图所示：（也可以直接下载，百度云链接：https://pan.baidu.com/s/1whZ-yemc9bjVosbhO1gfVQ ...
2018-08-02 17:42:02
13385
18
原创 Navicat ：Access violation at address ***(如004ECCF4） in module ‘navicat.exe’. Read of address ***.
Navicat 提示 Access violation at address ***(如004ECCF4） in module ‘navicat.exe’. Read of address ***(如00000048） 问题显示如下图所示：解决：这是内存越界的问题，需要重新注册Windows的动态链接库。方法如下：运行 -> cmd，然后在命令行中输入：for %1 in...
2018-07-31 18:20:46
35025
4
原创 OpenCV + python 实现人脸检测（基于照片和视频进行检测）
OpenCV + python 实现人脸检测（基于照片和视频进行检测） Haar-like通俗的来讲，就是作为人脸特征即可。Haar特征值反映了图像的灰度变化情况。例如：脸部的一些特征能由矩形特征简单的描述，如：眼睛要比脸颊颜色要深，鼻梁两侧比鼻梁颜色要深，嘴巴比周围颜色要深等。opencv api要想使用opencv，就必须先知道其能干什么，怎么做。于是API的重要性便体现出来了。就本例而言，...
2018-05-03 00:58:01
5827
原创 PDFBOX详解
PDFBOX详解 摘要 自从Adobe公司1993年第一次发布公共PDF参考以来，支持各种语言和平台的PDF工具和类库就如雨后春笋般涌现。然而，Java应用开发中Adobe技术的支持相对滞后了。 自从Adobe公司1993年第一次发布公共PDF参考以来，支持各种语言和平台的PDF工具和类库就如雨后春笋般涌现。然而，Java应用开发中Adobe技术的支持相对滞后了。这
2017-12-01 15:12:18
9626
3
原创 增长模型—评分卡模型
一、评分卡模型PS：核心点在于我们需要一个判别指标来对数据进行打标签分类1、项目简介：信用评分技术是一种应用统计模型，其作用是对贷款申请人做风险评估分值的方法。在互金公司等各种贷款业务机构中，普遍使用信用评分，对客户实行打分制，以期对客户有一个优质与否的评判。评分卡主要分为三类A卡（申请评分卡）、B卡（行为评分卡）、C卡（贷后评分卡）。我们主要讨论的是A卡即申请评分卡，用于贷前审批阶段对借款申请人的量化评估；2、评分卡原理：申请评分卡是一种统计模型，它可基于对当前申请...
2020-09-16 20:57:16
1266
原创 三大相关系数：pearson, spearman, kendall
三大相关系数：pearson, spearman, kendall统计学中的三大相关性系数：pearson, spearman, kendall，他们反应的都是两个变量之间变化趋势的方向以及程度，其值范围为-1到+1。0表示两个变量不相关，正值表示正相关，负值表示负相关，值越大表示相关性越强。1. person correlation coefficient（皮尔森相关性系数） ...
2019-11-27 10:41:21
2934
原创 Python中的赋值、深拷贝与浅拷贝（内存地址）
Python中的赋值、深拷贝与浅拷贝（内存地址）1、python中的可变对象与不可变对象(1) 可变对象：dict,listdef dict_test(): a = {} b = a print(id(a)) # 140367329543360 a['a'] = 'h...
2019-11-24 21:09:21
2041
原创 三大相关系数: pearson, spearman, kendall（python示例实现）
三大相关系数: pearson, spearman, kendall统计学中的三大相关性系数：pearson, spearman, kendall，他们反应的都是两个变量之间变化趋势的方向以及程度，其值范围为-1到+1。0表示两个变量不相关，正值表示正相关，负值表示负相关，值越大表示相关性越强。1. person correlation coefficient（皮尔森相关性系数）皮尔逊相关...
2019-09-17 21:09:12
7138
原创 Xshell删除键不好使：删除显示退格^H
Xshell删除键不好使：删除显示退格^H1、问题： Xshell不能删除，删除时出现退格^H2、解决方案： 点击上方：文件→属性→终端→键盘，把delete和backspace序列改为ASCII 127即可。如下所示： 3、重启Xshell，即可以删除了。...
2019-08-09 22:10:07
2481
原创 Python apply函数
Python apply函数1、介绍apply函数是pandas里面所有函数中自由度最高的函数。该函数如下：DataFrame.apply(func, axis=0, broadcast=False, raw=False, reduce=None, args=(), **kwds)该函数最有用的是第一个参数，这个参数是函数，相当于C/C++的函数指针。这个函数需要自己实现...
2019-07-05 21:03:38
124580
4
原创 Python Dataframe 分组排序和 Modin
Python Dataframe 分组排序和 Modin1、按照其中一列进行排序在dataframe中，按照其中的一列排序：比如q值倒排(1)rank方法data['new_rank'] = data.groupby('house_code')['q_score_new'].rank(ascending=False, method='dense')(2)sort_val...
2019-07-05 20:42:19
6834
2
原创 hive中order by、distribute by、sort by和cluster by的区别和联系
hive中order by、distribute by、sort by和cluster by的区别和联系order byorder by 会对数据进行全局排序,和oracle和mysql等数据库中的order by 效果一样，它只在一个reduce中进行所以数据量特别大的时候效率非常低。而且当设置 ：set hive.mapred.mode=strict的时候不指定limit，执...
2019-07-05 20:17:33
1708
原创 Python2.x与3.x版本区别
Python2.x与3.x版本区别1、print 函数print语句没有了，取而代之的是print()函数。 Python 2.6与Python 2.7部分地支持这种形式的print语法。在Python 2.6与Python 2.7里面，以下三种形式是等价的：print "fish"print ("fish") #注意print后面有个空格print("fish") #print...
2019-02-24 20:36:21
1371
原创 count（*）、count（1）和count（列名）的区别
count（*）、count（1）和count（列名）的区别 1、执行效果上： l count(*)包括了所有的列，相当于行数，在统计结果的时候，不会忽略列值为NULL l count(1)包括了忽略所有列，用1代表代码行，在统计结果的时候，不会忽略列值为NULL l count(列名)只包括列名那一列，在统计结果的时候，会忽略列值为空（这里的空不是只空字符串或者0...
2018-11-19 20:34:07
12362
3
原创 shell切分字符串到数组
shell切分字符串到数组 问题：对于’aa,bb,cc,dd,ee’这样的字符串输出采用,分隔开的aa bb cc dd ee aa:bb is ok:/home/work按照":"分割开来的aa bb is ok /home/work解决方法1：#!/bin/bashvar=’aa,bb,cc,dd,ee’var=${var//,/ } #这里是将va...
2018-10-22 21:03:32
5447
原创 Windows下pip安装及更新出现“UnicodeEncodeError: 'ascii' codec can't encode character u'\u258c' in position 8:
Windows下pip安装及更新出现“UnicodeEncodeError: 'ascii' codec can't encode character u'\u258c' in position 8: ordinal not in range(128)”问题解决办法 问题显示如下： 1.找到Python安装包的路径Lib\site-packages(如：E:\python27\...
2018-09-29 21:13:59
2552
2
原创 Python中的三元运算符
Python中的三元运算符 对于如下需求if var1>1 : goal = "执行表达式1"else: goal = "执行表达式2" 1、在其他语言中（例如java）的三元表达式如下所示int var1 = 1;String goal = "";goal = var1 > 1? "执行表达式1":"执行表达式2"Syste
2018-08-24 16:42:14
2655
原创 安装 Xshell 5/6 时出现.dll以及0xc000007错误的解决
安装 Xshell 5/6 时出现.dll以及0xc000007错误的解决 问题：缺少 mfc110.dll或者是其他.dll文件以及应用程序运行错误，如下所示。方法：一种是网上直接下载。（缺少.dll文件）二是去已经有该文件的电脑拷贝。（也是缺少.dll文件，但是这种方法不可取）三是利用工具。推荐dll专修工具：Direct X（下载链接: https://pan...
2018-07-30 14:13:02
6068
原创 数据挖掘150道笔试题
数据挖掘150道笔试题单选题1. 某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？(A)A. 关联规则发现 B. 聚类C. 分类 D. 自然语言处理2. 以下两种描述分别对应哪两种对分类算法的评价标准？ (A) (a)警察抓小偷，描述警察抓的人中有多少...
2018-03-29 21:33:29
7477
原创 人脸识别必读的优秀论文
人脸识别必读的优秀论文 一，人脸检测/跟踪人脸检测/跟踪的目的是在图像/视频中找到各个人脸所在的位置和大小；对于跟踪而言，还需要确定帧间不同人脸间的对应关系。 1,Robust Real-time Object Detection. Paul Viola, Michael Jones. IJCV 2004.入选理由：Viola的人脸检测工作使得人脸检测真正变得实时可用。他们发表了一系列文章，这篇是...
2018-03-26 20:30:55
6553
原创 人脸识别的主要算法以及原理
人脸识别的主要算法以及原理主流的人脸识别技术基本上可以归结为三类，即：基于几何特征的方法、基于模板的方法和基于模型的方法。1. 基于几何特征的方法是最早、最传统的方法，通常需要和其他算法结合才能有比较好的效果；2. 基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等。3. 基于模型的方法则有基于隐马尔柯夫模型，主动形状模型和主动...
2018-03-26 20:24:29
16563
原创 Java 常见异常种类
Java 常见异常种类 Java Exception：1、Error 2、Runtime Exception 运行时异常3、Exception 4、throw 用户自定义异常异常类分两大类型：Error类代表了编译和系统的错误，不允许捕获；Exception类代表了标准Java库方法所激发的异常。Exception类还包含运行异常类Runtime_Exception和非运行异常类Non_Runti...
2018-03-20 16:14:29
1327
原创 关系型数据库和非关系型数据库的区别
关系型数据库和非关系型数据库的区别1.关系型数据库通过外键关联来建立表与表之间的关系，2.非关系型数据库通常指数据以对象的形式存储在数据库中，而对象之间的关系通过每个对象自身的属性来决定 比如 有一个学生的数据： 姓名：张三，性别：男，学号：12345，班级：二年级一班 还有一个班级的数据： 班级：二年级一班，班主任：李四 关系型...
2018-03-20 15:42:41
1346
原创 HTTP中Get与Post的区别
HTTP中Get与Post的区别 Http定义了与服务器交互的不同方法，最基本的方法有4种，分别是GET，POST，PUT，DELETE。URL全称是资源描述符，我们可以这样认为：一个URL地址，它用于描述一个网络上的资源，而HTTP中的GET，POST，PUT，DELETE就对应着对这个资源的查，改，增，删4个操作。到这里，大家应该有个大概的了解了，GET一般用于获取/查询资源信息，而POST一...
2018-03-13 20:34:34
1274
转载 图像识别中的深度学习
图像识别中的深度学习 来源：《中国计算机学会通讯》第8期《专题》作者：王晓刚深度学习发展历史深度学习是近十年来人工智能领域取得的重要突破。它在语音识别、自然语言处理、计算机视觉、图像与视频分析、多媒体等诸多领域的应用取得了巨大成功。现有的深度学习模型属于神经网络。神经网络的起源可追溯到20世纪40年代，曾经在八九十年代流行。神经网络试图通过模拟大脑认知的机理解
2018-02-03 15:57:00
1736
原创 经典排序算法详细总结。
经典排序算法详细总结。 前言 查找和排序算法是算法的入门知识，其经典思想可以用于很多算法当中。因为其实现代码较短，应用较常见。所以在面试中经常会问到排序算法及其相关的问题。但万变不离其宗，只要熟悉了思想，灵活运用也不是难事。一般在面试中最常考的是快速排序和归并排序，并且经常有面试官要求现场写出这两种排序的代码。对这两种排序的代码一定要信手拈来才行。还有插入排序、冒泡排序、
2017-12-15 11:17:41
1360
原创 java中的switch case语句
java中的switch case语句 switch-case语句格式如下：switch(变量){case 变量值1: //; break;case 变量值2: //...; break; ...case default: //...; break;}swtich()变量类型只能是int、sho
2017-12-14 19:13:32
1764
转载 精选30道Java笔试题解答
精选30道Java笔试题解答 都是一些非常非常基础的题，是我最近参加各大IT公司笔试后靠记忆记下来的，经过整理献给与我一样参加各大IT校园招聘的同学们，纯考Java基础功底，老手们就不用进来了，免得笑话我们这些未出校门的孩纸们，但是IT公司就喜欢考这些基础的东西，所以为了能进大公司就~~~当复习期末考吧。花了不少时间整理，在整理过程中也学到了很多东西，请大家认真对待
2017-12-14 17:27:53
2043
原创 Java集合类: Set、List、Map、Queue使用场景梳理
Java集合类: Set、List、Map、Queue使用场景梳理 本文主要关注Java编程中涉及到的各种集合类，以及它们的使用场景 相关学习资料http://files.cnblogs.com/LittleHann/java%E9%9B%86%E5%90%88%E6%8E%92%E5%BA%8F%E5%8F%8Ajava%E9%9B%86%E5%9
2017-12-13 17:41:30
1491
原创 Java通过JDBC进行简单的增删改查（以MySQL为例）
Java通过JDBC进行简单的增删改查（以MySQL为例） 目录：前言：什么是JDBC一、准备工作（一）：MySQL安装配置和基础学习二、准备工作（二）：下载数据库对应的jar包并导入三、JDBC基本操作 (1)定义记录的类（可选） (2)连接的获取 (3)insert (4)update (5)
2017-12-11 17:35:32
1689
原创 Servlet学习笔记
Servlet学习笔记 一、Servlet 是什么？Java Servlet 是运行在 Web 服务器或应用服务器上的程序，它是作为来自 Web 浏览器或其他 HTTP 客户端的请求和 HTTP 服务器上的数据库或应用程序之间的中间层。使用 Servlet，您可以收集来自网页表单的用户输入，呈现来自数据库或者其他源的记录，还可以动态创建网页。Java Servlet
2017-12-08 17:54:46
1372
原创 Tomcat原理详解
Tomcat原理详解 Tomcat是一个JSP/Servlet容器。其作为Servlet容器，有三种工作模式：独立的Servlet容器、进程内的Servlet容器和进程外的Servlet容器。Tomcat目录：tomcat |---bin：存放启动和关闭tomcat脚本 |---conf：存放不同的配置文件（server.xml和web.xml）；
2017-12-08 14:12:25
1445
原创 Tomcat的JVM和连接数设置
Tomcat的JVM和连接数设置 Windows环境下修改“%TOMCAT_HOME%\bin\catalina.bat”文件，在文件开头增加如下设置：set JAVA_OPTS=-Xms256m -Xmx512mLinux环境下修改“%TOMCAT_HOME%\bin\catalina.sh”文件，在文件开头增加如下设置：JAVA_OPTS=’-Xms
2017-12-07 17:47:50
1402
原创 Google Chrome 未响应。是否立即重新启动？ 解决方法
Google Chrome 未响应。是否立即重新启动？ 解决方法 不当的退出会造成 Google Chrome 无法启动。出现“Google Chrome 未响应。是否立即重新启动？”的错误。 要解决这个问题： １.同时按住Windows旗帜键（在左边Alt的左边）和R键，调出Windows的“运行”窗口 ２.输入CMD，按Enter键
2017-12-07 12:15:32
7552
原创 LDAP服务器的概念和原理简单介绍
LDAP服务器的概念和原理简单介绍1. 目录服务目录是一个为查询、浏览和搜索而优化的专业分布式数据库，它呈树状结构组织数据，就好象Linux/Unix系统中的文件目录一样。目录数据库和关系数据库不同，它有优异的读性能，但写性能差，并且没有事务处理、回滚等复杂功能，不适于存储修改频繁的数据。所以目录天生是用来查询的，就好象它的名字一样。
2017-12-06 20:18:00
1377
原创 Java IO流学习
Java IO流学习Java流操作有关的类或接口：Java流类图结构：流的概念和作用 流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在两设备间的传输称为流，流的本质是数据传输，根据数据传输特性将流抽象为各种类，方便更直观的进行数据操作。IO流的分类根据处理数据类型的不同分为：字符流和字节流根据数
2017-12-04 14:23:34
2766
东北大学数据结构实践_景区信息管理系统实验报告（含完整源代码）
2017-05-12
R语言学习_R参考卡片
2017-05-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人