16 wx0628

尚未进行身份认证

暂无相关简介

等级
TA的排名 22w+

pycharm环境笔记

1、如果使用conda环境管理,不管是安装的anaconda3或者是miniconda3,如何确保pip安装的包可以在pychar环境中被正确的引用。step1:激活需要引用的包的环境:source activate %envName%。例如:source activate untitled正常情况下使用的envName,可以在pycharm的设置中可以看到,如下图:也可以使用:con...

2019-03-18 19:38:47

mac系统下面调用brew报错core_ext/kernel_require.rb:55:in `require': cannot load such file

mac系统下面调用brew报错,如下所示:/usr/local/Homebrew/Library/Homebrew/vendor/portable-ruby/2.3.7/lib/ruby/2.3.0/rubygems/core_ext/kernel_require.rb:55:in `require': cannot load such file -- concurrent/synchroniz...

2019-03-04 16:43:56

[Pandas]Dataframe中切片常用技巧

1、根据值在是否在列表中进行切片:使用isin方法可以根据DataFrame中的某列的值是否在某个列表中来进行切片(注意:这里不要直接使用in,否则会报错),代码如下:pf = pd.DataFrame([['74-27-EA-4D-93-BD','act_click','click_news',3],['E0-3F-49-79-C8-97','act_biz','click_hb.seb',...

2019-02-19 08:54:16

[Pandas]Dataframe中的多条件切片为什么不能使用and运算符

对于Dataframe中同一列,如果有多个条件,则不能使用and运算符,需要使用&位运算符。示例如下:import pandas as pddf = pd.DataFrame({'name':['a','a','b','b'],'classes':[1,2,3,4],'price':[11,22,33,44]})print(df[(df['price']>11) and (df...

2019-02-15 15:40:33

【Hive】常用命令以及SQL整理

知识点一:explode(split(get_json_object(fieldDataName,’$.str’),’,’))1、fieldDataName表示数据库字段名;2、$.str表示要从数据库定中JOSN类型的字段中取的内容使用到的命令包括:1、get_json_object :从JSON中取值;get_json_object,多层JSON的取值data ={"s...

2019-01-26 13:41:50

MasOS下面的Conda+PyCharm环境准备

原本是在Win7环境下面(虚拟机)安装Conda的,但是在进行环境创建或者执行命令conda update --all的时候,会报SSLError(MaxRetryError('HTTPSConnectionPool(host=\'mirrors.tuna.tsinghua.edu.cn\', port=443): Max retries exceeded with url: /anacond...

2019-01-25 14:32:44

[聚类算法]聚类算法中的K-Means实现以及验证

K-Means聚类算法,感觉是接触到目前为止,距离程序员思维最近的算法,应该也是使用到的数理知识最简单的算法。所以在记笔记的时候,忍不住,又去实现了一把,但是根据吴大大(吴恩达)的介绍来看,的确是不需要每个算法都自己去写的,而是需要了解的算法的本质、知道算法适用的场景,多加练习,才能达到熟能生巧的程度。符号“o”表示数据点。符号“x”表示我们需要寻找的中心点。主要思路描述:1、在所有的点...

2019-01-23 15:02:16

【支持向量机】学习纪录(关于对支持向量机核函数的理解、代价函数、向量机类型选择)

关于对支持向量机核函数的理解针对上图中:选择三个点l(1)、l(2)、l(3),那么针对一个点X(i)到l(1)、l(2)、l(3)三个点的距离,按照正常的思维逻辑来理解:如果l(1)、l(2)是正样品,那么x(i)离这两个点越近,代表最终y=1的机率应该是越高的;反之,如果远离这两个点,则代表y=0的机率应该是越高的。带着这个现象,我们再看下支持向量机的核函数。假设:y=θ0+θ1*f...

2019-01-21 15:40:27

【Python】Python连接Hadoop数据中遇到的各种坑(汇总)

最近准备使用Python+Hadoop+Pandas进行一些深度的分析与机器学习相关工作。(当然随着学习过程的进展,现在准备使用Python+Spark+Hadoop这样一套体系来搭建后续的工作环境),当然这是后话。但是这项工作首要条件就是将Python与Hadoop进行打通,本来认为很容易的一项工作,没有想到竟然遇到各种坑,花费了整整半天时间。后来也在网上看到大家在咨询相同的问题,但是真正解决...

2019-01-19 11:36:33

【正则化应用】正则化在线性回归以及逻辑回归中的应用

命题:hθ(x)=y=θ0+θ1*x1+θ2*x2+θ3*x12+θ4*x22正则化的思路需要分析每个参数对结果的影响,如果该参数对结果影响不大,则就需要把该参数拿掉,反之,则需要保留该参数。如果我们θ3是一个很小的参数,例如:0.00023,则我们认为θ3*x12是一个多余项;所以对原来代价函数做如下调整(使用λ来调整前后两个表达式之间的权重关系):针对上述的表达式求导:以下的代...

2019-01-17 18:58:46

【导数与求解】机器学习中的常用高等数学

【导数与求解】机器学习中的常用高等数学

2019-01-17 11:14:43

【逻辑回归】使用逻辑回归进行实际操练

数据源采集吴恩达教授第6课的练习数据(ex6data3.mat):1、在Ocatve中导入数据;L1=load(‘ex6data3.mat’);2、构建相关的记录集,并使用Plot观察数据:x=ones(size(L1.X)(1),3);x(:[2,3])=L1.X;y=L1.yy0=find(y0);y1=find(y1);plot(x1(y1,2),x1(y1,3),’+’...

2019-01-17 10:36:12

关于Octave中的常用命令笔记

注:每次使用的时候,都需要到网上各种搜索,太痛苦了,专门放一个地方,以方便自己查阅。所有的i,j之类的小写代表常量,大写的X,Y代表矩阵或者向量1、矩阵及向量:ones(i,j):zeros(i,j)pinv(X):X’:find(条件):示例用户:将Y向量中的0,与1分开。 Y1=find(Y1); Y0=find(Y0);则X条件矩阵中的对于结果1的记录集,就可以使用X(Y...

2019-01-17 09:34:45

【线性回归】生产应用中使用线性回归进行实际操练

前提:本文中使用的算法是在《【线性回归】多元线性回归函数在Octave中的实现(二)》中进行描述。命题:根据生产环境的中的用户功能使用情况,来推断接下来的用户使用量。使用数据如下:输入:天数(1,代表2018-12-01号;以后类似)1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17输出:使用量6144 3372 21119 15909 1504...

2019-01-15 21:16:41

【逻辑回归】逻辑回归函数在Octave中的实现

关于逻辑函数的导数计算过程,但是需要自己实践计算下。可以参考:https://blog.csdn.net/paopaohll/article/details/81807431整体的逻辑函数过程可以参考吴恩达的课件(网易云课堂)%入参:rap表示回归计算的步长 %入参:minvalues表示回归计算的最小偏差,如果小于该值则表示拟合成功,返回TheTa%入参:maxtimes表示最大拟合次数...

2019-01-15 09:56:02

【线性回归】多元线性回归函数在Octave中的实现(二)

1、在《【线性回归】最简单的线性回归函数在Octave中的实现(一)》的基础上进行了扩展,主要是标识出来的那段代码;2、将训练结果Thsl,【i(训练集的条数),2(第一列训练的次数,第二列是两次训练的方差的误差)】,在训练完成之后,将Thsl的结果打印出来,就可以明显看到整体拟合的过程以及如何去调整rap(步长)代码记录,以备后查%rap表示回归计算的步长%minvalues表示回归计算...

2019-01-12 15:29:16

【线性回归】最简单的线性回归函数在Octave中及Python中的实现(一)

线性回归最简单的线性回归函数在Octave中的实现以下是回时调用:%rap表示回归计算的步长%minvalues表示回归计算的最小偏差,如果小于该值则表示拟合成功,返回TheTa%maxtimes表示最大拟合次数,如果达到该次数,即使没有拟合成功,也返回最后一次的TheTa值%x表示x的矩阵%y表示结果集%theta表示参数集function [TheTa,bResult] = ...

2019-01-11 10:32:23
勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!