weijinqian0的博客

转载 GBDT

前向分布算法在Adaboost算法中，我们的最终目的是通过构建弱分类器的线性组合：f(x)=∑m=1MGm(x) f(x)= \sum_ {m=1}^{M}G_{m}(x) f(x)=m=1∑M​Gm​(x)加法模型的表达式为：f(x)=∑m=1Mβmb(x;γm)f(x)= \sum_ {m=1}^{M}\beta _{m}b(x; \gamma_{m})f(x)=m=1∑M​βm​b(...

原创 随机森林算法

随机森林算法梳理集成学习的概念集成学习使用多个分类器，发挥各个个体学习器的优点，实现多样性，从而实现较好的拟合效果。目前分位三种继承学习：boosting、bagging以及stacking。个体学习器的概念个体学习器是集成学习中的子概念，是指集成学习中使用的子学习器。个体学习器需要保持多样性，这样才能发挥集成学习的优势。怎么样发挥个体学习器的多样性呢？增加数据样本扰动。对于不稳定的...

转载 Python中的注解“@”

Python3.0之后加入新特性Decorators，以@为标记修饰function和class。有点类似c++的宏和java的注解。Decorators用以修饰约束function和class，分为带参数和不带参数，影响原有输出，例如类静态函数我们要表达的时候需要函数前面加上修饰@staticmethod或@classmethod,为什么这样做呢？下面用简单的例子来看一下，具体内容可以查看：官方...

原创 文本处理

里面介绍了一些文本处理的通用方法。https://www.kaggle.com/shashanksai/text-preprocessing-using-python

原创 提升树与GBDT

GBDT（Gradient Boosting Decison Tree）全称：梯度提升决策树。提升树核心思想拟合残差怎么拟合残差？使用boosting技术，对残差使用决策树进行拟合（比如：CART）使用加法模型，将拟合好的决策树相加，后面会有伪代码贴图。伪代码网上找的。。。提升树伪代码M：决策树个数；Rm,i：残差GBDT伪代码：与上面提升树的差别：残差使用负梯度...

原创 IMDB数据集分析源码+本地数据集（task1）

ps:由于下载数据集太慢，所以采用了本地下载数据集的方式读取文本。代码中涉及的数据处理是把Keras中的代码拿过来用的。中间加了自己的注释和理解，仅供参考。后面希望能写成一个系列代码：https://github.com/weijinqian0/nlp...

转载 最好的入门自然语言处理（NLP）的资源清单

最好的入门自然语言处理（NLP）的资源清单Melanie Tosik目前就职于旅游搜索公司WayBlazer，她的工作内容是通过自然语言请求来生产个性化旅游推荐路线。回顾她的学习历程，她为期望入门自然语言处理的初学者列出了一份学习资源清单。目录:· 在线课程· 图书馆和开放资源· 活跃的博客· 书籍· 数据集· NLP之社交媒体· 其它displaCy网站上的可视...

转载 理解dropout

理解dropout注意：图片都在github上放着，如果刷不开的话，可以考虑翻墙。转载请注明：http://blog.csdn.net/stdcoutzyx/article/details/4902244312开篇明义，dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini...

原创 处理snapShot版本更新问题

 在build.gradle文件中任意位置加上如下配置：configurations.all {resolutionStrategy.cacheChangingModulesFor 1, 'minutes'}

转载 java中的原子操作

Java中的原子操作包括：1）除long和double之外的基本类型的赋值操作2）所有引用reference的赋值操作3）java.concurrent.Atomic.* 包中所有类的一切操作。 但是java对long和double的赋值操作是非原子操作！！long和double占用的字节数都是8，也就是64bits。在32位操作系统上对64位的数据的读写要分两步完成，每一步取...

转载 机器学习与数据挖掘中的十大经典算法

转载https://www.cnblogs.com/liulunyang/p/3868808.html参考可见 https://blog.csdn.net/fuqiuai/article/details/79482487 一、C4.5C4.5，是机器学习算法中的一个分类决策树算法，它是决策树(决策树也就是做决策的节点间的组织方式像一棵树，其实是一个倒树)核心算法ID3的改进算法，...

转载 gradle下载的依赖包位置

gradle下载的依赖包位置Mac系统默认下载到：/Users/(用户名)/.gradle/caches/modules-2/files-2.1或~/.gradle/caches/modules-2/files-2.1打开Finder，Shift+command+G 这3个组合键后，输入以上路径Windows系统默认下载到：C:\Users(用户名).gradle\caches\mo...

转载 EM算法原理总结

EM算法也称期望最大化（Expectation-Maximum,简称EM）算法，它是一个基础算法，是很多机器学习领域算法的基础，比如隐式马尔科夫算法（HMM）， LDA主题模型的变分推断等等。本文就对EM算法的原理做一个总结。1. EM算法要解决的问题　　　　我们经常会从样本观察数据中，找出样本的模型参数。 最常用的方法就是极大化模型分布的对数似然函数。　　　　但是在一些情况下，我们得...

转载 Java注解处理器使用详解

在这篇文章中，我将阐述怎样写一个注解处理器(Annotation Processor)。在这篇教程中，首先，我将向您解释什么是注解器，你可以利用这个强大的工具做什么以及不能做什么；然后，我将一步一步实现一个简单的注解器。一些基本概念在开始之前，我们首先申明一个非常重要的问题：我们并不讨论那些在运行时（Runtime）通过反射机制运行处理的注解，而是讨论在编译时（Compile time）处...

转载 深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件

在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要条件，只有当是凸函数的情况下，才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候，只知道直接应用两个方法，但是却...

转载 关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化

一、标准化（Z-Score），或者去除均值和方差缩放公式为：(X-mean)/std  计算时对每个属性/每列分别进行。将数据按期属性（按列进行）减去其均值，并处以其方差。得到的结果是，对于每个属性/每列来说所有数据都聚集在0附近，方差为1。实现时，有两种不同的方式： 使用sklearn.preprocessing.scale()函数，可以直接将给定数据进行标准化。 ...

转载 参数学习算法和非参数学习算法区别

总结：1：non-parametric algorithm：Locally weighted linear regression algorithm2：parametric learning algorithm：The (unweighted) linear regression algorithm对于线性回归算法，一旦拟合出适合训练数据的参数θi’s，保存这些参数θi’s，对于之后的...

转载 逻辑回归和朴素贝叶斯有啥区别

转载 Android判断NavigationBar是否显示的方法（获取屏幕真实的高度）

有些时候，我们需要知道当前手机上是否显示了NavigationBar，也就是屏幕底部的虚拟按键。比如截屏的时候，要获取屏幕的高度，必须包括NavigationBar的高度。试过网上的多种方法，但是对那种可以通过手势来显示/隐藏的NavigationBar没办法，最后终于找到了一个好办法，看代码：?123456789101112131415161718192021222324252627282930...

转载 android之View坐标系（view获取自身坐标的方法和点击事件中坐标的获取）

在做一个view背景特效的时候被坐标的各个获取方法搞晕了，几篇抄来抄去的博客也没弄很清楚。现在把整个总结一下。其实只要把下面这张图看明白就没问题了。涉及到的方法一共有下面几个：view获取自身坐标：getLeft(),getTop(),getRight(),getBottom()view获取自身宽高：getHeight(),getWidth()motionEvent获取坐标：getX(),getY...

转载 adb命令设置输入法

原理总结： adb shell 调用ime脚本 打开第三方输入法 并设置为默认第一步 [这一步都不会的盆友们建议先去补补习 学姿势 我有姿势我自豪] 手表打开开发者选项 并连接到和电脑一个局域网上 然后使用电脑adb连接到手表上第二步 安装一个输入法 我用的是百度输入法第三步 输入命令 adb shell第四步 输入命令 ime list -a第五步[重点！！] 你会在下面看到如下信息shell@...

转载 WebView加载网页不显示图片解决办法

对于大家来讲WebView肯定很熟悉，因为我们在日常开发中经常用到它。所以对于它的一些基本用法我就不在这啰嗦了，直接进入正题。我遇到的问题就是在使用WebView加载网页的时候图片不显示（我手机系统是5.1.1），当时出现这个问题我就想当然的以为，是不是给WebView少设置的什么东西。然后百度一下：然后我检查了自己代码，这两句话也明明加了啊，这到底是什么鬼。后面我也加过其它的一些设置，依然没有用...

转载 UML类图符号 各种关系说明以及举例

UML中描述对象和类之间相互关系的方式包括：依赖（Dependency），关联（Association），聚合（Aggregation），组合（Composition），泛化（Generalization），实现（Realization）等。依赖（Dependency）：元素A的变化会影响元素B，但反之不成立，那么B和A的关系是依赖关系，B依赖A；类属关系和实现关系在语义上讲也是依赖关系，但由于其...

原创 assets相关

assets下的文件不能删与写，只能读，所以要操作的话需要将其复制到data/data/pkgname/files下再进行处理

转载 canvas.save()和canvas.restore()的理解

群里一哥们面试的时候被问到canvas.restore()的作用是什么，与之常常被一起问到的是canvas.save()的作用是什么。最近在上海开发航运项目，忙里偷闲总结一下两个方法的用法，以后也将在博客中记录面试中可能会被问到的一些其他问题。Canvas相当于一块画布，该类中常用的方法如下：drawRect(RectF rect, Paint paint)drawPath(Path path, ...

转载 android点击了桌面图标后，启动过程

最后总结一下:用户在Launcher程序里点击应用图标时，会通知ActivityManagerService启动应用的默认Activity，ActivityManagerService发现这个应用还未启动，则会通知Zygote进程孵化出应用进程，然后，在这个Dalvik应用进程里执行ActivityThread的main方法。应用进程接下来通知ActivityManagerService应用进程已...

转载 理解Java关键字volatile

在Java中，关键字volatile是除同步锁以外，另一个同步机制，它使用起来比锁要简单方便，但是却很容易被忽略，或者被误用。这篇文章就来详细讲解一下volatile它的作用，它的原理以及如何正确的使用它。volatile的定义这个引用JSR中的定义：The Java programming language allows threads to access s

转载 SQLITE_IOERR_LOCK(disk I/O error code 3850)

最近发现app线上版本出现下面这个崩溃,下面是崩溃堆栈123456789android.database.sqlite.SQLiteDiskIOExceptiondiskI/Oerror(code3850)android.databas

转载 修复Android中Navigation Bar遮挡PopupWindow的问题

最近遇到了一个问题，关于Navigation Bar遮挡PopupWindow的问题，问题不难，粗略做一点总结。现象描述问题应该出现在5.0 Lollipop版本及以上遮挡的现象如下图,Navigation Bar位于了PopupWindow的上层，明显是一种问题。我的实现代码12345678priva

转载 Android异常整理——《App研发录—架构设计,Crash分析和竞品技

常见的异常Java语法相关的异常空指针：NullPointException1.方法需要对传入的参数判空后再使用2.对外部接口的调用，需要确保返回值中不为空3.在App中过多使用全局变量，一旦发生内存回收，全局变量会被置为空,可以将全局变量序列化到本地，为空时从本地反序列化回来角标越界：IndexOutOfBoundsException,StringIndexO

转载 浅析java内存模型--JMM(Java Memory Model)

在并发编程中，多个线程之间采取什么机制进行通信（信息交换），什么机制进行数据的同步？　　在Java语言中，采用的是共享内存模型来实现多线程之间的信息交换和数据同步的。　　线程之间通过共享程序公共的状态，通过读-写内存中公共状态的方式来进行隐式的通信。同步指的是程序在控制多个线程之间执行程序的相对顺序的机制，在共享内存模型中，同步是显式的，程序员必须显式指定某个方法/代码块需要在多线

转载 LRecyclerView框架 notifyDataSetChanged 图片闪烁的问题

在使用一叶飘舟的LRecyclerView时 由于该框架使用了观察者模式来处理headerView和footView，因此不能用普通的方法来解决notifyDataSetChanged后图片闪烁的问题研究了一下解决步骤如下：解决原理仍旧是使用tag的方式保存信息在adapter里给viewholder设置tag的方式保存图片urlviewHolder.mPreview.

转载 容器是什么鬼？

你如果参加过近两年的开发者大会，那肯定听说过容器（Container）：Docker、Kubernetes、Mesos，以及其他许多容器的名字。微软、谷歌、亚马逊，以及其他所有公司都在争着搭上这辆车……　　为何所有人都对容器趋之若鹜？　　为了理解容器的重要性，让我们先来看看实体容器。当代运输业得以快速发展是因为我们对集装箱尺寸进行了标准化。在集装箱标准诞生之前，各类大宗运输都非常复

转载 代码设置Dialog全屏且透明

摘要: 在代码中设置dialog全屏且透明的方法： publicclassMyDialogextendsDialog{ publicMyDialog(Contextcontext){ super(context,android.R.style.Theme);//在这需要设置个系统的theme替换dialog默认的主题，不设置下面的window设置都无效 setOwnerActivity((Ac

转载 Android自定义对话框(Dialog)位置,大小

package angel.devil;import android.app.Activity;import android.app.Dialog;import android.os.Bundle;import android.view.Gravity;import android.view.Window;import android.view.WindowManager;public class

转载 ANDROID保存图片到系统图库

版权声明：本文为 stormzhang 原创文章，可以随意转载，但必须在明确位置注明出处！！！最近有些用户反映保存图片之后在系统图库找不到保存的图片，遂决定彻底查看并解决下。Adnroid中保存图片的方法可能有如下两种：第一种是自己写方法，如下代码：public static void saveImage(Bitmap bmp) { File appDir = ne

转载 Android include 标签

android中include标签是为了便于控件的覆用的一个很好解决方案。 但是也有一些需要注意的地方，下面是本人在项目中碰到过的一个问题，做此记录，便于以后查看。 include标签用法。 1.新建一个xml文件，命名 head.xml head.xml文件内容如下：                  android:id="@+id/index_line

原创 将文字画在给定的文本框正中间

private void drawWordWithCenterGrivity(Canvas canvas, String string, Rect rect, Paint paint) { FontMetricsInt fontMetrics = paint.getFontMetricsInt(); int baseline = rect.top + (rect.bo

转载 Android——将图片加入到系统相册里面

Adnroid中保存图片的方法可能有如下两种：第一种是自己写方法，如下代码：123456789101112131415161718public static File saveImage(Bi

转载 Java8 lambda表达式10个示例

特性之一便是随同发布的lambda表达式，它将允许我们将行为传到函数里。在Java 8之前，如果想将行为传入函数，仅有的选择就是匿名类，需要6行代码。而定义行为最重要的那行代码，却混在中间不够突出。Lambda表达式取代了匿名类，取消了模板，允许用函数式风格编写代码。这样有时可读性更好，表达更清晰。在Java生态系统中，函数式表达与对面向对象的全面支持是个激动人心的进步。将进一步促进并行第三方库的