- 博客(110)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 win10 不能使用 ps3相机
之前上学时，小组作业买了个ps3相机，最近翻出来想在PC上用一下。但是发现浏览器和其他应用都用不了，只有安装驱动后自带的CL-Eye Test这个程序能使用相机。查了下原因似乎是win10对硬件程序视频编解码的限制。后面发现安装manyCam后可以直接解决这个问题，只不过manyCam免费版有个水印。https://manycam.com/download/参考：https://answers.microsoft.com/en-us/windows/forum/all/ps3-eye-window
2021-10-21 16:35:06
1102
原创 如何计算样本权重和类别权重？ 样本权重怎样起作用？
LightGBM 的参数 class_weight = balanced 时， 样本权重是这样计算的 n_samples / (n_classes * np.bincount(y)) 。np.bincount() 就是统计每一种取值的数量。对某个类别的样本，权重是 n_sample / (n_classes* 该类别样本总数)。如果每个类别的数量相同，都是 n_samples / n_class...
2019-10-16 19:16:26
5899
原创 关于AutoML系统的思考
不说NAS，一个AutoML系统真的很难真正Auto，我自己感觉有下面几点的问题。看了一些比赛的数据集，发现很多真实的业务是非常复杂的，建模方式没有那么直接，比如19年魔镜杯，预测用户每个月的还款日期和金额，需要思考一下怎么建模，好像一般是做成当成多分类来做。不能单纯的分成回归和分类问题。比如在预测性维护中，可能是对一个时间序列做分类。时间序列和非时间序列处理起来是差很多的，需要分成两...
2019-10-11 15:12:35
359
原创 NCF
这篇文章提到，深度学习在推荐系统里一般是用来抽取特征的，在协同过滤的关键环节—— user和item特征的交互上，还是要用矩阵分解，然后再对分解后得到的user和item的表征做内积。这篇文章想用一个神经网络替换掉内积。矩阵分解是常用的方法，具体是把user和item映射到同一个向量空间，用向量来表示user和item。然后向量做点积，结果越大的表示越可能发生交互（点击）。但是有时除了做内积，...
2019-09-16 11:48:13
460
原创 keras 使用时的一些注意事项
训练时显示的loss和acc，是已经运行过的batch的平均loss。https://github.com/keras-team/keras/issues/10426
2019-09-15 16:35:53
215
原创 GraphSAGE论文阅读笔记
论文: Inductive Representation Learning on Large GraphsMotivation大多数graph embedding框架是transductive(直推式的), 只能对一个固定的图生成embedding。这种transductive的方法不能对图中没有的新节点生成embedding。相对的，GraphSAGE是一个inductive（归纳式）框架，...
2019-07-31 14:52:26
8057
5
原创 keras fit函数的class_weight参数
参考 https://datascience.stackexchange.com/questions/13490/how-to-set-class-weights-for-imbalanced-classes-in-keras注意class_weight 一定是一个字典， 不然虽然不会报错，但是是没有效果的，loss完全不会变。sklearn 直接提供了一个函数来计算类别权重:# 计算类别权...
2019-06-01 19:00:20
7615
原创 pytho lambda 没有参数
第一次看到这种用法，感觉很新奇。func = lambda: x**2funcfunc()报错:func = lambda: x**2x = 4print(func())x = 6print(func())lambda: x... 表示的就是一个没有参数的函数，但是有返回值的函数。...
2019-05-25 23:43:10
4275
2
原创 sklearn StratifiedKFold， KFold的shuffle参数
我一直有一个疑问，这个shuffle参数到底做了什么，会不会打乱样本的顺序，导致我想生成训练集的预测结果后，再拼接到ID上时顺序就对应不上了。shuffle = Falseimport numpy as npfrom sklearn.model_selection import KFolda = np.arange(10)kfold = KFold(n_splits=3, shuffle...
2019-05-25 11:13:16
7725
原创 word2vec准确率的意义
原版word2vec 提供了一个compute-accuracy的程序，用来计算准确率。 计算时用到了questions-words.txt 这个文件，这个文件内容如下所以，word2vec 计算准确率（包括gensim也是），其实是测试 一个简单的词汇类比任务的准确率。如果用其他语言的预料，或者是在推荐系统中使用word2vec，这个compute-accuracy就不适用了。当然，也可...
2019-04-16 17:32:55
1212
原创 库文件缺少的解决方法
很久没碰开发板了，发现一个库文件缺少的终极解决方法。参考：https://blog.csdn.net/liangtianmeng/article/details/85910585编译android7.0出现问题：error while loading shared libraries: libz.so.1: cannot open shared object file: No such fi...
2019-04-15 23:11:33
2379
原创 论文翻译: Adaptive implicit friends identification over heterogeneous network for social recommendation
论文: Adaptive Implicit Friends Identification over Heterogeneous Network for Social Recommendation下载链接: https://dl.acm.org/citation.cfm?id=3271725CIKM 2018
2019-04-07 23:33:21
1346
1
原创 排序学习论文阅读：EigenRank
论文 EigenRank: A Ranking-Oriented Approach to Collaborative Filtering (SIGIR 2008)Abstract传统协同过滤算法预测潜在的点击率(rating)。这篇文章提出了一种协同过滤方法结局用户偏好引发的物品排序问题：1） 通过用户间的物品排序(item ranking)来衡量相似性，而不是用rating value;...
2019-04-07 11:41:21
1019
原创 tqdm使用问题
用了keras发现终端中显示的不是进度条，而是一直换行打印，用了很久之后终于发现原因了…是因为ubuntu默认的终端窗口太窄了，具体原因应该是跟IO缓冲有关。解决方法是把终端窗口拉宽一点就可以了…...
2019-01-20 15:27:01
2201
1
原创 认识XML
XML是eXtensible Markup Language（可扩展标记语言）的缩写。XML的作用就是便于数据的传递，比如面向对象编程时有多个对象，每个对象有很多成员，那我们要把这些对象的信息传递给其他人应该如何做？按顺序依次写到文本文件里？这样显然不太方便阅读，而且其他人读入时也不容易区分每个对象的成员到底有哪些。XML就是提供了一种格式来更方便的传递这些信息。XML的exte...
2019-01-10 20:50:45
193
原创 SpatialDropout
Dropout()和SpatialDropout1D()的区别：假设input_shape为batch_size, timesteps, features, Dropout()，Dropout()是在所有数据上dropout，SpatialDropout1D()会按对features的某几个维度进行dropout，如图：左图：Dropout()， 右图：SpatialDropout1D()...
2019-01-04 13:38:06
4111
1
原创 Keras输入变长序列
发现有些代码处理文本时直接调用keras.preprocessing.sequence.pad_sequences(maxlen)，这个函数将比这个长的序列截断，比这个短的序列补零。同时后面RNN，LSTM等模型也没做任何处理，这样显然有问题，RNN发明出来就是为了避免做padding的。...
2019-01-02 15:49:10
5314
1
原创 Keras实现用于文本分类的attention机制
keras没有提高attention机制的实现，这里参考kaggle上一个kernel中的attention机制的实现。
2018-12-31 18:05:39
11757
5
原创 cuda入门程序
Linux上安装cuda后, cuda其实提供了很多例程, 如下图. 但是还是感觉太复杂了,所以这里总结几个简单的cuda程序.需要注意的是使用了cuda的c程序后缀名应为.cu , 同时编译器为nvcc ,如nvcc check_device.cu -o check_deviec1 查看设备在cuda安装目录下的./include/cuda_runtime_api.h中可以看到对结构...
2018-12-30 15:29:26
1185
原创 哈佛引用格式(Harvard referencing system)
google scholar不能直接生成哈佛引用格式，但是可以生成APA格式的引用。然后可以对APA格式做简单修改就是哈佛格式，目前发现要修改的地方包括以下三点：有多个作者时，& 修改为 and作者姓氏缩写只取一个，比如Ewing, M. T. 修改为 Ewing, M.页码前加上 pp. 比如 pp.13-20....
2018-12-26 20:47:20
48310
3
原创 一周算法实践day4: 模型调优
1 任务2 完整代码及注释# -*- coding: utf-8 -*- from __future__ import print_functionimport pandas as pdimport numpy as npimport matplotlib.pyplot as plt# 引入要用到的评价函数from sklearn.metrics import precision_...
2018-12-15 18:58:05
311
原创 一周算法实践day3: 模型评估
1 任务记录7个模型（逻辑回归、SVM、决策树、随机森林、GBDT、XGBoost和LightGBM）关于accuracy、precision，recall和F1-score、auc值的评分表格，并画出ROC曲线。2 遇到的问题对ROC曲线和AUC值的解释3 不同模型的多种指标模型AccuracyPrecisionRecallF1-ScoreROC_AUC...
2018-12-13 18:44:30
537
原创 一周算法实践day2:集成模型构建
1任务构建随机森林、GBDT、XGBoost和LightGBM这4个模型，评分方式任意。2 遇到的问题xgboost 安装gpu版本时遇到的问题3 完整代码和注释from __future__ import print_functionfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.ensemble ...
2018-12-11 16:42:08
307
原创 一周算法实践day1: 模型构建
1基本使用要点csv是常用的数据存储格式,尤其是一些数据竞赛,pandas可以方便的读写csv文件data_all = pd.read_csv('./data_all.csv')data_all.to_csv('./submission.csv', index=False) sklearn中各种算法的调用方法都是差不多的，基本上有以下四个函数：model = ..() # 初始...
2018-12-08 23:31:30
233
原创 安装xgboost时卡在下载scipy
问题:为了能够用GPU运行xgboost, 选择从github上clone源码安装. 按照文档使用源码编译xgboost后,编译python包时,卡在下载scipy,但是我scipy已经是最新的了.解决方法:编辑器打开 setup.py , 注释掉这两行 install_requires=[ #'numpy', #'scipy', ...
2018-12-08 21:05:51
241
原创 ARM异常处理和软中断使用
1 ARM中断服务程序的函数名是固定的？印象中学C51时，只需要使能中断，然后编写任意名词的中断函数就可以了。但是编写中断函数时，会写明中断号。现在想来，应该是编译器根据中断号，修改了中断向量表中对应中断的跳转地址。一般中断向量表中存放的是中断服务程序的地址。对于stm32，也就是cortex-M系列，中断函数有固定的函数名。因为启动文件中，中断向量存放的是可执行代码，其中写明了要跳转到的中...
2018-12-03 14:48:21
2002
原创 对进程的理解和POSIX 信号量的使用
这两天看了一个不错的操作系统mooc，对Linux进程有了一个基本的认识，感觉一些网上的资料只是照搬概念。1 对进程的理解为什么要有操作系统？操作系统本质上就是一个程序，是为了我们更方便的使用计算机硬件。其实我们看操作系统的功能就可以知道为什么要有操作系统了。比如操作系统的一个功能是进程管理，在裸机编程时，我们执行的程序功能一般都比较单一，或者我们也可以写很多很多的函数，放在whi...
2018-12-03 13:14:19
526
原创 keil和arm裸机开发及汇编语言遇到的一些问题
为什么会对没有指定的空间进行读写？原因是启动文件中栈设置的太小了，尤其是开大数组的时候要注意。这个错误具体表现一种情况为，程序试图对指定ram范围之外的地址进行读写，SP寄存器的值也在RAM范围之外，那么显然是栈分配太小了。启动代码里可以看到6种堆栈，一般修改USR_Stack_Size的值就可以了。同时也要注意堆设置的大小，编程时要对动态内存是否分配成功进行判断。还遇到一种情况是栈分配...
2018-11-22 21:29:40
636
1
原创 进程控制与进程间通信
在学习这部分之前，我对Linux系统基本不了解，只是做一些简单的工作，使用一些常见命令，使用Makefile编译工程，做arm交叉编译等。所以这部分内容也会对用到的相关内容做一些总结。1 进程1.1 进程（Process）程序本身是指令的有序集合，进程是程序在处理器上的一次执行过程。程序中包含了创建进程需要的信息。A program is a file containing a ra...
2018-11-22 20:55:34
1829
1
原创 论文看不懂怎么办？
Ng在公开课里说自己第一次看Yolo论文时很难弄懂到底怎么实现的 ，很多顶尖的研究员也有看不懂论文的时候，这时候就需要去看源代码或咨询作者才能弄清楚实现细节。https://mooc.study.163.com/learn/2001281004?tid=2001392030#/learn/content?type=detail&id=2001729338...
2018-11-16 14:34:15
3388
原创 TensorFlow Eager笔记
入门教程中，定义loss和grad的计算函数如下：def loss(model, x, y): y_ = model(x) return tf.losses.sparse_softmax_cross_entropy(labels=y, logits=y_)def grad(model, inputs, targets): with tf.GradientTape() as t...
2018-11-12 23:11:37
141
原创 更新python后pip无法使用？
更新python版本参考https://www.linuxidc.com/Linux/2017-12/149913.htm。注意两点：apt-get需要先安装 sudo apt-get install libssl-dev出现以下错误时Traceback (most recent call last): File "/usr/bin/lsb_release", line...
2018-11-01 23:38:02
1378
原创 ML中的数据预处理
原始数据（必须）要做 Normalization！在进行数据分析的时候，什么情况下需要对数据进行标准化处理？ 见Maigo大佬的回答。如果不做Normalization 会出现什么后果？今天遇到一种情况，原始数据范围大概是(5000,10000)，神经网络第一层是卷积，激活函数是sigmoid。直接将原始数据作为神经网络的输入，最后发现对不同样本，神经网络的输出竟然都是相同的。。。训练时l...
2018-10-27 00:07:19
247
原创 pytorch 使用笔记
参数初始化自定义网络后，参数是有默认的初始化的，打印一下，可以看到不为0，查看源码可以看到卷积层默认使用的uniform初始化。似乎一般使用xavier初始化效果更好。比如为Conv2d类型的层进行参数初始化，初始化为常量。def weights_init(m): if isinstance(m, nn.Conv2d): nn.init.constant_(m.w...
2018-10-26 23:29:07
288
原创 win10和ubuntu双系统以及nvidia驱动安装
1 系统安装首先我使用u盘安装的ubuntu双系统，但是想到之前在笔记本电脑上安装了双系统后，会用ubuntu的引导方式启动，可能是我安装时，没有手动为boot分区，boot分区直接覆盖了原来的windows引导分区。但是这次我忘了这件事！！又使用了相同的方式安装了ubuntu，因此之后使用MbrFix修复了windows分区，参考了这篇博客。修复后，重启进bios设置，发现同时存在了wi...
2018-10-20 17:03:33
1210
原创 Makefile 使用要点
首先注意missing seprator 错误，原因是在每个块下的第二行需要用tab进行对齐Makefile 用到环境变量时，不能直接使用shell脚本中环境变量的形式，比如不能使用JAVAHOME，而是要使用JAVA_HOME，而是要使用JAVAHOME，而是要使用(JAVA_HOME)注意编译完成后最好不要保留中间结果，因为下一次编译可能会出问题，在all所需的步骤里写个cl...
2018-10-18 21:47:04
213
原创 Makefile中的静态模式和多目标规则
静态模式太好用了，主要是为了便捷的生成多目标。普通Makefile如下:target ... : prerequisites ... command ... ...command通过prerequisites 生成target 。command 中 $^ 表示所有的prerequisites文件 ， $< 表示第一条 prerequisites文件 , $@ 表示tar...
2018-10-17 19:38:03
1434
原创 图像处理基础01-直方图均衡化的推导和编程实现
1 简介直方图均衡化是将图像转化为另一幅图像，转化后图像像素值的分布更接近均匀分布。原本图像的像素值（灰度值）可能集中在某一区域，这样我们看到的图像其实是比较模糊的，灰度没有层次感。直方图均衡化能够增加图像灰度值的动态范围，从而达到增强图像对比度的目的，使图像看起来更清晰。直方图均衡属于空域图像增强，但并没有考虑图像的空间信息。但是又能得到很好的视觉效果，很有意思。2 推导首先明确我...
2018-10-16 17:26:25
988
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人