- 博客(131)
- 收藏
- 关注
RSS订阅原创 【小贪】大数据处理：Pyspark, Pandas对比及常用语法
近期致力于总结科研或者工作中用到的主要技术栈，从技术原理到常用语法，这次查缺补漏当作我的小百科。以下整理错误或者缺少的部分欢迎指正！！！
2024-04-16 16:18:27
473
2
原创 【小贪】数据库常用：MySQL, HQL, Spark SQL对比及常用语法
近期致力于总结科研或者工作中用到的主要技术栈，从技术原理到常用语法，这次查缺补漏当作我的小百科。以下整理错误或者缺少的部分欢迎指正！！！
2024-04-08 16:28:53
539
1
原创 【小贪】万字长文介绍因果推断和增益模型
本文首先从一个实例出发阐述了因果性不等于相关性，进而引出因果推断和增益模型。然后简单介绍了因果推断的基础内容，并介绍了主要的三类增益模型：元学习、增益直接建模、表示学习，每一类模型都简要介绍了其经典模型。之后介绍了增益模型的评价指标，包括uplift bins、uplift curve和qini曲线。增益模型实际上是一大类模型框架，本质上可以用传统响应模型或其他机器学习模型嵌入增益模型的框架，但是预测结果并不是一个概率，模型评价方式也有变化。训练样本收集增益模型建模强依赖于ab实验，数据要求很高。
2024-03-31 21:21:28
909
原创 【小贪】Python实现传统2D/3D配准——SIFT/SURF/ BRISK/ORB/AKAZE/ICP
【代码】【小贪】Python实现传统2D/3D配准——SIFT/SURF/ BRISK/ORB/AKAZE/ICP。
2024-03-24 15:40:45
343
原创 【小贪】迁移学习、预训练和微调
BERT和GPT等基于Transformer的模型通过在上游大数据上预训练和下游任务上微调的形式已经成为大数据时代的重要的技术范式之一。
2024-03-14 15:33:08
359
原创 算法工程师面试八股（搜广推方向）
文章目录机器学习线性和逻辑回归模型逻辑回归二分类和多分类的损失函数二分类为什么用交叉熵损失而不用MSE损失？偏差与方差Layer Normalization 和 Batch NormalizationSVM数据不均衡特征选择排序模型树模型进行特征工程的原因GBDTLR和GBDTRF和GBDTXGBoost二阶泰勒展开优势为什么快防止过拟合处理缺失值树停止生长条件处理不平衡数据树剪枝选择最佳分裂点Scalable性特征重要性调参步骤过拟合解决方案对缺失值不敏感XGBoost和RF单棵树哪个更深？XGBoost
2023-12-02 22:14:53
1423
1
原创 Pycharm本地显示远程服务器绘图程序 (这种忙一天却一无所获的感觉真是让人着迷)
Pycharm本地显示远程服务器绘图程序Open3d本地绘图显示
2022-10-09 10:38:04
2759
1
原创 三维重建经典算法：ICP、ARAP、Marching Cubes、TSDF
三维重建经典算法简介：ICP、ARAP、Marching Cubes、TSDF
2022-10-02 16:41:33
1862
原创 AutoGluon学习笔记
Autogluon学习笔记Autogluon在合理的计算开销下得到模型效果还不错。虽然可以做特征自动抽取，但是加入一些人工数据预处理可以提升效果。比较大的数据集需要使用gpu或者多台机器进行分布式训练。
2022-08-23 14:35:54
942
原创 推荐系统学习笔记目录
根据b站视频推荐系统算法基础+综合项目实战（大牛老师主讲）整理的学习笔记推荐系统学习笔记目录推荐系统介绍推荐算法HadoopHive & HBaseSpark coreSpark SQL & Spark streaming推荐系统案例...
2022-01-20 12:50:59
1362
原创 python安装dlib包问题汇总
最近项目需要使用dlib包，这是CV常用包之一，直接使用pip install dlib会报以下的错误： subprocess.CalledProcessError: Command '['cmake', 'C:\\Users\\lenovo\\AppData\\Local\\Temp\\pip-install-_u7dilh3\\dlib\\tools\\python', '-DCMAKE_LIBRARY_OUTPUT_DIRECTORY=C:\\Users\\lenovo\\AppData\\Lo
2021-08-30 21:47:02
657
原创 【PyTorch学习笔记】9.自定义数据集
文章目录.自定义数据集根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！(好课推荐)深度学习与PyTorch入门实战——主讲人龙良曲.自定义数据集Load dataInherit from torch.utils.data.Dataset__len____getitem__Build modelTrain and TestTranfer Learning...
2021-08-19 15:08:49
492
原创 【PyTorch学习笔记】7.自编码器
文章目录47.Auto-Encoder介绍48.Auto-Encoder变种49.Variational Auto-Encoder引入50.变分自编码器VAE51.实战51.1AE51.2VAE根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！(好课推荐)深度学习与PyTorch入门实战——主讲人龙良曲47.Auto-Encoder介绍Supervised LearningUnsupervised LearningReinforcement Lear
2021-08-18 21:20:01
889
原创 【数据分析之Matplotlib】基本图形绘制实例
文章目录1.基本绘制2.subplot使用3.散点图4.样式与图例5.柱状图6.饼状图7.直方图8.等高线图9.三维图形2020年5月28日学习了b站 Matplotlib的简单教程，笔记记录于此1.基本绘制import matplotlib.pyplot as plt# 准备x yx = range(-100, 100) # 200个点y = [i**2 for i in x]# 绘制一元二次方程曲线plt.plot(x, y, linewidth=5)plt.xlabel('
2021-08-17 21:35:48
462
原创 【数据分析之Numpy】数据基本操作
文章目录1.创建数组2.创建随机数3.其他方式创建数组4.数组维度变换5.数组拼接6.数组分隔7.数组转置8.函数2020年5月27日学习了b站Numpy的简单教程，笔记记录于此1.创建数组import numpy as np# 使用array函数创建一维数组a = np.array([1,2,3])print(type(a)) # <class 'numpy.ndarray'># 使用array函数创建三维数组c = np.array([[[1,2,3],[4,5,6]]
2021-08-17 18:19:31
232
原创 OpenCV人脸识别实例
文章目录1.图片基本处理2.图片和视频人脸检测3.训练数据和人脸识别2020年5月29日学习了b站人脸识别的简单教程，笔记记录于此1.图片基本处理import cv2 as cv# 读取图片，路径中不能有中文img = cv.imread('img.jpg')# 显示图片cv.imshow('BGR_img', img)# 修改图片尺寸resize_img = cv.resize(img, dsize=(210, 210))print('原来图片的尺寸', img.shape, '\
2021-08-17 16:22:55
922
原创 【PyTorch学习笔记】8.对抗生成网络
文章目录47.根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！(好课推荐)深度学习与PyTorch入门实战——主讲人龙良曲47.
2021-08-13 20:53:12
463
1
原创 【PyTorch学习笔记】6.循环神经网络
文章目录40.时间序列表示根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！(好课推荐)深度学习与PyTorch入门实战——主讲人龙良曲40.时间序列表示
2021-08-12 19:30:24
414
3
原创 【Pytorch学习笔记】5.卷积神经网络
文章目录根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！(好课推荐)深度学习与PyTorch入门实战——主讲人龙良曲
2021-08-11 17:29:51
486
原创 【Pytorch学习笔记】2.Pytoch基础
文章目录4.基本数据类型4.1 All is about Tensor4.2 How to denote string4.3 Data type4.4 Type check4.5 Dimension / rank4.6 Mixed5.创建Tensor5.1 Import from numpy5.2 Import from List5.3 uninitialized5.4 set default type5.5 rand / rand_like, randint, randn5.6 full5.7 arran
2021-08-11 17:23:04
462
原创 【Pytorch学习笔记】4.深度学习策略
文章目录25.过拟合&欠拟合根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！25.过拟合&欠拟合
2021-08-11 11:01:13
383
原创 【Pytorch学习笔记】3.深度学习基础
13.梯度导数 derivative偏微分 partial derivate梯度 gradient（向量）How to search for minima?θt+1=θt−αt▽f(θt)\theta_{t+1}=\theta_t-\alpha_t\triangledown f(\theta_t)θt+1=θt−αt▽f(θt)Optimizer performanceinitialization status 何恺明初始化方法learning rate （learnin
2021-08-10 17:20:59
1021
原创 《流畅的Python》笔记（未完不续了）
文章目录1.Python数据模型1.1一摞Python风格的纸牌1.2如何使用特殊方法2.序列构成的数组2.1内置序列类型概览1.Python数据模型1.1一摞Python风格的纸牌collections.namedtuple构建只有少数属性但没有方法的对象random.choice随机函数1.2如何使用特殊方法特殊方法是为了被Python解释器调用，一般自己不需要调用，除了经常使用__init__方法，目的是在子类的__init__方法中调用超类的构造器。complex类可以表示二维向量，c
2021-08-03 10:57:11
115
原创 【Pytorch学习笔记】1.Pytoch概述
cmd查看CUDA版本信息: nvcc -Vpython查看torch和cuda信息:import torchprint(torch.__version__)print('gpu:', torch.cuda.is_available())Linear RegressionLogistic Regressionnumpy.genfromtxt(file_name)Pytorch基本数据类型数据位置对数据类型的影响：标量的表示：标量的shape：张量的表示：维度：
2021-08-02 21:35:26
315
原创 Pytorch和CUDA10.2环境配置
近期开始学习pytorch，又是一顿配置环境的瞎折腾，我电脑上的CUDA原来版本是9.x的，现在好多新算法的要求是10.0以上，就覆盖安装了10.2版本的CUDA。参考资料：windows系统查看CUDA版本号深度学习环境搭建（GPU）CUDA安装（完全版）tensorflow各个版本的CUDA以及Cudnn版本对应关系CUDA10.2安装文件：提取码：daks检查安装CUDA10.2是否正确nvcc -V：显示CUDA信息则安装成功，然而我在测试cuda的gpu是否可用的时候，却显示错
2021-07-31 21:24:19
2626
原创 Python并行运行两种方式：1.Multiprocessing多进程库 2.Shell脚本运行
工作时需要跑六十万条数据，老大说python实现并行有两种方式，一种是使用多进程库，一种是利用Shell脚本并行。写了两个小demo：Multiprocess多进程import timeimport osimport multiprocessingfrom multiprocessing import Pooldef run(k): # print(k, multiprocessing.current_process().name) # 打印当前进程名称 # time.sle
2021-07-30 17:37:53
3056
原创 NLTK避免缩略词导致分句错误
参考：How to avoid NLTK’s sentence tokenizer splitting on abbreviations?NLTK自带的nltk.tokenize库可以实现英文分句，但是当句子中存在缩写词时分句会错误：from nltk.tokenize import sent_tokenizesens = sent_tokenize('Fig. 2 shows a U.S.A. map.Look!')print(sens)"""输出：['Fig.', '2 shows a
2021-07-27 17:45:31
375
原创 【Mongo Database学习笔记】
文章目录1.mongodb简介2.基本操作3.CRUD3.1插入文档3.2查询文档3.3修改文档3.4删除文档4.文档之间的关系5.Pyhton连接Mongo应用实例工作需要学习了MongoDB入门教程，学习视频链接：MongoDB数据库教程-尚硅谷可参考笔记：了解非关系型数据库 NoSQL - MongoDB | 安装使用以及 CRUD 操作1.mongodb简介在MongoDB中数据库database表示一个数据库，集合collection相当于关系型数据库的表，文档document相当于关系型
2021-07-27 14:12:49
167
原创 算法笔记整理
名词介绍top1错误率，top5正确率：top1： 预测的label取最后概率向量里最大的那一个作为预测结果 ，如过预测结果中概率最大的那个分类正确，则预测正确，否则预测错误top5：最后概率向量最大的前五名中，只要出现了正确概率即为预测正确，否则预测错误机器学习Machine LearningKNN算法：机器学习之KNN（k近邻）算法详解决策树：机器学习实战（三）——决策树TF-IDF算法：TF-IDF算法介绍及实现自然语言处理NLPN-gram模型：自然语言处理NLP中的N-
2021-07-22 17:50:05
175
原创 Linux笔记目录
Linux学习笔记 序号 笔记 说明 1-4 Linux常用命令 \ 5 文本编辑器 Vim \ 10 Shell基础 \ 11 Shell编程 \ 参考资料：史上最牛的Linux视频教程——兄弟连从零开始学习Linux笔记Linux听课笔记...
2021-07-19 22:47:52
84
原创 Shell编程
文章目录11.Shell编程11.1基础正则表达式11.2字符截取命令11.3字符处理命令11.4 条件判断11.5流程控制11.5.1 if语句11.5.2 case语句11.5.3 for循环11.5.4 while循环与until循环11.6函数11.Shell编程11.1基础正则表达式正则表达式与通配符● 正则表达式用来在文件中匹配符合条件的字符串，正则是包含匹配。grep、awk、sed等命令可以支持正则表达式● 通配符用来匹配符合条件的文件名，通配符是完全匹配。ls、find、cp这
2021-07-19 22:38:50
88
1
原创 Python多进程报错AttributeError: Can‘t pickle local object ‘run_pool.＜locals＞.run‘
原代码import multiprocessingimport timefrom multiprocessing import Pooldef run_pool(): def run(k): print(k, multiprocessing.current_process().name) time.sleep(1) def pool(): p = Pool(8) p.map(run, range(16))
2021-07-19 16:07:51
4548
原创 编辑距离——莱文斯坦距离
1.编辑距离1.1简介编辑距离是针对二个字符串（例如英文字）的差异程度的量化量测，量测方式是看至少需要多少次的处理才能将一个字符串变成另一个字符串。1.2应用自然语言处理：如拼写检查可以根据一个拼错的字和其他正确的字的编辑距离，判断哪一个（或哪几个）是比较可能的字。生物信息学：DNA也可以视为用A、C、G和T组成的字符串，编辑距离可以用来判断二个DNA的类似程度。Unix下的diff及patch即是利用编辑距离来进行文本编辑对比的例子1.3分类最长公共子序列距离（Longest Com
2021-07-16 14:10:27
326
原创 Python正则表达式re包用法
1.常用函数# 编译re.compile(pattern, flags=0)# 从字符串任意位置匹配，返回匹配到的第一个re.search(pattern, string, flags=0)# 从字符串开始匹配，返回匹配到的第一个re.match(pattern, string, flags=0)# 分割re.split(pattern, string, maxsplit=0, flags=0)# 可以返回所有匹配结果re.findall(pattern, string, fla
2021-07-14 18:55:43
1078
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人