- 博客(63)
- 收藏
- 关注
RSS订阅原创 【AIGC】如何在Windows/Linux上部署stable diffusion
保姆级安装部署stable diffusion教程，在win10和linux上测试通过。
2024-03-29 19:05:53
1258
原创 【机器学习】如何计算解释模型的SHAP值
总的来说，这个算法就是在模拟一个实验：如果我们改变一个人的年龄（而其他特征保持不变），那么这将如何影响我们的预测结果。通过多次模拟这个实验并取平均，就可以得到一个对“年龄”特征的影响力的估计值，也就是SHAP值。我们想知道“年龄”这个特征对预测结果的影响有多大，也就是我们想要计算“年龄”的SHAP值。简而言之，此算法的目的是估计在随机排列特征的情况下，特征j的存在与否对模型预测结果的影响，从而评估特征。最后，将100次迭代中计算出的所有边际贡献进行平均，得到的就是“年龄”特征的SHAP值。
2024-03-27 22:49:22
677
原创 【概率统计】如何理解概率密度函数及核密度估计
核密度估计则是一种更为精细的对概率密度函数的估计。它通过在每个数据点处放置一个核函数（类似于一个“平滑”的直方图），然后将这些核函数叠加起来，从而得到一个平滑的估计。
2023-12-01 17:03:41
2374
2
原创 【概率统计】通俗理解边际分布
边际分布的“边际”一词来源于统计学中的一个惯例。在统计学中，假设有一个二维的联合分布表，我们通常会在这个表的边缘（或者说“边际”）上总结出每一行或者每一列的总和。这个总和就反映了单独一个变量的分布，而不是两个变量的联合分布。因此，这种分布就被称为“边际分布”。
2023-11-30 16:22:44
949
原创 深入推导理解sample softmax loss
查看TensorFlow关于nce loss和sample softmax loss时，发现都会对logit进行修正。为了搞清楚为什么需要对logit修正，以及为什么可以这样修正，参考许多资料后，现总结成文，以飨诸君。
2023-09-28 16:36:57
247
原创 【windows】powershell使用ll、head、tail等linux命令
最近在windows系统上办公比较多，想使用linux上经常用到的ll、head、tail等命令。发现可以通过修改powershell的配置文件来实现。具体地，一般需要修改以下路径的配置文件，没有的话就在该路径下创建一个。配置文件路径："C:\Users\你的用户名\Documents\WindowsPowerShell\profile.ps1”
2023-08-06 11:10:07
1250
原创 【sklearn】回归模型常规建模流程
基于数十种统计类型特征，构建回归模型pipeline：样本切分、特征预处理、模型训练、模型评估、特征重要性的可视化。
2023-08-05 19:34:37
604
原创 【Linux】wget和aria2该怎么选？
s [数字]总的来说，aria2是一种功能强大且速度更快的下载工具，支持多种协议和下载方式，但使用时需要较复杂的命令语法。而对于简单的下载任务，wget可能更加简单和实用，只需输入简单的命令即可完成大多数任务。
2023-06-12 20:19:50
785
原创 【ChatGPT】基于tensorflow2实现transformer（GPT-4）
请记住，您是一位NLP领域的专家和优秀的算法工程师。使用带有 tensorflow2.0 subclass api 的 python 从头开始实现 transformer 模型。最后，您所有的答案都以markdown格式呈现。
2023-04-13 13:31:19
1296
6
原创 【ChatGPT】基于tensorflow2实现transformer（GPT-3.5）
请记住，您是一位NLP领域的专家和优秀的算法工程师。使用带有 tensorflow2.0 subclass api 的 python 从头开始实现 transformer 模型。最后，您所有的答案都以markdown格式呈现。
2023-03-27 18:43:53
5487
原创 【Python】win10上用psutil统计应用CPU占用情况
对于多进程应用，调用p.cpu_percent()函数会出现值大于100的情况，给人一种不太准确的感觉。为解决该问题，以统计谷歌浏览器CPU占用情况为例，实现相关统计逻辑。
2023-03-22 21:19:19
995
原创 【Typora】自动生成markdown文档目录
如题，只需在文章开头添加[TOC]即可。TOC即是table of content（目录）的简写。例如如下文本@[toc]# 标题1标题1里的正文内容# 标题2标题2里的正文内容## 标题2.1标题2.1里的正文内容### 标题2.1.1标题2.1.1里的正文内容### 标题2.1.2标题2.1.2里的正文内容## 标题2.2标题2.2里的正文内容便会出现如下包含目录的效果文章目录标题1标题2标题2.1标题2.1.1标题2.1.2标题2.2..
2021-04-02 15:22:10
4679
原创 【ClickHouse】常用查询语句demo
ClickHouseClickHouse中常用的查询语句语法，仅供参考，详见官方参考文档。时间操作相关时间戳 to 日期时间select toDateTime(1604457372); -- 2020-11-04 02:36:12select toDateTime64(1604188800, 3, 'Asia/Shanghai'); -- 2020-11-01 08:00:00.000select toDateTime64(1604457372, 3, 'Asia/Shang
2021-03-22 20:20:59
1457
原创 【Doris】数据模型
常见数据模型Uniq模型是Aggregate模型的特例。Aggregate模型（聚合模型）CREATE TABLE IF NOT EXISTS example_db.expamle_tbl( `user_id` LARGEINT NOT NULL COMMENT "用户id", `date` DATE NOT NULL COMMENT "数据灌入日期时间", `city` VARCHAR(20) COMMENT "用户所在城市", `age` SMALLINT COMMENT "用户
2021-03-03 17:18:04
554
1
原创 【Python】使用字典模拟switch/case语句
背景众所周知，Python中没有switch/case语句，而工作中经常会有不同的逻辑需要处理，比较常见的方式是使用if语句实现多种逻辑处理，但随着逻辑的增多，多个elif会让代码看起来很不友好。比较trick的方法，是使用dict实现多种逻辑处理来模拟switch/case语句。使用if实现def dispatch_if(operator, x, y): if operator == 'add': return x + y elif operator == 'su
2021-03-01 14:32:24
681
原创 【TF】Illegal instruction错误
使用tensorflow2时出现Illegal instruction背景：本地运行时正确，服务器上运行时报错。问题：import tensorflow as tf 时出现Illegal instruction错误解决方案：修复tensorflow版本服务器上的tensorflow版本: 2.4.0升级至2.4.1或者降级至2.3.x皆可解决问题...
2021-02-26 17:32:20
366
原创 【TF】本地访问服务器端的tensorboard
tensorflow 2.x只需添加–bind_all参数本地浏览器输入http://server-ip:6006访问# 注意--bind_all参数的位置，默认端口号是6006tensorboard --logdir ./log/ --bind_alltensorflow 1.x需要在本地进行端口转发本地浏览器输入http://localhost:16006访问# 1.服务器tensorboard --logdir ./log/# 2.本地ssh -L 16006:
2021-02-04 11:14:25
980
原创 【Numpy】np.tile举例理解
np.tile()仔细观察数据前后的shape，便可知晓该函数的用法。在原始数据shape基础上，对应轴扩展几倍。例如，原始数据x的shape是(2, 3)，np.tail(x, [1,2])表示扩展后的数据shape为(2x1, 3x2)，即行数不变，列数扩展为之前的两倍，因此shape为(2, 6)。类似地，tf.tile()也是对tensor做同样的扩展操作。# shape为(2, 3)x = np.array([[1, 2, 3], [4, 5, 6]]) # =
2021-02-02 14:27:13
754
2
原创 【docker安装graphviz】解决Do you want to continue? [Y/n] Abort.
docker安装graphviz出现Do you want to continue? [Y/n] Abort.apt-get 后添加-y参数即可# Dockerfile修改前RUN apt-get install graphviz# Dockerfile修改后RUN apt-get install -y graphviz
2021-01-29 12:23:06
3779
原创 【tensorflow2】embedding层索引出错问题
出错信息tensorflow.python.framework.errors_impl.InvalidArgumentError: indices[4,0] = 5 is not in [0, 5)indices[4,0] = 5 is not in [0, 5)说明embedding的最大索引值为4，这里是5，所以出错了。查看构建Embedding层的代码发现input_dim为4,改为5后即可。# 出错的代码embedding = Embedding(input_dim=4, out
2021-01-26 16:28:00
2503
原创 python中修改已定义好的nametuple属性值
定义用户nametuple定义一个具有名称、性别和年龄属性的namedtuple类型用户from collections import namedtupleUser = namedtuple('User', ['name', 'sex', 'age'])user = User(name='jessica', sex='female', age=21)修改年龄属性# 这样修改会报错user.age = 32# 正确的修改方式user = user._replace(age=32)
2021-01-22 10:49:00
2669
原创 shell脚本显示命令本身及其执行状态
显示命令内容及其执行状态judge(){ $1 > /dev/null if [[ $? -eq 0 ]];then echo -e "执行命令: $1\t执行结果: 成功" else echo -e "执行命令：$1\t执行结果: 失败" fi}echo "第一次执行"judge "pwd"echo "第二次执行"judge "pwd2"第一次执行执行命令: pwd 执行结果: 成功第二次执行执行命令：pwd2 执行结果: 失败...
2021-01-15 11:13:19
1594
原创 shell脚本清除同时满足多个过滤条件的docker容器
shell脚本清除相关容器条件1: 清除容器名中包含ngnix的容器条件2: 在条件1的基础上，清除容器中状态为Exited的容器docker ps -a --format 'table {{.ID}}\t{{.Image}}\t{{.Names}}\t{{.Status}}' | awk '/nginx/ && /Exited/' | awk '{print $1}' | xargs docker rm...
2021-01-14 20:12:15
1096
原创 Python异步【Hello World】
异步样例异步打印不同的"Hello World"import randomimport asyncioasync def print_async(message): # Randomizing the delay to prove it's actually # async. To always run your code as fast as # possible, sleep for 0 seconds. await asyncio.sleep(rando
2021-01-08 14:17:40
968
2
原创 pandas系列之apply小记
pandas系列之applyapply函数用于series和dataframe的写法不尽相同，注意区分；此处的action表示一个用户历史点击数据的dataframe；其中，sid_list = actions[‘sid’].unique().tolist()1.1 基础写法def func(x): x = np.random.choice(sid_list) return x # 以下三种apply方式等价actions['sid'] = actions
2020-09-12 22:29:06
3210
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人