小林书店副编集-CSDN博客

原创把pandas DataFrame含有异常值的行打印出来

功能：检查pandas DataFrame的每一行数据，只要含有Nan或Inf，无论在哪个位置，都把这行打印出来df[df.isin([np.nan, np.inf, -np.inf]).any(axis=1)]另一种用法就是，把含有异常值的行删掉df = df[~df.isin([np.nan, np.inf, -np.inf]).any(axis=1)]...

2023-11-29 15:16:00 117

原创 Could not load dynamic library 'libnvinfer.so.7' 解决方法

1.首先安装TensorRTpip install tensorrt2.找到tensorrt_libs目录，一般在~/.local/lib/python3.10/site-packages/tensorrt_libs/。目录下可以看到libnvinfer.so.8等文件注：有些教程说的是tensorrt目录，但是我在这个目录下面没找到文件3.创建symbol links，这样TensorFl...

2023-11-27 15:22:00 1137 1

原创 WPS加载EndNote X9插件

参考官方教程，针对EndNote X9版本修改1、关闭WPS。2、找到路径C:\Program Files (x86)\EndNote X9\Product-Support\CWYW，将Cwyw_X86.dat的后缀修改为.zip注意这里是把Cwyw_X86.dat重命名为Cwyw_X86.zip，不是把Cwyw_X86.dat文件压缩成Cwyw_X86.zip3、新建目录C:\Progr...

2023-11-26 16:03:00 674 1

原创 Bitbucket克隆私有仓库密码报错问题

使用git clone克隆私有仓库的时候提示输入密码，输入登陆密码之后报错。这是因为Bitbucket要单独设置App password才能使用git clone命令，登陆密码仅用于登陆。方法就是Personal settings这里设置一个App password...

2023-11-17 09:09:00 130

原创 2021，开启全新写作计划

零零散散的记了3年多，大部分是自己平时的读书和学习笔记。2021年，给自己定下一个新的写作目标。从今年开始，将定期总结技术文章，并持续更新。...

2021-01-01 07:24:00 184

原创 RNN计算loss function

用于理解RNN结构的两张图：Remember that our target at every time step is to predict the next character in the sequence. So our labels should look just like our inputs but offset by one character. Let’s loo...

2020-12-29 17:00:00 1121

原创 ReLU 函数非线性

做个笔记

2020-12-29 03:05:00 246

原创 Ubuntu MP4转MP3 软件：soundconverter

sudo apt-get install soundconverter非常实用的小软件。

2020-12-20 01:41:00 304 1

原创 Jupyter 中添加conda环境

source activate myenvconda install pipconda install ipykernel # or pip install ipykernelpython -m ipykernel install --user --name myenv --display-name "Python (myenv)"

2020-12-16 20:04:00 81

原创 Pandas 比较两个 DataFrames 是否相同

df = pd.DataFrame({1: [10], 2: [20]})df 1 20 10 20exactly_equal = pd.DataFrame({1: [10], 2: [20]})exactly_equal 1 20 10 20df.equals(exactly_equal)True

2020-12-15 20:56:00 4006

原创苹果ID不能登陆：The action could not be completed. Try again

终端输入以下命令修复：sudo mkdir -p /Users/Sharedsudo chown root:wheel /Users/Sharedsudo chmod -R 1777 /Users/Shared

2020-12-15 17:11:00 1604

原创 rsync 命令使用

首先rsync命令是单向同步，rsync -avv left/ right/right不会影响到left。排除文件(夹)rsync -arv --exclude-from='/home/ben/exclude_me.txt' /home/ben /media/ben/thumbdrive/exclude_me.txt.ccachebuild.java.gvfs.xse...

2020-12-11 21:31:00 236

原创解决 Ubuntu 断电后无法启动

本文参考：https://blog.csdn.net/huyongfeijoe/article/details/77119809根据提示，断电后/dev/mapper/ubuntu–vg–root的文件系统出现错误，需要手动修复。使用以下命令修复：fsck /dev/mapper/ubuntu–vg–root一直确认按y键就行。...

2020-12-11 15:50:00 2025

原创 Ubuntu 自带 ffmpeg 截取视频

ffmpeg -i RAW.mp4 -ss 00:03:40 -t 00:06:00 CLIP.mp4从00:03:40开始，截取时长00:06:00

2020-12-10 18:42:00 658

原创 Pandas 控制输出格式和精度

import pandas as pdpd.set_option('display.max_rows', 999)pd.set_option('precision', 5)pd.set_option('expand_frame_repr', True)

2020-12-05 21:45:00 1332

原创理解 sklearn.preprocessing.MinMaxScaler

公式非常有用的工具，可以把数据集的不同特征缩放到固定范围。先从简单的说起，[0,1]缩放，公式$X_{scaled} = \frac{x-x_{min}}{x_{max}-x_{min}}$MinMaxScaler可以缩放到任意范围[MIN,MAX]，因此更一般化的公式是$X_{std} = \frac{x-x_{min}}{x_{max}-x_{min}}$\(X_{...

2020-12-03 22:29:00 1500

原创 Pandas 常用命令速记

divided by each column's maxdf.apply(lambda x: x / x.max())

2020-12-02 20:46:00 266

原创 Ubuntu 彻底卸载 Opera 浏览器

apt purge opera-stablerm -vrf ~/{.cache,.config}/opera

2020-11-27 23:31:00 682

原创 bash通配符

echo foo_{0..54}.jpgecho foo_{0..54..2}.jpg以下为转载1.1、通配符“*”：匹配任意字符串，包括空字符串，不包含对“/”字符的匹配。“?”：匹配任意单个字符，不能匹配“/”字符。1.2、字符类“[abc]”：匹配“a”或者“b”或者“c”字符。“[!abc]”：匹配除了“a，b，c”这3个字符之外的任意一个字符。备注：字符类内...

2020-11-27 20:52:00 219

原创 Python格式化输出

使用 f-stringprint(f"y1/y2: {y1:.6e}/{y2:.6e}")# y1/y2: 4.282000e-11/1.562123e-10使用%print('%d %s cost $%.2f' % (6, 'bananas', 1.74))# 6 bananas cost $1.74

2020-11-27 18:55:00 161

原创 TensorFlow 建立多个模型导致的运行过慢问题

在 TensorFlow 里，如果反复编译调度多个模型，代码的运行速度会越来越慢。应该及时调用tf.keras.backend.clear_session()进行资源释放。官方说明如下：If you are creating many models in a loop, this global state will consume an increasing amount of me...

2020-11-22 20:49:00 399

原创关掉 TensorFlow 的调试信息

TensorFlow 每次运行的时候都会弹出类似下面的调度信息I tensorflow/stream_executor/dso_loader.cc:105] successfully opened CUDA library libcublas.so locallyI tensorflow/stream_executor/dso_loader.cc:105] successfully ...

2020-11-22 20:44:00 498

原创 R语言semi_join()，anti_join()，nest_join()函数

Filtering joins filter rows from x based on the presence or absence of matches in y:semi_join() return all rows from x with a match in y.anti_join() return all rows from x without a match in ...

2020-11-21 17:04:00 1346

原创 Eigen permutate columns/rows

#include <iostream>#include "Eigen/Dense"#include "eigen_consts.H"#include "eigen_test.H"using namespace std;using namespace Eigen;int main(){ MatrixXf A(3,4); A << 1,2,3,...

2020-11-21 01:25:00 209

原创迁移学习 colab 完整示例:fruits-360 数据集

这里当前目录下已经有fruits-360这个数据集. 关于调用数据集的方法可以查看我另一篇文章.准备import tensorflow as tfimport tensorflow.keras as kerasfrom tensorflow.keras.preprocessing.image import load_img, img_to_array, array_to_img, ImageDataGenerator创建 Generator创建 ImageDataGenerator. 由于这个

2020-08-02 16:57:06 403

原创使用 Keras 的 ImageDataGenerator 划分训练集和测试集

Keras的ImageDataGenerator可以方便的读入文件夹中的图片并自动生成训练数据 . 如果图片已经被分成训练集和测试集两个文件夹, 可以独立创建两个ImageDataGenerator. 但是在很多情况下, 作者提供的数据集并不区分训练集和测试集, 这时候也可以使用ImageDataGenerator.假设当前目录下有一个 Mushrooms数据集, 里面有9个子文件夹, 分别是9种蘑菇. 可以使用以下代码将生成ImageDataGenerator, 把数据集分成70%训练集和30%测试集.

2020-08-02 02:24:37 2398 1

原创谷歌 colab调用 Kaggle 数据集

首先需要有 Kaggle 账号下载个人 API Token上传Token到 Google Drive把下载的kaggle.json上传到 Google Drive 上新建的一个文件夹, 例如Kaggle文件夹新建 colab 笔记挂载 Google Drive, 运行以下代码import osos.environ['KAGGLE_CONFIG_DIR'] = "/content/drive/Kaggle"切换到这个文件夹os.chdir('/content/drive/Kaggle')

2020-08-02 02:17:59 1228

原创 TensorFlow/Keras binary_crossentropy损失函数

In [22]: y_true = [[0], [1]] In [23]: y_pred = [[0.9], [0.9]]

2020-08-01 21:46:45 1230

原创 R语言 pivot_longer 图表变换

relig_income#> # A tibble: 18 x 11#> religion `<$10k` `$10-20k` `$20-30k` `$30-40k` `$40-50k` `$50-75k` `$75-100k`#> <chr> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <

2020-07-01 00:17:44 6809

原创 R语言 ggplot2 柱状图

# librarylibrary(ggplot2) # create a datasetspecie <- c(rep("sorgho" , 3) , rep("poacee" , 3) , rep("banana" , 3) , rep("triticum" , 3) )condition <- rep(c("normal" , "stress" , "Nitrogen") , 4)value <- abs(rnorm(12 , 0 , 15))data <- da.

2020-07-01 00:12:39 926

原创 R语言 ggplot2 笔记

legend设置legend位置和titleggplot(df, aes(x, y, colour=g)) + geom_line(stat="identity") + theme(legend.position="bottom") + theme(legend.title=element_blank())

2020-07-01 00:07:44 215

原创 Bash 批量删除指定后缀的文件

find . -type f -iname \*.jpg -delete-type 文件类型-iname 区分大小写-delete 对符合条件的文件执行删除命令最好先运行不带-delete的版本查看符合条件的文件。

2020-06-30 21:39:13 614

原创 MacBook 风扇控制软件 Macs Fan Control

明明没有在跑大程序，苹果的风扇还是狂转不停。看来传感器不是特别灵敏。找到一个可以手动调节的软件，可以保持中等转速。https://crystalidea.com/macs-fan-control/download世界瞬间清净。

2020-06-30 16:04:26 2006

原创 R语言 dplyr selec 辅助函数

Tidyverse selections implement a dialect of R where operators make it easy to select variables:: for selecting a range of consecutive variables.! for taking the complement of a set of variables.& and | for selecting the intersection or the union of

2020-06-30 03:07:15 664

原创 R语言一次性更新全部packages

install.packages( lib = lib <- .libPaths()[1], pkgs = as.data.frame(installed.packages(lib), stringsAsFactors=FALSE)$Package, type = 'source')https://www.r-bloggers.com/update-all-user-installed-r-packages-again/

2020-06-29 20:19:07 3786

原创 R语言 glue 版本冲突

namespace ‘glue’ is imported by ‘tidyselect’, ‘dplyr’ so cannot be unloaded报错原因是dplyr和tidyselect两个包所要求的glue版本不同。把glue更新到最新版本即可，可以需要源码编译。

2020-06-29 20:10:31 570

原创 R语言 random forests 高性能库

最忠实Leo Breiman算法的版本是 randomForest，但是这个库不支持并行，性能也比较差。有两个优化后的替代版本，都支持并行计算。rangerrborist

2020-06-29 19:45:32 170

原创 sklearn 中的 r2_score

R2R^2R2不止一种定义方式，这里是scikit-learn中所使用的定义。As such variance is dataset dependent, R² may not be meaningfully comparable across different datasets. Best possible score is 1.0 and it can be negative (because the model can be arbitrarily worse). A constant model

2020-06-29 19:21:49 1519 3

原创 R语言将所有列数据正交化/缩放

官方例子如下，rescale01 <- function(x) { rng <- range(x, na.rm = TRUE) (x - rng[1]) / (rng[2] - rng[1])}df <- tibble(x = 1:4, y = rnorm(4))df %>% mutate(across(where(is.numeric), rescale01))#> # A tibble: 4 x 2#> x y#>

2020-06-29 19:18:02 1658

原创 R语言 random forests out-of-bag prediction

out-of-bag predictionCreated: Jun 29, 2020 12:22 PMUpdated: Jun 29, 2020 12:28 PMhttps://stackoverflow.com/questions/25153276/difference-of-prediction-results-in-random-forest-modelhttps://stats.stackexchange.com/questions/412479/difference-between-the

2020-06-29 19:11:55 422

空空如也

空空如也