- 博客(34)
- 收藏
- 关注
RSS订阅原创 Pycharm实战tricks
Pycharm 使用 tricksPycharm调用远端服务器调试DL codePycharm的code模板Pycharm的自动注释风格Pycharm调试haltPycharm的自动代码片段生成工欲善其事，必先利其器。Pycharm有很多实用的技巧，结合自己碰到过的问题，这里做一下简单汇总。Pycharm调用远端服务器调试DL codehttps://www.jianshu.com/p/4b3749f159f7Pycharm的code模板https://www.cnblogs.com/jhao/p
2021-04-28 05:44:51
256
原创 Useful Visualization examples with Python
Just a collection for commanly used visulazation.Referenceshttps://pandas.pydata.org/pandas-docs/stable/user_guide/visualization.htmlExamples Hist by pandas df_smp_sel.hist(column=['bi_class','valid'],figsize=(8,3))plt.figure()ax = df_smp_sel.
2021-04-10 04:26:51
261
1
原创 Jupyter nbextentions 安装与使用
Jupyter notebook是特别适合我这种边想边做的意识流编程，不过原始版的jupyter notebook一旦行数多起来，很难有效的找到上下文，直到发现了nbextentions，具有目录导航功能，真香啊！介绍https://jupyter-contrib-nbextensions.readthedocs.io/en/latest/install.html安装pip install jupyter_contrib_nbextensions && jupyter co
2021-04-03 14:02:55
760
原创 医学AI诊断的沉淀与畅想：从Supervised Learning 到 Open World Incremental Learning
记得2019年还在做基于乳腺钼靶的乳腺癌AI诊断时，当时需要医生配合做大量的标注才能实现有效的监督学习，和一位经验丰富的师姐（某医院的影像科主任）探讨人工智能的未来发展时，有两个印象深刻的点：1. 有没有可能AI可以自己知道自己哪些是自己不知道的，从而提出来让医生来标注？并自己实现升级。2. AI能不能自己随着看到的数据越来越多和医生的修整来不断的提高性能？这两个问题一直在脑海中萦绕，答案从目前来看是十分乐观的。近期发现这些方向事实上已经形成了一个很大的研究方向：Incremental L.
2021-03-15 04:17:32
249
1
原创 Github各种账号密码错误的统一解决方案
使用github，如果有时需要切换不同的账号密码时，容易出现无法push的错误。这时候，最简单的办法，就是重置git config中的账号密码了。其常见错误为：fatal: unable to access : The requested URL returned error: 4031. 可以使用git config --list 来查看用户信息，并进行更改；这里有三种情况可用: --global, --local, --system2. 如果更改用户名和邮箱没有效果，则需要重置系统.
2021-03-09 02:57:46
2511
原创 2021-02-05
关于特征选择，开坑，集合常用实用技术点References1.https://zhuanlan.zhihu.com/p/141506312
2021-02-06 06:43:15
77
原创 Cross Validation技术集锦
关于CV，这里开个坑，会不断聚集相关的技术。https://machinelearningmastery.com/how-to-create-a-random-split-cross-validation-and-bagging-ensemble-for-deep-learning-in-keras/
2021-02-06 06:39:28
65
原创 Pandas Dataframe常用却冷门操作集锦
1. Dataframe 去除某些行或者列df.drop(columns=['XX,XX'])df.dropna(axis=1,how='any')https://blog.csdn.net/calorand/article/details/537422902. Dataframe拼接https://blog.csdn.net/qq_41853758/article/details/83280104pd.concat([df1,df2])...
2021-02-05 09:23:32
75
原创 大数据处理之Python与R包联调（devtools and tcga methylation）
近期需要处理一些TCGA数据库中癌症甲基化methylation的数据，其中需要去除sex和SNPs相关的tcgs，如果自己从原理上来做比较麻烦，比较理想的是调用一些现成的包。发现，生物信息学这块儿基本上都是R语言的天下，几经调研，发现meffil具有比较便捷的接口可以使用（https://github.com/perishky/meffil）。因而，目前就是如何在我现有的基于python和pandas的pipeline里嵌入R语言的调用，目前已经走通。接下来介绍一下我的踩坑经历。0. 安...
2021-01-12 06:16:13
323
原创 2020年12月集锦
1. panda.read_excel() 碰到 excel文件不可读的错误：xlrd.biffh.XLRDError: Excel xlsx file; not supported这种情况需要卸载重装xlrd库：pip uninstall xlrdpip install xlrd==1.2.0
2020-12-13 02:36:21
280
原创 图像形状尺寸的常用整理方法
在进行网络训练的时候，经常需要对图像进行一些处理，形状的改变是最常见的一项，这里有几种办法来进行：1. opencv:https://www.tutorialkart.com/opencv/python/opencv-python-resize-image/cv2.resize(src, dsize[, dst[, fx[, fy[, interpolation]]]])import cv2 img = cv2.imread('/home/img/python.png', cv2.
2020-11-13 04:42:03
324
原创 2020年11月集锦
1. Git merge策略总体原则：使用-s指定策略，使用-X指定策略的选项 默认策略是recursive 策略有ours，但是没有theirs(Git老版本好像有) 策略ours直接忽略合并分支的任何内容，只做简单的合并，保留分支改动的存在 默认策略recursive有选项ours和theirs -s recursive -X ours和-s ours不同，后者如第3点提到直接忽略内容，但是前者会做合并，遇到冲突时以自己的改动为主 -s recursive ...
2020-11-05 03:54:48
180
原创 2020年10月tricks集锦
近期coding的一些使用tricks集锦1. torch的tensor的整理：tensor = torch.random(x,y)tensor.reshape(x,1,1,y)tensor.repeat(1,3,1,1)2. docker的一些用法：docker.attach进入某个正在运行container，退出时，使用exit，则会使container退出，此时如果想重新回复：1. 从image中加载container，重新运行：docker run -dit --n.
2020-10-31 13:54:15
102
1
原创 Jupyter notebook环境下启动R语言的三板斧及做Radiomics福利
R也是做医学统计以及机器学习的一个重要战场，这里介绍如何在Jupyter notebook环境下启动和使用R。首先，系统里要已经安装了R（官网下载：https://cloud.r-project.org/）。而后，在R.exe的目录下启动Anaconda Prompt（可以添加在右键列表，具体略过），并运行R.exe;接下来，三个指令，顺序操作： install.packages("devtools") devtools::install_github("IRkernel/IRk
2020-10-02 10:25:34
219
原创 Reinstall DGX Station of DeepLearning for both tensorfow and pytorch
近期因为业务需要，需要对一部2017年版的DGX station重新装机，过程有些痛苦，好在已经搞定，现在总结一下大致过程。安装目标：1. Ubuntu 18.04 LTS2. Tensorflow3. Pytorch过程：1. 使用Unetbootin 和官网下载的iso文件，及一个8G的U盘，制作系统盘；2. 进入bios，关闭掉其他所有的启动系统，仅保留U盘启动；3. 在Linux系统安装界面，激活ubuntu install，按'e'启动安装管理，在quiet spl
2020-10-01 08:57:17
273
2
原创 NLLloss, CEloss, BCEloss, BCElosswithlogits
多分类问题用NLLLoss和CrossEntropyLoss，其中NLLloss必须之前进行nn.log_softmax（）运算，而CEloss则相当于NLLloss+log_softmax()单分类问题用BCEloss和BCElosswithlogits，其中，BCEloss之前必须进行nn.Sigmoid()运算，而BCElosswithlogtis则相当于Sigmoid+BCEloss...
2020-07-15 02:19:10
1409
原创 Xfce: Could not connect to session bus. Connection refuse
使用华为云跑DL时，安装了xfce4来作为linux的界面。然而，某次重启服务器后，发现无法再登录界面。经过几番谷歌，发现主要是dbus的问题，网上各种办法都有，但没敢轻易动手尝试。最后找到了一个简洁到无以复加的解决办法：conda uninstall dbus.一切OK~...
2020-07-08 14:44:04
923
原创 python下list和dict的简洁如诗的批处理操作
1. 列表Lista=[1,2,3,4,5,6,7,8]a[1:][2, 3, 4, 5, 6, 7, 8]a[::-1][8, 7, 6, 5, 4, 3, 2, 1]x=[x**2 for x in a][1, 4, 9, 16, 25, 36, 49, 64]2. 字典Dictd={'q':1,'w':2,'e':3} {'e': 3, 'q': 1, 'w'...
2020-04-30 04:44:30
308
原创 Docker下的jupyter notebook在开发环境中用指定端口中打开
在Linux下，深度学习环境的配置总是比较annoying。而使用docker时，如果要使用jupyter notebook, 就要想办法把其在开发环境的浏览器中打开，默认端口是8888，但是有时候端口会被占用，如何指定端口，并顺利打开呢？经实战验证，有两种途径，均可以很好的在指定端口下打开docker中的jupyter notebook。1. Docker的启动，有两种方式，一种是交互式...
2020-04-11 02:08:06
1114
原创 给Jupyter Notebook设置指定的虚拟环境
当存在多个虚拟环境时，有时需要给Jupyter Notebook指定虚拟环境，否则，有可能存在反复要求安装某个模块。假设需要安装的虚拟环境名称是env首先激活环境：activate env # 基于conda和virtualenv的虚拟环境会各有不同pip install ipykernel # 当前环境下，安装 ipykernel 包python -m ipykern...
2020-03-30 07:26:09
910
原创 基于uwsgi和python环境的json文件的传递
作为service端，需要解析从前端发来的json文件，并从中获取数据，完成分析后，将结果存为json格式返回。其中，获取数据的部分主要是：request['QUERY_STRING']request_body = request["wsgi.input"].read(int(request.get("CONTENT_LENGTH", 0)))获取到的数据，是byte格式，需要转...
2020-03-19 02:26:34
294
原创 调用matplotlib时tkinter报错
在一台新机器上配置环境后运行老程序，总会出现各种诡异的错误。比如，在python3.6下运行matplotlib，报错找不到tkinter： File "/usr/local/lib/python3.6/tkinter/__init__.py", line 36, in <module> import _tkinter # If this fails your Py...
2020-03-05 07:12:40
281
原创 基于Docker和uwsgi 部署自己web版的pytorch深度学习model
Docker可以免去繁琐的环境配置问题，是一个真香的应用部署环境。因而，打算基于Docker来创建和部署自己的model，从开始接触这个概念到真正应用成功，1天。现总结一下流程：主要参考：1. docker 官网：http://www.docker.org.cn/2. docker 基本操作： https://blog.csdn.net/weixin_44286547/arti...
2020-01-15 19:01:20
771
原创 pytorch将GPU上训练的model load到CPU/GPU上
假设我们只保存了模型的参数(model.state_dict())到文件名为modelparameters.pth, model = Net()1. cpu -> cpu或者gpu -> gpu:checkpoint = torch.load('modelparameters.pth')model.load_state_dict(checkpoint)2. cpu -&...
2020-01-14 15:31:11
2149
原创 pytorch的损失函数理解
对于loss的定义和选择，是决定一个模型能否收敛甚至是针对特定问题是否能够进行灵活应用的基石，因而对于loss的理解和把握是炼丹师的基本数学修养。从pytorch的loss的使用来看，是对于loss的理解的一个很好的入口。https://blog.csdn.net/jacke121/article/details/82812218对于Loss的理解应该是无止境的，有如下的一些比较高阶...
2020-01-13 14:31:57
631
原创 基于uwsgi的pytroch模型的部署
一般对深度学习模型进行web部署时，总是脱离不了基于django或者flask，其实对于uwsgi了解到一定程度，对于一些简单的任务，可以脱离这两个框架，直接通过一些最原始的uwsgi指令就可以调用pytroch的模型。其中，最关键的一步，是uwsgi下如何加载pytroch module。网上会有各种参考，说明如何在uwsgi下的ini配置文件里启动virtualenv，然而这往往是一个...
2020-01-07 17:34:12
524
原创 医疗AI观察（集锦）
2019.12.27http://www.qianjia.com/html/2019-10/31_354264.html 人工智能好场景2019.12.29https://blog.csdn.net/gdengden/article/details/84196883 自学习
2019-12-27 18:49:42
97
原创 医学影像AI科学家的知识体系梳理
医学影像AI知识体系（2019版）'''%计划过年前后完成2019版知识体系梳理，敬请关注'''医学影像基础 医学影像物理学 超声 X-ray CT MRI PET 一些新型成像系统 临床场景与常见科研问题 医学物理学 图像重建 Gridding Compress sensing GAN ...
2019-12-27 16:26:52
262
原创 linux 下 配置服务器
sudo apt-get install sshsudo apt-get install sshd/etc/init.d/ssh restartsudo apt-get install openssh-serversudo vim /etc/ssh/sshd_configsudo /etc/init.d/ssh restart
2019-12-17 17:43:11
62
原创 SAS下的深度学习开源模块DLPy简介
在数据分析和处理领域中长期占有一席之地的SAS居然也有自己的深度学习模块，而且还是开源的。基于Keras，SAS推出了DLPy，集成了目前各种比较成熟的网络模型，如Lenet，Unet，Resnet，Faster-rcnn等，感觉也是一个可以用来进行快速开发的平台工具。当然，我本人还是更喜欢Pytorch。DLPy Github开源链接如下：https://github.com/lvx...
2019-12-16 18:41:15
521
原创 ECG 常见分类及中文翻译
N (Normal beat) (N) Normal beat (L) Left bundle branch block beat 左束支传导阻滞心搏 (R) Right bundle branch block beat 右束支传导阻滞心搏 (e) Atrial escape beat 房性逸搏(被动性异位心律) (j) Nodal (junctional) escape b...
2019-12-16 10:59:29
1640
原创 ubuntu 下的基本管理与虚拟内存
在ubuntu下的基本维护与管理：https://www.jianshu.com/p/60ccc4cc46be虚拟内存的设立与激活，亲测：https://blog.csdn.net/limingyue0312/article/details/88792843
2019-12-12 16:36:19
126
原创 基于C/S架构搭建一个Pytorch model 用于 ECG 异常检测
ECG的数据来源于便携式的设备，通过蓝牙传递至手机，手机端的数据上传至服务器。而服务器则需要对上传来的数据进行异常脉搏进行分析和推断，并把结果传回手机端。不像Tensorflow自带了Tensorflow Server，Pytorch官方没有自带部署应用。因此如果想要把Pytorch用于生产环境，需要自己搭建Pytorch服务器。目前可能的方案，参考如下文章：1. c++调用pyt...
2019-12-12 12:22:38
597
原创 开始写博客
不知觉，也算是医疗AI圈里的人。回想自己这一路走来，是时候开始梳理一下思路，也把曾经的经验教训分享给后来者了。总体来说，我是一个幸运也倒霉的人，读书的时候碰到过做梦都会被吓醒的导师，也碰到过感动到心底的导师，做过基础的硬件，也做过软件，做过最基础的算法，也赶上大潮做过人工智能。在北大读过书，美国留过学，中科院当过老师，也搞过不少项目，带过学生，也待过最新潮的人工智能创业公司，见证过巨头的倒下。...
2019-12-10 20:33:59
65
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人