- 博客(142)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 win10下安装YOLOX
win10下安装YOLOX搞了我一周时间，都是各种版本不匹配导致的，最后发现下面这个链接里的版本是可用的：Windows10 yolox 安装_꧁༺ʚvv༒catɞ༻꧂的博客-CSDN博客_win10安装yoloxWindows：10 Anaconda：2.0.4 Python 3.7.10 nvcc显示的版本是cuda 11.3 nvidia-smi显示的cuda版本是11.5(驱动的cuda版本高于实际cuda版本就行) cudnn: cudnn-11.3-windows-x64.
2021-12-26 23:35:15
1209
2
原创 cuda11.5下print(torch.cuda.is_available())结果是False问题
安装了最新版的cuda11.5+cudnn8.3.0后print(torch.cuda.is_available())结果却是False，查了一下原来安装的是CPU版pytorch，而不是GPU版。费了一大番周折后发现原来我的源里都找不到cuda11.5+cudnn8.3.0版的pytorch，所以自动给我装了CPU版。从清华源里找到了pytorch-1.10.1-py3.8_cuda11.3_cudnn8_0.tar.bz2，所以就照这个下载吧，安装了cuda11.3后又发现找不到cuda11.3对应
2021-12-25 01:21:40
1522
原创 CUDA安装踩的坑
GTX950M显卡比较老了，硬盘坏了重装系统后CUDA也要重装，结果试了无数次从CUDA11.5到11.4到10.2，每次都报“NVIDIA安装程序失败”，好多项目都是未安装的状态。最后试到9.2终于可以啦！！！网上搜到都说是在桌面上右键->NVIDIA控制面板->帮助->组件里看CUDA版本，我的显示是CUDA11.4结果11.4也装不上，看来这个方法真是坑人。就是说GTX950M显卡只能支持CUDA9.2以下！！！...
2021-12-14 23:18:59
2116
原创 新学的C语言，自己写了个文件夹自动同步的程序。
/*Created By Richard Shao 2021.09.09Synchronize source folder to dest folder.Only for windows.argv [1] : source directory [2] : dest directory [3] : log directory -> log file name: time stamp*/#include <stdio.h>#include "stdlib.h" .
2021-10-15 08:36:04
557
原创 2020-11-01
谷歌chrome浏览器打不开网页，而IE/360没有任何问题，查了很多资料，大部分都是误导的。分享一下我的解决方案。1. 正常安装chrome2. 安装完成后在桌面快捷方式上点击右键，选择“属性”，点击“快捷方式”栏，在目标框中chrome.exe路径后面加上 --no-sandbox即可。...
2020-11-01 18:49:04
216
原创 coco的json label转换为VOC的xml格式
import osimport jsonimport cv2from lxml import etreeimport xml.etree.cElementTree as ETimport timeimport pandas as pdfrom tqdm import tqdmanno = "annotations_without_background.json"xml_d...
2020-01-24 07:55:34
1972
4
原创 mmdetection训练报错
mmdetection训练报错。先说结论吧，coco格式的annotations.json中categories的category_id不能有0（即背景类）。查了好几个小时，都快要疯了，才搞出这个结论。给大家趟个坑。完整报错内容如下 ：2020-01-04 12:18:44,206 - INFO - Distributed training: False2020-01-04...
2020-01-04 21:08:32
10923
14
原创 pandas读取json文件报错
昨天还运行的好好的代码，今天就报错。代码如下:importpandasaspdimportjsonresult ='result.json'df=pd.read_json(result)print(df.category.value_counts())先是报了个ValueError: Expected object or value百度了很...
2020-01-04 07:49:07
3584
原创 docker启动
docker images启动docker并开启一个命令终端：sudo docker run -it mmdetection:v1.3 /bin/bash
2019-09-18 01:34:25
134
原创 ubuntu16.04下docker和nvidia-docker安装
1、sudo apt-get remove docker docker-engine docker.io ###清楚系统原有docker 如果提示找不到就不用理会2、sudo apt-get update ###更新apt-get源3、sudo apt-get install apt-transport-https ca-certificates curl software-propertie...
2019-09-18 00:21:25
345
原创 python 读取excel的所有工作表并保存为csv
因为excel2013打开文件时经常出现“正在联系......”大约需要半小时左右才能打开，所以就想不用excel打开，直接用python把excel转换为csv后再打开。网上搜了一下，大部分解决方案是用pandas，代码非常简洁：import pandas as pddata = pd.read_excel('1.xlsx',sheet_name=0,index_col=0)data...
2019-07-16 16:05:08
4890
1
原创 ubuntu16.04安装P106-100显卡驱动
使用ubuntu 直接sudo ubuntu-drivers autoinstall安装驱动即可!!!!!richard@richard:~$ sudo ubuntu-drivers autoinstall[sudo] password for richard:Reading package lists... DoneBuilding dependency tree...
2019-05-28 23:33:00
6006
1
原创 FasterRCNN训练自己的数据前20次iter正常，后面突然出现Unknown: Exception
环境：win7+python3.5.2(anaconda4.2.9)+FasterRCNN-tensorflow1.12源码：https://github.com/dBeker/Faster-RCNN-TensorFlow-Python3.5问题：FasterRCNN训练自己的数据前40个iter正常后面突然出现Unknown: Exception，log如下：iter: 10 / 4...
2019-05-12 23:41:53
1346
3
原创 FasterRCNN训练自己的数据前40个iter正常，后面突然出现rpn_loss_cls: nan rpn_loss_box: nan
环境：win7+python3.5+FasterRCNN-tensorflow源码：https://github.com/dBeker/Faster-RCNN-TensorFlow-Python3.5问题：FasterRCNN训练自己的数据前40个iter正常后面突然出现rpn_loss_cls: nanrpn_loss_box: nan，log如下：iter: 10 / 400...
2019-05-12 23:14:34
5464
7
原创 p106矿渣做深度学习踩过的那些坑
熬了两周的夜，终于用一张P106矿渣跑通了第一个vgg，我踩过的这些坑也能为其他学友们提供一些帮助吧，下面就简单记录一下。1）一直用的是thinkpad E570 GTX做的深度学习，因为只有2G显存，很多较大的模型都报OOM，只能跑一些vgg之类的小模型还行。2）听说笔记本可以外接显卡，赶紧去查了查，结果价钱把我吓了一跳，雷电3接口的外接显卡动辄5000以上，光一个外接显卡坞就用2000...
2018-12-25 23:44:11
13171
8
原创 InvalidArgumentError (see above for traceback): Cannot parse tensor from proto: dtype: DT_FLOAT
今天运行一个深度学习任务竟然报了这么长的错。查了一些资料还没有解决，难道是内存太小？运行的同时打开任务管理器发现内存并没有达到100%就报错了。来一位大神帮帮我吧。 python D:\TIANCHI\code\al1.pyUsing TensorFlow backend.(x_train.shape: (144, 1920, 2560)(y_train.shape...
2018-09-27 23:54:43
2860
6
原创 ValueError: Input arrays should have the same number of samples as target arrays.
在做图片中缺陷分类项目时出现正面报错信息：Using TensorFlow backend.(x_train.shape: (144, 1920, 2560)(y_train.shape: (144, 12)(x_test.shape: (24, 1920, 2560)(y_test.shape: (24, 12)x_train shape: (144, 1920, 2560, 1)...
2018-09-27 23:07:32
12424
5
原创 机器学习的过程总结
机器学习的过程总结机器学习的过程总结：提供样本{X,D} D为标签 建模：假设X与D的关系Y=AX+B 多元线性回归评价Y与D的接近程度：lossLoss=(Y-D)**2 优化过程----循环迭代获取一批样本Xi , Di 计算dloss(Xi,Di)/dW #此时的Xi和Di只是placeholder 执行优化----W-负梯度： W - ...
2018-07-30 00:18:54
408
原创 tensorflow中的placeholder
tensorflow中的placeholder#例如模型y=ax+b，其中的a和b是需要调整的参数，#x是要不断接收外部数据的，为了接收数据就需要定义placeholder#例如模型y=ax+b，其中的a和b是需要调整的参数，#x是要不断接收外部数据的，为了接收数据就需要为x定义placeholder#模型中还有一个可训练参数w，import tensorflow as t...
2018-07-30 00:17:00
12512
原创 tenforflow中的变量
tenforflow中的变量import tensorflow as tfimport numpy as np#定义常量a1 = tf.constant(np.ones([4, 4])*2)a2 = tf.constant(np.ones([4, 4]))#定义变量 # 是可以进行求导的b1 = tf.Variable(a1)b2 = tf.Variable(n...
2018-07-30 00:15:57
297
原创 01_tensorflow是如何表示矩阵的
首先看一下tensorflow是如何表示矩阵的：import tensorflow as tfimport numpy as np#定义计算图sess = tf.InteractiveSession()#因为python运行慢，所以要定义会话来运行#在会话执行前的所有代码都只是对模型的描述，并不会执行#直到sess.run时代码才真正执行a1 = tf.consta...
2018-07-30 00:14:57
1340
原创 今天发现了一个python/人工智能的一个好的学习站，莫烦Python，以后可以多逛逛。
Youtube video tutorial: https://www.youtube.com/channel/UCdyjiB5H8Pu7aDTNVXTTpcgYouku video tutorial: http://i.youku.com/pythontutorial
2018-07-28 21:06:26
3178
原创 django执行python manage.py makemigrations时报Access denied for user 'root'@'localhost'
django执行python manage.py makemigrations时报Access denied for user 'root'@'localhost'，搞了我整整两晚上，终于解决了！！！报错如下 ：E:\pythonStudy\myPythonProject\django180513\project>python manage.py makemigrationsTracebac...
2018-05-18 23:01:57
3290
2
原创 使用opencv做人臉識別
opencv做人臉識別已經做的比較好了，比如相繼拍照時自動鎖定人臉，並對臉部做特殊的濾光或補光處理。下面就體驗一把吧。1. 安裝opencv。網上有很種方法，但看起來很複雜，其實最簡單的方式就是直接用pip install opencv-python安裝。如果使用pycharm開發，直接寫import cv2，pycharm會提示安裝，按照提示安裝即可（不過這樣只會在項目裏安裝），而且安裝的內容不...
2018-05-10 22:39:10
411
原创 VirtualBox增强功能无法安装
Win10 64位下安装VirtualBox，在VIrtualBox中安装CentOS7，搞了一个多小时最后却发现增强功能无法安装。经过反复尝试，终于明白了一个问题：VirtualBox必须安装在C盘下，CentOS(.vdi)可以放在其他盘。如果没有把VirtualBox必须安装在C盘下，最后就是在花了很多时间安装CentOS后却发现无法安装增强功能！...
2018-03-15 00:59:55
16405
2
原创 第72课：Spark UDF和UDAF解密学习笔记
第72课：Spark UDF和UDAF解密学习笔记本期内容：1 Spark UDF实战2 Spark UDAF实战 UDAF=USER DEFINE AGGREGATE FUNCTION 下面直接实战编写UDF和UDAF： package SparkSQLByScalaimport org.apache.spark.sql.expressions.{Muta
2016-04-14 00:32:51
7498
1
原创 第71课：Spark SQL窗口函数解密与实战学习笔记
第71课：Spark SQL窗口函数解密与实战学习笔记本期内容：1 SparkSQL窗口函数解析2 SparkSQL窗口函数实战 窗口函数是Spark内置函数中最有价值的函数，因为很多关于分组的统计往往都使用了窗口函数。Window Aggregates (Windows)Window Aggregates (aka Windows) operate on a grou
2016-04-13 00:40:04
7890
原创 第70课:SparkSQL内置函数解密与实战学习笔记
第70课:SparkSQL内置函数解密与实战学习笔记本期内容：1 SparkSQL内置函数解析2 SparkSQL内置函数实战 SparkSQL的DataFrame引入了大量的内置函数，这些内置函数一般都有CG（CodeGeneration）功能，这样的函数在编译和执行时都会经过高度优化。问题：SparkSQL操作Hive和Hive on spark一样吗？=> 不一样
2016-04-11 00:08:46
7241
原创 第69课：SparkSQL通过Hive数据源实战学习笔记
第69课：SparkSQL通过Hive数据源实战学习笔记本期内容：1 SparkSQL操作Hive解析2 SparkSQL操作Hive实战 数据源：home/richard/slq/spark/people.txt和/home/richard/slq/spark/peoplescores.txt两个文件。people.txt的文件内容：Michael 29Andy
2016-04-10 00:10:19
9597
1
原创 第68课：SparkSQL JDBC实战详解学习笔记
第68课：SparkSQL JDBC实战详解学习笔记本期内容：1 SparkSQL操作关系型数据库的意义2 SparkSQL操作关系型数据库实战 一．使用Spark通过JDBC操作数据库SparkSQL可以通过JDBC从传统关系型数据库中读写数据，读取数据后直接生成的是DataFrame，然后再加上借助于Spark内核的丰富的API来进行各种操作。不通过SparkSQL
2016-04-08 23:52:20
6077
1
原创 第67课：SparkSQL下案例综合实战学习笔记
第67课：SparkSQL下案例综合实战学习笔记1 SparkSQL案例分析2 通过Java和Scala实现案例 本课直接通过实战练习SparkSQL下的Join操作：先用Java编写代码： package SparkSQLByJava; import java.util.ArrayList;import java.util.List; import
2016-04-08 00:24:28
2118
1
原创 第66课：SparkSQL下Parquet中PushDown的实现学习笔记
第66课：SparkSQL下Parquet中PushDown的实现学习笔记本期内容：1 SparkSQL下的PushDown的价值2 SparkSQL下的Parquet的PuahDown实现 Hive中也有PushDown。PushDown可以极大减少数据输入，极大的提高处理效率。SparkSQL实现了PushDown，在Parquet文件中实现PushDown具有很重
2016-04-07 00:08:28
5102
原创 第65课：SparkSQL下Parquet深入进阶学习笔记
第65课：SparkSQL下Parquet深入进阶本期内容：1 SparkSQL下的Parquet序列化2 SparkSQL下的Parquet源码解读3 SparkSQL下Parquet总结 Parquet中关键概念：1 Block2 File3 Column Chunk数据按列存储时，每一列的数据被分割成多个列块。存储逻辑视图：RowGroup
2016-04-03 19:24:18
1757
原创 第64课：SparkSQL下Parquet的数据切分和压缩内幕详解学习笔记
第64课：SparkSQL下Parquet的数据切分和压缩内幕详解学习笔记本期内容：1 SparkSQL下Parquet数据切分2 SparkSQL下的Parquet数据压缩 以Spark官网上的SparkSQL操作Parquet的实例进行讲解：Schema MergingLike ProtocolBuffer, Avro, and Thrift, Parquet
2016-04-03 19:03:23
6572
1
原创 第63课：Spark SQL下Parquet内幕深度解密学习笔记
第63课：Spark SQL下Parquet内幕深度解密学习笔记本期内容：1. SparkSQL下的Parquet意义再思考2. SparkSQL下的Parquet内幕解密 一．SparkSQL下的Parquet意义再思考Twitter用Parquet节省了70%存储费用。1. 如果HDFS是大数据时代分布式文件系统存储的事实标准的话，Parquet则是整个大数据时代文
2016-04-02 20:49:06
1867
原创 第62课：SparkSQL下的Parquet使用最佳实践和代码实践学习笔记
第62课：SparkSQL下的Parquet使用最佳实践和代码实践学习笔记本期内容：1 SparkSQL下的Parquet使用最佳实践2 SparkSQL下的Parquet实战 一：Spark SQL下的Parquet使用最佳实践1， 过去整个业界对大数据的分析的技术栈的Pipeline一般分为以下两种方式：a) Data Source->HDFS->MR/Hive/S
2016-04-02 20:21:29
5941
原创 第61课：SparkSQl数据加载和保存内幕深度解密实战学习笔记
第61课：SparkSQl数据加载和保存内幕深度解密实战学习笔记本期内容：1 SparkSQL加载数据2 SparkSQL保存数据3 SparkSQL对数据处理的思考 操作SparkSQL主要就是操作DataFrame，DataFrame提供了一些通用的LOAD、SAVE操作， Spark版本：大版本：主要是API变化的分支版本：增加的特性小版本：BUG
2016-03-31 23:28:42
3346
原创 第60课：使用Java和Scala在IDE中实战RDD和DataFrame动态转换操作学习笔记
第60课：使用Java和Scala在IDE中实战RDD和DataFrame动态转换操作学习笔记本期内容：1 使用Java实战RDD与DataFrame转换2 使用Scala实战RDD与DataFrame转换 什么是非动态转换？=> 提前已经知道了RDD具体数据的元数据信息，可以通过JavaBean或Case Class的方式提前创建DataFrame时，通过反射的方式获得元
2016-03-31 01:06:11
1417
原创 第59课：使用Java和Scala在IDE中实战RDD和DataFrame转换操作’学习笔记
第59课：使用Java和Scala在IDE中实战RDD和DataFrame转换操作’学习笔记本期内容：1 RDD与DataFrame转换的重大意义2 使用Java实战RDD与DaraFrame转换3 使用Scala实战RDD与DataFrame转换 一． RDD与DataFrame转换的重大意义在Spark中RDD可以直接转换成DataFrame。SparkCo
2016-03-29 01:37:12
2319
原创 第58课：使用Java和Scala在IDE中开发DataFrame实战学习笔记
第58课：使用Java和Scala在IDE中开发DataFrame实战学习笔记本期内容：1. 使用Java开发DataFrame实战2. 使用Scala开发DataFrame实战 自Spark1.3开始大多数SparkSQL都基于DataFrame编程。因为DataFrame高效且功能强大。可以把SparkSQl作为一个分布式查询引擎。SparkSQL一般都和Hive一起
2016-03-27 18:56:13
1986
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人