- 博客(42)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 deepmatch报错：TypeError: Could not build a TypeSpec for ＜KerasTensor”异常
TensorFlow2.7调用deepmatch库，实现youtubeDNN模型训练，版本适配
2023-03-27 10:44:17
1555
原创 python 数组转完全二叉树
在刷Leetcode时候，经常遇到给定数据数组，然后blabla。。。。在调试阶段，需要先把数组转为二叉树，这里面有多种需求：1. 一个数组直接转为从上到下、从左到右的二叉树2. 一个有序数组，转为搜索二叉树数组转完全二叉树实现（python）运行结果，可以直接复现原有的数组有序数组转搜索二叉树： 附录：二叉树遍历方法...
2022-06-19 16:39:04
1018
原创 python开发HDFS
我们的目标是大数据算法平台，我们在处理数据，训练模型后，部分数据需要存在hdfs，那么我们就可以直接通过python 接口把数据放在hdfs上。Python hdfs包_程序模块 - PyPI - Python中文网安装安装过程存在问题cannot import name 'SCHEME_KEYS'重新安装pip即可使用方法 hdfscli模式Quickstart — HdfsCLI 2.5.8 documentation新增配置， vim ~/.hdfscli.cfg
2022-06-05 20:57:21
1047
原创 大数据平台架构实战（五）使用IntelliJ开发Spark
相关的文章非常多，按照网上的步骤，总会出问题，现在更新一下最新版本的开发方法。IntelliJ 配置参考使用IntelliJ IDEA开发Spark应用程序_厦大数据库实验室博客代码pom文件打包jar提交运行
2022-06-02 16:52:29
244
原创 大数据平台架构实战（四）Spark安装
前面我们提到用的是hadoop 2.10.2，这里我们选择对应版本 解压添加环境变量添加配置文件什么都不需要修改，已经是默认单机版可运行版本了启动服务查看进程，jps查看到这三个进程既可以启动spark-shell 测试运行结果 Done
2022-06-02 15:56:48
779
原创 大数据平台架构实战（三）Hive安装
GettingStarted - Apache Hive - Apache Software Foundation官网讲的有点啰嗦，把好多的安装版本都罗列在一起了。这里我们先安装derby版的hive下载的时候，要看清楚版本之间的约束，还是官网：Downloads我们选择2.3.9，由于前面我们用hadoop是2.10.2。进入archive里面下载对应的版本Index of /hive 解压：设定环境变量，vim ~/.bash_profile如果不设定环境变量，需要在hive-env.sh里
2022-06-02 12:47:02
266
原创 pytorch tensor.repeat_interleave VS tensor.repeat
a = torch.randn(3, 5)>>> tensor([[ 0.5905, -0.1420, -0.7692, -0.0174, -0.7759], [-1.0320, -0.7636, -0.2155, 0.0854, -0.0052], [ 0.7473, -0.2531, -0.9139, 0.8557, -1.1276]])a.repeat_interleave(3, dim=0)tensor([[ 0....
2021-05-18 10:39:36
228
原创 服务器广播，一次遍历数组完成
服务器广播题目：服务器连接方式包括直接相连，间接连接。 A 和 B 直接连接， B 和 c 直接连接，则 A 和 c 间接连接。直接连接和间接连接都可以发送广播。给出一个 N * N 数组，代表 N 个服务器， matrix[i][j] == 1 ，则代表 i 和 j 直接连接；不等于 1 时，代表 i 和 j 不直接连接。 matrix[i][i]== 1 ，即自己和自己直接连接。 matrix[i][j]==matrix[j][i] 。计算初始需要给几台服务器广播，才可以使侮个服务器都收到广播。
2021-05-14 00:23:11
2883
3
原创 机考---硬币分组，组和差值最小
有一组硬币，数量不超过100枚。每个硬币的面值范围是1~500.对这组硬币进行分组，使得每组硬币，其面值总和的差距最小。def min_diff(n, nums): nums = sorted(nums) res1 = [] res1_sum = 0 sum_val = sum(nums) half_val = sum_val // 2 if nums[-1]>500 or nums[0]<1: return -1.
2021-04-22 20:47:33
559
原创 jetson环境搭建
最近喜欢搞点机器人玩玩，买了个jetson nano板子，第一件事就是搭建环境。下面记录一下个人操作1. 远程ssh软件：MobaXterm之所以会选择这个软件，之前有帖子已经介绍过了，参考https://blog.csdn.net/lingyu666hapy/article/details/797993502. 远程调用X界面export DISPLAY=192.168.1.5:0.0 # your IP addressexport LANG=C效果如下：远程.
2021-03-23 00:28:58
183
原创 leecode5. 最长回文子串--极简思维之中心扩散
理解两个概念：1. 回文：正着和反着读一样，那么肯定有个中心了2. 中心扩散：从中心向两边走，每一步的字符都一样那么第一步：核心就是中心在哪了，第二步，走两步试试。看下面例子：s = 'aa'center_point = 0.5#字符串长度为偶数，中心点在'a'和'a'之间，索引为0.5的地方，#那么从索引为0和1的地方向外扩散就可以了s = 'aba'center_ppoint = 1#字符串长度为奇数，中心点在'b'，索引为1的地方，#那么从索引为0和2的地方向外扩
2021-02-27 13:15:51
147
1
原创 pycharm中Python2批量转换Python3
需求强化学习精要给的源代码是Python2平台的，将其转化为Python3开发环境Pycharmconda命令：2to3在pycharm下进入terminal界面，确保2to3可用(TF_py36) F:\program\RL_core\ch6>2to3 --helpUsage: 2to3 [options] file|dir ...Options: -h, --help show this help message and exit
2021-02-13 10:52:12
461
原创 tf.contrib.layers 显示 No module named estimator
TensorFlow版本：1.13.1解决方法：conda update tensorflow显示如下：The environment is inconsistent, please check the package plan carefullyThe following packages are causing the inconsistency: - defaults/osx-64::tensorflow==1.13.1=mkl_py36haf07a9b_0 - de...
2021-01-28 20:53:20
266
原创 win10下‘win32gui’在anaconda下的解决办法
在用python做办公自动化时，win32是一个必用的库，当import时候，报错如下：import win32gui, win32ui, win32con, win32apiModuleNotFoundError: No module named 'win32gui'查看过很多帖子，都是通过一下方法解决：pip install win32gui但是现状基本上不会成功搜索一下package，没有找到，如下：直接安装：还是找不到，我猜测时源的问题，我的 ..
2020-07-09 13:35:54
2927
原创 Linux 安装必备工具
ifconfig想要查看IP地址，却提示ifconfig command not found看来是没有安装包含该命令的包了，解决方法：yum install net-tools unzip: command not foundyum install -y unzip zipvim命令没有yum install vim配置vim可以参考vimplus配置...
2020-05-20 13:58:29
248
原创 Pycharm利用远程服务器调试deep网络
随着深度神经网络的复杂和数据的增加，单台笔记本的性能基本上已经无法满足大数据环境下的深度神经网络的训练过程，如何远程服务器进行调试代码是一个必备技能。解决方法1： ssh远程到服务器，例如xshell，MobaXterm等软件，把远程桌面映射到本地，然后直接调用服务器的pycharm等软件进行调试。该方法可以直接操作远程服务器的所有文件，但是如果我们想把远程服务器的代码download到本地，或者bug同步等工作，又要scp进行文件传输，有些小麻烦。解决方法2： 直接利用本...
2020-05-12 16:58:11
576
原创 windows系统下anaconda更新源
Windows下如何添加anaconda的源？打开anaconda，进入environment这里不用在意是哪个env，所有的env共享channels，点击channels，点击add，把自己想要添加的源添加进去即可回车，检测源地址的有效性，如果不通过，则会有叹号警告，如下图所示：如果通过，则是删除标志。这里顺便记录备份一下好用的源的地址：清华源：...
2020-04-30 14:20:29
361
原创 Deep Learning 环境搭建
深度学习环境的搭建1. 硬件配置显卡最好必须，否则只能做cpu计算了。2. 环境搭建 1. GPU驱动安装这里面主要包括三部分：驱动，cuda，cuda-cnn三部分的安装与配置 2. Python安装详细内容可以参考我的博客https://blog.csdn.net/lingyu666hapy/article/details/104879082...
2020-03-15 15:25:07
450
原创 Python环境搭建
Install Python on Your Linux OSInstall condaHow to run pytorch or tensorflow in the docker.procedure1 - install Vim, bunzip, net tools and wget apt install vim apt install bzip2 apt in...
2020-03-15 15:08:18
216
原创 Winedit修改快捷键
工欲善其事必先利其器，疫情期间只能在家办公，一个小小笔记本没有两个大屏幕来的舒服，因此为了最大化利用屏幕大小，将所有的界面全部隐藏。但是每次编译的时候，我习惯用pdflatex选项，但是wineidt没有设定其快捷键，为了给winedit设定一个好用的快捷键，下面介绍winedit修改快捷键的方法。1. 打开修改界面，这里不同于其他的软件可以直接找到工具栏修改快捷键。点击option→op...
2020-03-15 01:07:27
690
原创 撰写中文论文出现Package CJK Error: Invalid character code的错误
写中文论文的时候，遇到编译不通过，同时用winedit打开tex文件也出现错误编译的时候也会出现Package CJK Error: Invalid character code的错误看了网上好多方法都是修改Preferences，例如：在Options -> Preferences -> Unicode标签 下的Enable UFT-8 Format for Mode...
2020-03-11 19:18:55
9002
7
原创 pytorch中tensor索引的理解
最近在学习pytorch，对于索引这一块，总是感觉有点晕，经过自己的一番探索，将自己的理解分享一下。如有不对，请大神们不惜赐教，欢迎随时纠正。先区分一下索引和切片从概念的角度讲：索引：提取其中的某个元素（对座查找）切片：用刀来切出要留下的东西从操作的角度看：import torch as t以二维数据为例子a=t.arange(16).view(4, 4)...
2019-10-16 13:32:13
1971
1
原创 如何提高模型的泛化能力
本博客纯属个人观点，不喜勿喷，也欢迎大神们留言补充。我们把提高泛化能力的方法分为4类数据端 模型端 训练过程 后处理下面分别从这4个部分进行分类一、数据端方法：1. data augmentation（CV domain）直接对原始数据处理平移 加噪 去噪 翻转 裁剪 旋转 加权 。。。。间接对原始数据处理，这里主要指按照不同的需求进行特定处理...
2019-10-16 13:31:44
4743
原创 Python绘图 好用的网址
Python 画图：方便自己，服务大家最权威的说明：https://matplotlib.org/3.1.1/api/index.html系统整理的帖子：1. Top 50 matplotlib Visualizations – The Master Plots (with full python code)：https://www.machinelearningplus.com/...
2019-09-03 15:39:30
2542
原创 学习笔记：徐亦达机器学习：Kalman Filter 卡尔曼滤波——后续推导及代码分析
在开始这个博客之前，首先要感谢一下徐老师。该博客是在观看视频https://www.bilibili.com/video/av24225243/?p=1之后，自己的读书笔记。言归正传，该博文里面的所有符号体系都是徐老师所用的符号，在此记录一下徐老师最后留下的作业，并且根据徐老师给出的demo，结合kalman的推导进行简单的分析。先从t-1时刻update开始有：给定时间[1, t-1]的...
2019-01-11 10:45:50
2163
原创 Python实现: 现在有一棵合法的二叉树，树的节点都是用数字表示，现在给定这棵树上所有的父子关系，求这棵树的高度
题目描述现在有一棵合法的二叉树，树的节点都是用数字表示，现在给定这棵树上所有的父子关系，求这棵树的高度输入描述:输入的第一行表示节点的个数n（1 ≤ n ≤ 1000，节点的编号为0到n-1）组成，下面是n-1行，每行有两个整数，第一个数表示父节点的编号，第二个数表示子节点的编号输出描述:输出树的高度，为一个整数示例1输入5 0 1 0 2 1 3 ...
2018-12-07 14:58:20
1143
原创 LeetCode 22. Generate Parentheses 生成括号 Python
括号生成原则：左括号开头，右括号结尾 左右括号数目一致 从左向右走，左括号的数目必须大于等于右括号数目（有效括号）因此，看一下利用二叉树生成括号过程：我们要随时注意剪枝操作：n=2：n=3：可以看到在遍历的时候，剪枝可以分为两种情况：1. 红色X：左括号超过预设数目 2. 绿色X：右括号多于左括号因此我们可以得到：1. 只要左括号数目不多于预设值，那么即可...
2018-12-03 16:21:22
254
1
原创 通过跳板机将远程服务器窗口界面映射在本地（window版本）
跳板机是开发者登录到网站分配给应用服务器的唯一途径。开发者必须首先登录跳板机，再通过跳板机登录到应用服务器。本文主要讲述在Windows环境下，怎么把远程服务器的X sever映射到本地，进行图像化界面操作。首先先说一下为什么这么做。第一，本地的台式机或者笔记本性能不够用，8G，12G的内存，i7处理器，稍微跑一个复杂点的机器学习算法，要么是内存不够，要么就是计算速度太慢，动辄就几天才能算完，因此...
2018-04-03 11:46:13
17983
6
原创 MATLAB运行速度与数组维数的关系
最近看了一些加快matlab运行速度的帖子，但是没有一个特别系统的文章，这里先把自己的实验部分做个简单记录，后面有实验再进行添加matlab版本：R2014a (8.30 532)电脑配置：CPU： i5 - 6200U 2.30GHz（4 CPUs）~2.4GHz 内存： 8G显卡： NVIDIA GeForce 930M我们知道ma
2017-06-30 10:55:32
1267
原创 CSDN博文插入公式
最近在写博客，发现插入公式真的是意见麻烦的事情，我最近搜索了不少的帖子，但是最终效果都不是很好。究其原因，应该是帖子发布时间比较久远了，没有更新。其中，http://blog.csdn.net/xiahouzuoxin/article/details/9531823这个帖子还可以，可以实现简单的公式，但是遇到比较复杂的公式，我是没有试验成功。http://blog.csdn.net/joh
2017-05-02 11:14:42
496
原创 Lecture 11: Hopfield Nets
首先声明，这是Hinton在coursera上的课程的学习笔记，一切观点以Hinton观点为准，此博客只是我的个人观点，欢迎点评。第一节：Hopfield NetsJohn Hopfield realized that if the connections are symmetric, there is a global energy function.Each bin
2017-05-01 21:36:20
535
原创 Lecture 10: Combining multiple neural networks to improve generalization
此课程是Hinton在coursera上的教程，这篇博文是我的学习笔记。首先看题目，这节课讲的是基于上一节课的内容，通过多种方法的组合回来增强神经网络的泛化能力。第一节：Combining networkds: The bias-variance trade-offWhen the amount of training data is limited, we g
2017-04-28 18:56:53
283
原创 Lecture 9: Ways to make neural networks generalize better 提高神经网络泛化能力的方法
最近在学习Hinton在coursera上的教程，Neural Networks for Machine Learning。在上一个月的学习中，对神经网络具有了一定的了解，突然感觉自己该记录一下笔记了，现在从第9节开始写博客，前面的看有没有时间补上了。OK，开始进入正题，关于Hinton教程的翻译，大家可以参考现有的博客：http://www.cnblogs.com/shouhuxia
2017-04-13 10:47:40
2544
原创 TensorFlow学习篇【3】Deep MNIST for Experts
学习网址：https://www.tensorflow.org/get_started/mnist/pros这个是利用卷积网络进行训练，按照教程最终代码如下对应代码：from tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets('MNIST_data', one_
2017-03-15 18:42:34
317
1
原创 TensorFlow学习篇【2】MNIST For ML Beginners
学习网址：https://www.tensorflow.org/get_started/mnist/beginnersMNIST是一个手写数组集，具体信息可以看 Yann LeCun's website： http://yann.lecun.com/exdb/mnist/（deeplearning三大巨头之一）第一，导入数据from tensorflow.exa
2017-03-15 10:59:25
488
原创 利用sourceInsight阅读TensorFlow源码
1. 安装软件sourceinsight2. 建立python文件支持。参考http://blog.csdn.net/serapme/article/details/46671387这个帖子，按照步骤来就可以了3. 下载TensorFlow源码。 https://github.com/tensorflow/tensorflow4. 解压5. 建立sourceinsight工程，目标
2017-03-14 22:06:08
1068
原创 TensorFlow学习篇【1】Getting Started With TensorFlow
学习网址：https://www.tensorflow.org/get_started/get_startedThis guide gets you started programming in TensorFlow. Before using this guide, install TensorFlow. To get the most out of this guide, yo
2017-03-14 16:52:28
1689
l1magic-1.11压缩感知Matlab
2017-08-29
matlab 高斯过程回归模型 matlab Gaussian process regression model
2017-08-16
Parallel and distributed computation - numerical methods - Bertsekas, Tsitsiklis
2017-07-19
Machine Learning with Spark
2016-01-06
ImageRegistration
2014-12-25
Python libs
2012-10-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人