- 博客(100)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 windows10下安装tensorflow2.0-GPU和Cupy（不用搞CUDA+cudnn）
0.前言 今年暑假买了个1660ti的游戏本学python，后来发现跑一些数据量比较大的代码和深度学习的时候太慢了，遂想装一下GPU版本，看了网上的资料搞了好几天，又是CUDA又是cudnn的，网速慢不说，装完还各种报错，最后发现随着anaconda和tensorflow的更新，现在利用anadonda只要一行命令就能完成。（装好虚拟环境后，直接看4.2） 1. 安装anacond...
2020-01-02 14:19:45
1387
1
原创 看完这篇，别说你还不懂Hinton大神的胶囊网络
来源 | 王的机器（公众号ID：MeanMachine1031）作者 | 王圣元引言斯蒂文认为机器学习有时候像婴儿学习，特别是在物体识别上。比如婴儿首先学会识别边界和颜色，然后将这些信息用于识别形状和图形等更复杂的实体。比如在人脸识别上，他们学会从眼睛和嘴巴开始识别最终到整个面孔。当他们看一个人的形象时，他们大脑认出了两只眼睛，一只鼻子和一只嘴巴，当认出所有这些存在于脸上的实体，并且觉...
2018-12-05 11:29:26
3191
1
原创 自定义损失函数的两种应用场景！
第一种场景，希望预测出来的类别有着不同的侧重点这个自定义损失函数的背景：（一般回归用的损失函数是MSE, 但要看实际遇到的情况而有所改变）我们现在想要做一个回归，来预估某个商品的销量，现在我们知道，一件商品的成本是1元，售价是10元。如果我们用均方差来算的话，如果预估多一个，则损失一块钱，预估少一个，则损失9元钱（少赚的）。显然，我宁愿预估多了，也不想预估少了。所以，我们就自己...
2018-10-22 16:42:06
1939
原创 如何解决机器学习深度学习训练集样本不均衡的问题！
解决样本不均衡的问题很多，主流的几个如下：1.样本的过采样和欠采样。2..使用多个分类器进行分类。3.将二分类问题转换成其他问题。4.改变正负类别样本在模型中的权重。 一、样本的过采样和欠采样。1.过采样：将稀有类别的样本进行复制，通过增加此稀有类样本的数量来平衡数据集。该方法适用于数据量较小的情况。2.欠抽样：从丰富类别的样本中随机选取和稀有类别相同数目的样...
2018-10-22 15:06:12
5661
原创 CVPR2018 目标检测（object detection）算法总览
转自：https://blog.csdn.net/u014380165/article/details/80784147CVPR2018上关于目标检测（object detection）的论文比去年要多很多，而且大部分都有亮点。从其中挑了几篇非常有意思的文章，特来分享，每篇文章都有详细的博客笔记，可以点击链接阅读。1、Cascaded RCNN 论文：Cascade R-CNN Delv...
2018-08-27 09:19:59
1201
原创 树莓派3b+上手第一天
样子：我是从某宝上买的raspberry3b+,一个板子、一个红白外壳、一张安装了raspbian系统的tf卡，三个散热片，还有一个带有开关键的电源（很好用，这样就不用每次开关拔插了）1.安装很简单：跟着网上教程安装即可2.连接方式ssh：putty ssh连接2.1开启raspberryssh服务：因为raspberry3b+默认是关闭了ssh连接的，所以需要自己开启，开启方式也...
2018-08-12 18:27:01
4645
原创 神经网络调优方法
一、神经网络性能调优主要方法数据增广 图像预处理 网络初始化 训练过程中的技巧 激活函数的选择 不同正则化方法 来自于数据的洞察 集成多个深度网络1. 数据增广在不改变图像类别的情况下，增加数据量，能提高模型的泛化能力。 自然图像的数据增广方式包括很多，如常用的水平翻转（horizontally flipping），一定程度的位移或者裁剪和颜色抖动（color jitte...
2018-07-19 10:04:29
3118
原创 window10 安装GPU版的tensorflow
Win10+64位+tensorflow【GPU】本文：Python3.6+CUDA9.0+cuDNN7.1+tensorflow1.7安装前准备：TensorFlow 有两个版本：CPU 版本和 GPU 版本。GPU 版本需要 CUDA 和 cuDNN 的支持，CPU 版本不需要。如果你要安装GPU 版本，请先确认你的显卡支持 CUDA。如何确认显卡支持CUDA？n 桌面空白处右击，出现“NV...
2018-06-21 14:44:14
1660
原创 centos7.0 安装GPU版的tensorflow
本文紧接上一篇安装cup版tensorflow上一篇地址：https://blog.csdn.net/niuxinzan/article/details/80269345本次实验机器配置如下：节点ip 系统版本号 Cpu型号 物理Cpu个数 Cpu核数 逻辑cpu个数 总物理线程数 总超线程数 内存 172.20.10.30 CentOS release 6.8 (Final) ...
2018-06-21 13:55:22
306
原创 spark dataframe用法
最近想升级spark，研究了下新版spark的功能Dataset 和Dataframe。Dataset 是分布式数据集， dataset的API是在spark 1.6版本中添加地，它的初衷是为了提升RDD（强类型限制， 可以使用lambda函数）优化SQL执行引擎。Dataset是JVM中的一个对象，可以作用于其它操作（map,faltMap, filter等）。Dataset API提供Scal...
2018-06-15 15:56:12
747
转载 深度学习中经常问道的12个问题以及回答
IntroductionFrom Facebook’s research to DeepMind’s legendary algorithms, deep learning has climbed its way to the top of the data science world. It has led to amazing innovations, incredible breakthro...
2018-05-24 09:13:37
2827
转载 《机器学习》(周志华)西瓜书读书笔记
阅读目录 第1章 绪论第2章 模型评估与选择第3章 线性模型第4章 决策树第5章 神经网络第6章 支持向量机第7章 贝叶斯分类第8章 集成学习第9章 聚类第10章 降维与度量学习第11章 特征选择与稀疏学习第12章 计算学习理论第13章 半监督学习第14章 概率图模型第15章 规则学习第16章 强化学习大部分基础概念知识已经在Machine Learning|Andrew Ng|Coursera ...
2018-05-23 11:36:22
2027
原创 centos6.8 安装cpu 版本tensorflow
一.Tensorflow分布式安装1.1 介绍1.1.1 tensorflow集群配置 节点ip 系统版本号 Cpu型号 物理Cpu个数 Cpu核数 逻辑cpu个数 总物理线程数 总超线程数 内存 172.20.10.30 CentOS release 6.8 (Final) Intel(R) Xeon(R) CPU E5-2620 v2 @ 2.10GHz 2 2*6 ...
2018-05-10 16:07:16
1564
2
原创 神经网络中用到的激活函数
在神经网络中激活函数层往往是必备的，激活函数一般有如下三种选择：sigmoid函数、relu函数、tanh函数。1.sigmoid函数表达式如下： Θ(x)=11+e−x函数取值范围(0,1),函数图像下图所示:2.tanh函数的表达式如下：tanh(x)=sinh(x)cosh(x)其中sinh(x)数学公式为： sinh(x)...
2018-05-08 15:25:05
297
转载 spark mllib中的随机森林算法，实现源码以及使用介绍
http://blog.csdn.net/shenxiaoming77/article/details/51675242
2017-09-29 17:06:17
513
原创 Eclipse Java注释模板设置详解
设置注释模板的入口： Window->Preference->Java->Code Style->Code Template 然后展开Comments节点就是所有需设置注释的元素啦。现就每一个元素逐一介绍：文件(Files)注释标签： /** * @Title: ${file_name} * @Package ${package_name} * @Description
2014-06-18 15:29:13
487
原创 一篇关于如何优化JAVA代码及提高效率的文章
可供程序利用的资源（内存、CPU时间、网络带宽等）是有限的，优化的目的就是让程序用尽可能少的资源完成预定的任务。优化通常包含两方面的内容：减小代码的体积，提高代码的运行效率。本文讨论的主要是如何提高代码的效率。在Java程序中，性能问题的大部分原因并不在于Java语言，而是在于程序本身。养成好的代码编写习惯非常重要，比如正确地、巧妙地运用java.lang.String类和java.util.
2014-06-16 14:41:46
480
转载 DateUtil时间相关计算源码
上篇文章中，我为大家分享了下DateUtil第一版源码，但就如同文章中所说，我发现了还存在不完善的地方，所以我又做了优化和扩展。更新日志：1、修正当字符串日期风格为MM-dd或yyyy-MM时，若日期太大或太小后，识别日期错误。2、修正识别日期算法（getAccurateDate）bug。3、修正计算日期天数差（getIntervalDays）bug。2、优
2014-06-11 18:51:30
925
原创 linux后台运行jar程序的方法
Linux 后台运行jar程序方法一：nohup java -jar xx.jar >/dev/null &输出文件为输出到空设备里。方法二：编写shell后台开启。代码参考：#! /bin/sh#启动方法 start(){ now=`date "+%Y%m%d%H%M%S"` exec java -Xms128m -Xmx2048m -jar /var/w
2014-04-29 17:25:16
1097
原创 mapreduce-java 案例
package cn.com.cennavi.test;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWrit
2014-04-18 15:59:19
613
原创 impala-java 案例
package cn.com.cennavi.test;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;public class ImpalaUtil { /
2014-04-18 15:25:31
2123
1
原创 hive常用语句
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言
2014-04-18 13:57:53
2793
原创 hive-java 例子
import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;public class HiveUtil {private static String d
2014-04-18 13:30:47
1343
转载 impala入门基础教程
问题背景：初步了解Impala的应用重点测试Impala的查询速度是否真的如传说中的比Hive快3~30倍写作目的：了解Impala的安装过程初步了解Impala的使用比较Impala与Hive的性能测试适合阅读对象：想了解Impala安装的读者想了解Impala与Hive性能比较的读者不涉及的内容：如何安装H
2014-04-18 10:39:00
3642
原创 hive和impala比较（转载）
1. Impala架构 Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从
2014-04-18 10:25:03
2681
1
原创 开源日志系统比较：scribe、chukwa、kafka、flume（转载）
1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（3） 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩
2014-04-17 18:06:09
587
原创 ssh scp两台linux服务器之间传递文件或文件夹
如果ssh的端口是22，那么可以不用指定-p或-P选项。1.sshLinux使用ssh命令登陆Linux服务器：ssh -l root -p 188 192.168.1.2ssh -l 用户名 -p 端口号 主机名或IP输入密码即可2.scpscp命令复制文件或目录命令： 复制文件： （1）将本地文件拷贝到远程 scp -P 22 文件名 用
2014-04-11 16:58:04
2840
原创 Jedis操作redis（转）
package org.jzkangta.jedis;import java.util.ArrayList;import java.util.HashMap;import java.util.Iterator;package org.jzkangta.jedis;import java.util.ArrayList;import java.util.HashMap
2014-04-05 09:58:58
588
转载 hadoop jar命令解读
假如执行下面命令：cd /home/hadoop/ && hadoop jar ./test/wordcount/wordcount.jar org.codetree.hadoop.v1.WordCount /test/chqz/input /test/chqz/output那么这个命令内部到底做了些什么呢？1、首先，在 ${HADOOP_HOME}/bin/hadoop 脚本中
2014-04-02 09:23:32
5367
原创 hive数据类型(翻译自Hive Wiki)
翻译自 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types列类型Hive支持的数据类型如下:原生类型:TINYINTSMALLINTINTBIGINTBOOLEANFLOATDOUBLESTRINGBINARY (Hive 0.8.0以上才可用)TIMESTAMP (Hive 0
2014-03-31 18:01:35
813
原创 java调用hive时必须启动hiveserver
hiveserver启动方式1， hive 命令行模式，直接输入/hive/bin/hive的执行程序，或者输入 hive –service cli 用于linux平台命令行查询，查询语句基本跟mysql查询语句类似 2， hive web界面的启动方式，hive –service hwi 用于通过浏览器来访问hive，感觉
2014-03-31 15:27:04
1331
原创 多线程对同一个类操作时注意的问题
今天看到一段很有意思的小程序，讲述了线程之间调用同一个类属性的例子：线程1：public class MyThreadClass1 implements Runnable { public void run() { Temp SSA = new Temp(); System.out.println("第一个------>" + SSA.ss); } public stat
2014-02-26 16:25:19
1681
原创 hadoop中使用MapReduce编程实例（转）
原文链接：http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html从网上搜到的一篇hadoop的编程实例，对于初学者真是帮助太大了，看过以后对MapReduce编程基本有了大概的了解。看了以后受益匪浅啊，赶紧保存起来。 1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义
2014-02-19 12:54:09
954
1
原创 msql数据备份与还原
数据表导出csv语句：select *from TSI_20140206_0_20120701 into outfile '/home/maysqldata/TSI_20140206_0_20120701.csv' fields terminated by ',' optionally enclosed by'"' escaped by '"' lines terminated by '\r
2014-02-13 10:31:34
855
原创 storm理解
nimbus上会根据提交的topology，产生具体的task，一个task或许是acker、bolt或spout，然后，nimbus会根据当前可用的资源，即supervisor们在zk上注册的信息，看有多少个worker可用，然后均匀分配task到supervisor的worker去。worker会定期的回报心跳到zk，nimbus会监听zk上该心跳节点信息，如果发现某worker挂了，那么会重
2014-01-03 11:37:29
452
转载 Jedis操作redis（转）
package org.jzkangta.jedis;import java.util.ArrayList;import java.util.HashMap;import java.util.Iterator;import java.util.List;import java.util.Map;import java.util.Set;import redis.clients
2014-01-03 11:07:07
475
原创 storm读取kafka集群各个集群节点信息
功能：从kafka集群的各个节点读取消息，负载均衡的负责各个topic的各个partition的数据的读取支持事务，可以重发失败的message代码阅读：重要对象：Map stateCconf:保存kafka消费者信息的zookeeper配置信息.ZkState _state:提供从zookeeper读写kafka消费者信息功能.DynamicPartitionCo
2013-12-13 18:32:08
1896
1
转载 storm 简介及单机版安装指南
本文翻译自： https://github.com/nathanmarz/storm/wiki/TutorialStorm是一个分布式的、高容错的实时计算系统。Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Hadoop为我们提供了Map和Reduce原语，使我们对数据进行批处理变的非常的简单和优美。同样，Storm也对数据的实时计算提供了简单Spout和Bolt原语
2013-12-12 15:48:50
772
转载 浅谈mysql分表
关于分表：顾名思义就是一张数据量很大的表拆分成几个表分别进行存储。我们先来大概了解以下一个数据库执行SQL的过程：接收到SQL --> 放入SQL执行队列 --> 使用分析器分解SQL --> 按照分析结果进行数据的提取或者修改 --> 返回处理结果。在这个过程中一般比较花时间的是在队列里的等待时间和执行时间。归根到底就是执行时间，执行时间减少了等待时间自然就变短了。为了保
2013-12-12 14:01:13
718
webgis/gps/web在运单管理系统中的应用
2011-11-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人