8 _________MAN

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 3w+

hadoop之使用python进行streaming编程

目的:统计文件中单词出现的词频准备:创建测试数据test.txt并写入如下内容foo bar quuxfoo libs barzoo zoo hying1、创建mapper分割数据并写入标准输出流$vi mapper.py#!/usr/bin/pythonimport sysfor line in sys.stdin: ...

2020-01-19 16:34:22

virtualBox+ubuntu18.04+hadoop3.2.1集群部署测试

1、安装virtualBox,安装好ubuntu操作系统,用户名统一hadoop;hostname分别为ubuntu1(master节点)、ubuntu2(slave节点)、ubuntu3(slave节点),然后选择使用net网络,更新apt源 sudo apt update2、安装jdksudo apt-get install openjdk-8-jdk验证jdk是否安装成功...

2020-01-16 16:30:32

看代码认识最简单的区块链工作原理

import datetimeimport hashlibimport jsonimport requestsclass Blockchain: def __init__(self): self.chain = [] # 主链 self.nodes = set() # 节点列表 self.current_tranact...

2019-11-06 16:06:55

提取HTML中所有图片地址的正则表达式

# 正则表达式<img[\s\S]+?src=[\'\"](.+?)[\'\"][\s\S\>]?例如使用php提取html中的所有图片地址$str='<p><img src="http://img.baidu.com/hi/jx2/j_0024.gif"/>22222222222222222222<img src="https://ab...

2019-10-23 15:48:12

python threadpool 多线程链接mysql: Commands out of sync; you can't run this command now

使用python的多线程库处理数据,发现mysql总是有一定概率报mysql: Commands out of sync; you can't run this command now,几番查询,有的说是因为存在没有返回mysql结果就开始发起另外一个请求,有的说在sql里面有分号、也有的说是没有释放结果集。有可能的原因都尝试但最后都没有解决。在排查过程中想到是不是因为多线程导致mysql处理连...

2019-09-26 14:02:44

ModuleNotFoundError: No module named 'torch'

pip3installmkl==2018

2019-07-20 13:32:51

ubunntu18.04 安装cuda9.0和cudnn7.6.1

nvidia 官网下载不稳定,这里分享一份cuda9.0 cudnn7.6.1百度网盘 链接: https://pan.baidu.com/s/18DKfsthRyuXX7lV9U40lnA 提取码: p8e6第一步:安装nvidia图形驱动,方式也很简单,点击应用程序-》软件和更新-》附加驱动选中NVIDIA driver metapackage-》应用更改。等待完成然后ctrl+alt+t...

2019-07-20 12:50:45

win10 linux子系统启动php-fpm提示failed to retrieve TCP_INFO for socket: Protocol not available的问题

最近由于项目需要swoole进行开发,但swoole拓展无法直接通过编译安装,只能通过Cygwin/docker等虚拟机来运行,cygwin不太熟悉,docker和vagrant等虚拟机的话入门和配置难度都很高,研究了几天都没搞定,最后选择了win10自带的linux子系统,通过linux子系统运行php,然后直接通过windows上的nginx将php处理工作转发给linux子系统,这样既可以兼...

2019-07-01 16:37:25

如何快速入门webvr的开发教程 - mxreality.js 简介

在17年VR和AR行业很火的时候我刚好有幸加入了一家提供VR和AR服务的企业,当时作为一名后端开发人员,我的职责也只是开发一些后台系统和接口,并没有直接去接触VR开发,当时我也一直内心充满好奇心VR到底是一种什么样的新鲜技术。一次偶然的机会公司项目的需要,需要我使用threejs展示一些3D模型、于是webGL的开发和研究也就成了我学习的一部分。也开始了我的vr是否可以直接web断使用的想法,...

2019-04-27 23:11:22

s3.amazonaws.com 下载资源缓慢的解决办法

有些文件需要从Amazons3服务器去下载,但是不知道什么原因国内下载巨慢,有时候直接提示超时,网上说法不一,但不管怎样我关心的不是这些,我要能下载到资源就行,于是就发现了下面的一个小技巧1、ping下载地址域名A,可以获取到域名解析后对应主机的IP地址B2、修改本地的hosts(window和mac/linux的hosts文件位置略有不同,请自行搜索),将远程下载域名A直接重定向...

2019-03-22 09:52:44

win10+cuda9+cudnn7+tensorflow-gpu 提示 ImportError: DLL load failed:

在windows10 上pip安装tensorflow-gpu 提示错误,ImportError: DLL load failed: 找不到指定的模块。Failed to load the native TensorFlow runtime.解决办法:pip uninstall pillowpip install pillowpip uninstall tensorflow-...

2019-03-20 21:53:46

开源的WebVR直播播放器

给大家推荐一款好用开源的VR直播播放器,地址https://github.com/guoguicheng/mxreality.js [2018-10-20 重要更新] 支持VR直播功能 支持全景视频poster 支持全景图和视频和场景之间随意切换 全景模式切换回默认主视角 播放列表...

2018-10-22 10:14:17

决策树如何通过信息增熵确定最终的决策

信息熵定义:有n种取值:U1…Ui…Un,对应概率为:P1…Pi…Pn,且各种符号的出现彼此独立。这时,信源的平均不确定性应当为单个符号不确定性-logPi的统计平均值(E),可称为信息熵,即 推导一下条件熵信息增熵=信息熵-条件熵------------------------------------------------------分割线---------------...

2018-09-20 18:09:12

ubuntu14.04 安装网易云音乐失败,新版本网易云安装不上

原因是因为新版本不支持14.04了,需要下载14.04对应的版本s1.music.126.net/download/pc/netease-cloud-music_1.0.0_amd64_ubuntu14.04.deb

2018-09-17 10:49:47

推荐算法之-相似邻居计算

在上面两篇文章已经讲了如何通过用户对产品的评分分别计算出某个用户与其他用户之间的相似度,那么在计算完相似度后如何才能获取和该用户相似度高的人呢,方法分为两种:1、固定数量的K个邻居,(K-neighborhoods)。意思很明确,就是按分数高低降序取K个2、基于相似度门槛的邻居,(Threshord-based neighborhood)。取分数K分以上的作为邻居<?php...

2018-09-14 17:08:05

推荐算法之-皮尔逊相关系数计算两个用户喜好相似度

<?php/** * 余玄相似度计算出3个用户的相似度 * 通过7件产品分析用户喜好相似度 * 相似度使用函数 sim(user1,user2) =cos∂ * * 设A、B为多维矩阵 * * ∑(Ai•Bi) ∑(Ai•Bi) ∑(USER1_i•USER2_i) * cos∂ = -------------...

2018-09-12 15:03:59

推荐算法之-欧几里德距离计算用户相似度

<?php/** * 欧几里德距离计算出3个用户的相似度 * 通过7件产品分析用户喜好相似度,假设x,y是空间上的两个点 * d(x,y) := √∑(xi-yi)^2 * * 相似度使用函数 sim(x,y)=1/1+d(x,y) */$infoTable = [ 'user1' => [ 5, 5, 4, 7, 8, 9, 4, // ...

2018-09-12 10:23:32

laravel paginate分页使用orderBy排序无效解决办法

use Illuminate\Pagination\Paginator;use Illuminate\Pagination\LengthAwarePaginator;//......$perPage = 15;$currentPage = $request->input('page', 1);$offset = ($currentPage - 1) * $perPage;$...

2018-08-10 15:51:14

正则匹配过滤空格字符串

正则匹配过滤空格字符串,防止用户提交空格字符串#如果在字符串任意一个位置出现费空格'\s'的字符,那改表达式将成立reg='/[^\s]+/';#PHP例子$str=' 我 ';var_dump(preg_match($reg,$str)) ...

2018-08-07 16:53:11

laravel 队列

前言队列常常用于两种场景,一种是高并发的情况,一种是耗时的操作,可以将任务放到队列中去,消费者从队列取任务执行,当然还有失败的情况如何处理,以及延迟,重试,更复杂的情况还有优先级的实现。在Laravel 5中使用队列非常简单,并且失败处理,延迟,重试的方法都已经实现,下面简单尝试了一下Laravel的队列服务。Laravel默认支持以下几种队列服务:sync, database, be...

2018-07-20 15:22:15

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。