13 yanxiangtianji

尚未进行身份认证

暂无相关简介

等级
TA的排名 2w+

Hadoop中共享全局信息的几种方法

搞不懂这么久以前的一篇纯技术文章,居然突然说包含敏感词,给我下架了,让我重新发。。。------在编写Hadoop MapReduce程序的过程中有时候需要在各个Mapper或者Reducer中使用一些共享的全局数据,例如在处理整数数据表格的时候有时候需要让每个Reducer知道各个列的取值范围或是一些图算法中需要让各个Reducer知道图的连通关系。加入key/value...

2014-04-20 16:27:56

conda依赖关系可视化工具:conda-tree

conda依赖关系可视化工具:conda-tree前言原理安装依赖主体用法前言有时候由于特定的依赖关系,比如以前安装的包X要求它依赖的A包的版本必须低于2.0,会导致新的包无法正常安装或升级。比较常见的情况是当安装新包的时候,conda会选择它的一个比较旧的版本。比如最近我就遇到了pytorch被强制锁定在1.2版本上,而无法安装最新的1.4版本。经过我查看依赖关系发现,这是以为我安装的to...

2020-02-06 10:35:17

升级Debian版本操作总结

文章目录升级Debian操作过程的总结准备升级清理升级Debian操作过程的总结关于升级Debian的主版本,官方有非常详细的文档:https://www.debian.org/releases/stable/amd64/release-notes/ch-upgrading.html其中关键操作为升级当前系统中的包至最新版,然后修改/etc/apt/sources.list为新版本的内容,并...

2019-03-02 15:15:07

Debian/Ubuntu清理无效包、废弃包、冗余包、rc包

文章目录清理Debian、Ubuntu中的冗余包remove与purge清理作废包清理rc包清理Debian、Ubuntu中的冗余包在升级系统版本之后,或是在删除了第三方源之后,一些包就会变为无法更新的冗余包。一个常见的现象是升级系统前,某个程序A依赖了旧版本的库libX.1.1,在升级系统之后另一个程序B依赖了新版本的libX.1.2。再由于某些依赖原因,A没有被升级为依赖libX.1.2...

2019-03-02 14:25:51

Ubuntu 18.04 添加自定义app到桌面和搜索栏

创建.desktop文件按照下面这个格式填写你要用的.desktop文件。其中Exec是必须的,启动参数也可以添加在后面,Name也是必须的,用于搜索和显示。Comment和Icon可以忽略。如果是命令行脚本并且想要看到命令行,可以把Terminal后面改为true。#!/usr/bin/envxdg-open[DesktopEntry]Version=1.0Type=Appl...

2018-07-17 16:10:50

在VS Code中开启gdb的pretty-printer功能

VS Code中开启GDB的pretty-printer功能准备pretty-printerpretty-printer是干什么的众所周知,C++的STL容器的实现并不直观,直接使用gdb之类的debugger查看内存是需要周转多次才能看到具体的内容的。 在Visual Studio之类的IDE中内置了一些脚本,用来较为友好的显示容器内的元素。GDB的pretty-pri...

2018-06-05 11:44:30

[笔记] awk命令计算sum, min, max, avg

awk 'BEGIN{max=0;min=9e9}{FS=" "}{x+=$5;if($5>max){max=$5}else if($5<min){min=$5}}END{print x,"\t",max,"\t",min,"\t",x/NR}'讲解: 1. FS指定间隔符 (每一段用$x引用,编号从1开始) 2. BEGIN和END后面为一次性命令,中间的主体部分对每一行执行 3. 类似c

2017-09-18 00:10:13

MPI选择错误的网卡/网段的解决方案

问题及原因在多网卡的情况下,有时候使用多个服务器作为MPI节点时会出现: 1. MPI_Recv之类的读函数读不到任何数据, 2. 或 MPI崩溃并提示无法connect to XXXX,这个XXXX多半是某个配属在其他网段的IP地址。这是因为: MPI默认选择了一个错误的网段尝试进行多机通讯,导致程序交互的失败。例如: 某台机器的网络配置如下:lo 127.0.0.1eth0

2017-02-16 13:52:25

Latex常见公式环境与对齐方式小节(重修版)

本文将讨论全局与局部的公式对齐方式的调节,并对比各种常见的公式环境的差异(尤其是在对齐方面),介绍多行公式、多公式的编写方式。 针对各种常见环境(尤其是多行公式环境)的差异,对它们分别适用于哪种应用环境提出建议。本文是在前文的基础上,采用Markdown重置的,调整了部分语言和格式,内容没有核心差异。

2017-01-28 18:03:14

G++隐藏"bug"及应对:未特化的模板中的static_assert(false)的两种处理方式

C++11标准新引入的static_assert功能可以实现静态断言,是一个非常强大的模板元编程工具,配合SFINAE特效可以在编译期发现不符合预期的不合理特化,并且给出自定义的错误信息。但是不同编译器的实现却不尽相同,于是招致了一些不必要的麻烦。g++为了效率,在某些情况下会过早、甚至不必要地执行了static_assert断言,导致编译失败。本文给出了这种问题的发生条件、原因与解决方法。

2017-01-28 16:32:22

Visio生成eps文件的方法

不使用收费软件要点:使用打印到文件功能使用GSview裁剪多余边框Latex支持情况: 支持latex-dvi-ps-pdf路线不兼容pdflatex,原因:epstopdf包支持有问题步骤:添加打印机,选择本地打印机+输出到文件,建议取名“Print to EPS”打印机设置中,Advance选项卡,展开Document Options-PostScrpit Options,设置

2016-07-25 14:39:09

What’s The Deal With The Git Index?

一篇讲解Git Index究竟是什么,有什么作用的文章。原文链接:http://www.gitguys.com/topics/whats-the-deal-with-the-git-index/Commands discussed in this section:git addgit commitgit ls-filesgit statusgit mvgit rmT

2015-11-10 11:08:54

在Git上跨Repository移动文件(合并Repository),并保留修改历史

在Git上跨Repository移动文件(合并Repository),并保留提交记录。需求:Git用久了,总是要整理、合并一些工程的,还希望能保留下来以前的编辑历史。原理:利用Git可以加多个remote,并且分别pull下来的功能。方法:假设是要把repository A的directory 1移动到repository B的directory 1里面去。

2015-11-04 12:38:13

Ubuntu通过源码编译安装Octave 4.0

本教程/笔记,用于指导在Ubuntu及其他Linux系统上如何通过源码安装Octave。Octave简介Octave是GNU旗下代替matlab的数学工具软件,语法与matlab高度兼容,并且支持一些独有的更清晰更符合Linux社区习惯的语法。虽然在一些具体工具包和部分特性和效率上不如matlab,但是对于一般用户,它是matlab的一个有效的合法的免费的替代工具。 3.8版本之前官方没有GUI界

2015-07-14 12:21:36

Win7,Win8中"XXX is not accessible"的问题(应用程序默认配置文件存储位置)

Windows 7,8中”is not accessible”的问题(应用程序默认配置文件存储位置)Windows 7, 8用户在访问ProgramData目录和Documents and Settings目录时,会无法打开并被提示“C:\xxxx is not accessible. Access is denied.”因为权限不足而被拒绝访问。这是因为在Windows Vista以后的Windo

2015-05-14 10:58:25

【转】gdb调试器用法

原文链接:https://code.google.com/p/ldd6410/wiki/GDBDebug原文发布时间: Apr 6, 2010GDB官方文档:http://sourceware.org/gdb/current/onlinedocs/gdb/gdb调试器用法GDB是GNU开源组织发布的一个强大的UNIX下的程序调试工具,GDB主要可

2015-03-23 22:46:53

Hadoop动态添加/删除节点(datanode和tacktracker)

总的来说,正确的做法是优先通过配置文件,再在具体机器上进行相应进程的启动/停止操作。网上一些资料说在调整配置文件的时候,优先使用主机名而不是IP进行配置。总的来说添加/删除DataNode和TaskTracker的方法非常相似,只是操作的配置项和使用的命令有微小差异。1. DataNode1.0 配置文件在namenode下修改配置文件conf/mapred-site.xml。关键参数dfs.hosts和dfs.hosts.exclude。注意:不同hado

2014-05-30 18:31:28

linux下创建可引导的U盘系统,使用dd命令进行Linux的ghost

1,通过iso创建可引导的U盘系统。1.0,格式化U盘为FAT32格式linux下可以使用命令mkfs.vfat U盘的设备路径例如:mkfs.vfat /dev/sdb其中U盘的路径可以通过命令df来查看1.1,最简单的方法(但有些情况会失败,而且U盘不能再放其他文件,需要格式化后才能再使用):dd if=ISO的路径 of=U盘的设备路径例如:dd if

2014-05-20 21:47:40

Latex中插入.eps图片遇到的问题 (Unknown graphics extension:.eps)

问题表现为:在Windows下使用pdflatex编译时,所有使用.eps文件的地方都会得到一条错误信息:!LaTexError:Unknowngraphicsextension:.eps。不管你用的是\epsfig、\includegraphics还是其他命令,都会遇到这个问题。原因:pdflatex只能支持pdf、jpg、jpeg、png共4中格式的图片。

2014-05-20 18:22:13

升级Linux内核导致vmware无法使用(vmnet模块无法编译)解决方案

最近将ubuntu升级到了14.04,出现了vmware无法启动的情况。具体表现为:每次启动的时候都会弹出一个VMWare Kernel Module Updater的对话框,要求根据当前内核版本重新编译一些内核模块,但是其中网络模块vmnet总是编译失败。查找相关资料发现原因在于升级到ubuntu 14.04之后现在的Linux内核版本是3.13,这个内核版本修改了一些底层函数,而V

2014-05-12 22:37:56

查看更多

勋章 我的勋章
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。