Hung武-CSDN博客

Shell是一个命令解释器，它接收应用程序/用户命令，然后调用操作系统内核。脚本以 #!/bin/bash 开头来指定解析器执行脚本 bash test.sh 或 sh test.sh，本质是bash解析器帮助执行脚本，脚本本身不需要执行通过 ./test.sh 进行脚本执行，本质是脚本需要自己执行，需要执行权限Linux 命令命令作用touch修改文件或者目录的时间属性，包括存取时间和更改时间。若文件不存在，系统会建立一个新的文件。cd切换当前工作目录

2022-03-13 16:15:36 2112

原创【学习笔记】Spark

概念spark是基于内存的计算引擎，计算速度非常快，仅仅只涉及到数据的计算，没有涉及到数据的存储。MapReduce的局限性Map结果写磁盘，Reduce写HDFS，多个MR之间通过HDFS交换数据任务调度和启动开销大无法充分利用内存不适合迭代计算（如机器学习、图计算等）、交互式处理（数据挖掘）不适合流式处理（点击日志分析）MapReduce的编程不够灵活，仅支持Map和Reduce两种操作Spark特点速度快，job的中间结果可以不落地，可以存放在内存中，job以线程方式运行在进

2022-03-11 20:50:08 2481

原创【学习笔记】Hadoop

概念Hadoop是一个分布式系统基础架构，可扩展大量集群进行分布式计算和分布式存储。优点是高可靠性：数据存储时数据块多副本存储，数据计算时某个节点崩溃可以自动重新调度作业计算高扩展性：可以横向线性扩展机器，一个集群中可以有数以千计的节点，集群可以用廉价机器，成本低Hadoop生态成熟组件HDFSHDFS（Hadoop Distributed File System）是分布式文件系统，具有扩展性、容错性和海量数据存储。HDFS将数据切分成指定大小的数据块进行存储，数据存储会冗余保存（多副本

2022-03-10 15:57:54 1970

原创【学习笔记】Hive

HiveHive是基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换成MapReduce任务进行运行。HQL数据定义语言DDLDDL是SQL语言集中对数据库内部的对象结构进行创建、删除和修改等操作语言，数据库对象包括database、table等。DDL的核心语法有CREATE、DROP和ALTER所组成。DDL不涉及表内部数据操作。建库操作CREATE DATABASE 数据库名[COMMENT 注解][LOCATI

2022-03-09 16:51:52 2862

原创【学习笔记】TensorFlow1.0

TensorFlow程序被组织成一个构建阶段和一个执行阶段。在构建阶段，数据和操作的执行步骤被描述成一个图。图是将计算表示为指令之间的依赖关系的一种表示法。在执行阶段，使用会话执行构造好的图中的操作。会话是跨一个或多个本地或远程设备运行数据流图的机制。数据表示为Tensor，图中的数学操作表示为节点op基础语法默认图：默认会创建一张图，可通过tf.get_default_graph()访问，创建的Tensor、op和session都含有graph属性，默认都在一张图中。a = tf.co

2022-03-08 11:17:10 1684

原创【学习笔记】推荐系统

概述推荐系统的任务就是联系用户和信息，一方面帮助用户发现对自己有价值的信息，另一方面让信息能够展现在对它感兴趣的用户面前，从而实现信息消费者和信息生产者的双赢。推荐系统不需要用户提供明确的需求，而是通过分析用户的历史行为给用户的兴趣建模，从而主动给用户推荐能够满足他们兴趣和需求的信息。推荐系统通过发掘用户的行为，找到用户的个性化需求，从而将长尾商品准确地推荐给需要它的用户，帮助用户发现那些他们感兴趣但很难发现的商品。个性化推荐系统的主要作用是通过分析大量用户行为日志，给不同用户提供不同的个性化页面展示

2022-03-06 20:17:36 804

原创【学习笔记】Wasserstein GAN

原始GAN的问题判别器越好，生成器梯度消失越严重。当判别器为最优时，最佳生成器的损失函数为2JS(Pr∥Pg)−2log⁡22 J S\left(P_{r} \| P_{g}\right)-2 \log 22JS(Pr∥Pg)−2log2即当判别器为最优时，最小化真实分布PrP_{r}Pr与生成分布PgP_{g}Pg之间的JS散度，可以得到最优的生成器。当真实分布PrP_{r}Pr与生成分布 PgP_{g}Pg有重叠部分时，最小化其JS散度可以拉近这二个分布。但当真实分布PrP_{r

2022-01-13 01:10:20 595

原创【学习笔记】模型评估

特征归一化特征归一化是为了消除数据特征之间的量纲影响，使得不同指标处于同一数值量级，具有可比性，以便进行分析。常用方法线性函数归一化：对原始数据做线性变换，使结果映射到[0,1]的范围内，实现对原始数据的等比缩放。零均值归一化：将原始数据映射到均值为0、标准差为1 的分布上。...

2021-10-31 01:27:55 121

原创【学习笔记】自动驾驶

模块组成感知模块：环境感知是指车辆对行驶环境以及周边物体的识别和理解，需要软件有效地处理从摄像头以及其他传感器收集到的环境及自身信息。感知模块涉及到物体检测、场景分割等算法。决策模块：决策模块需根据感知模块的输出来帮助车辆进行决策判断，让无人车能够在时刻动态变化且具有多种不确定因素的环境下安全地行驶。较为先进的决策算法有模糊理论、强化学习等。控制模块：控制模块负责根据决策模块给出的指令控制车辆执行相应的操作。...

2021-10-23 02:12:26 100

原创【学习笔记】计算机听觉

音频信号的特征提取在处理音频信号时，一般要先进行特征提取，消除信号中的背景音、噪声等，保留有辨识性的内容信息。梅尔频率倒谱系数MFCC（Mel-Frequency Cepstral Coefficient）是一种非常重要的音频特征。MFCC的主要特征提取流程为：预加重：对音频信号的高频部分进行加重，增加信号中高频部分的分辨率、一般来说，音频信号的低频段能量高、信噪比大，高频段能量低、信噪比小。所以音频信号的能量主要分布在低频段，功率谱密度会随着频率的增高而降低，导致高频信号传输困难，影响信号质量。预

2021-10-23 02:00:51 932

原创【学习笔记】深度学习视频处理

视频处理视频是由一系列图像按时间序列组成的，既包含了图像的空域信息，也包含了其独有的时域信息。视频处理的范围很广，涵盖了视频从诞生到展示的整个端到端的流程，包括视频采集、视频转码、视频存储、视频传输、视频分发、视频播放等。视频编解码视频编解码的主要任务是既要实现较大的压缩比，又要保证一定的视频质量。目前主流的编解码标准包括H.264（AVC）、H.265（HEVC）、VP9、AVI等。各个标准在具体算法的实现上有很大不同，但整体架构均采用了基于块的混合视频编码框架。帧内预测帧内预测编码是指利用视

2021-10-22 01:49:20 2487 1

原创【学习笔记】推荐系统

推荐系统组成推荐系统的任务是根据用户和物品的特征，使用某种或某些推荐算法预测任意用户uuu对任意物品iii的偏好或评分，并按照预测的偏好顺序，将排在前列的物品展示给用户。召回算法：负责从整个物品集中抽取当此推荐查询的候选集。大部分召回策略都基于内容过滤、协同过滤或它们的混合方法。协同过滤是基于已知用户对部分物品的偏好或评分，预测缺失偏好或评分的方法。召回可以视为一个粗排序的过程，主要目的是排除大部分无关物品，在有限的资源条件下提供尽可能准确的一个小候选集，从而减轻排序阶段的计算负担和耗时。在召回阶段

2021-10-21 01:50:25 252

原创【学习笔记】自然语言处理

词嵌入模型词嵌入模型基于的基本假设是出现在相似的上下文中的词含义相似，以此为依据将词从高维稀疏的独热向量映射为低维稠密的连续向量，从而实现对词的语义建模。基于词出现频次的词嵌入模型通过对“文档-词”矩阵进行矩阵分解得到每个词的语义表示。典型模型有GloVe。GloVe模型的基本思想是最小化词iii和词jjj的向量向量表示viv_ivi和vj^\hat{v_j}vj^算得的函数F(viTvj^)F(v_i^T\hat{v_j})F(viTvj^) 与词jjj出现在词iii的上下文概率Pi

2021-10-20 01:29:19 437

原创【学习笔记】人体姿态识别

概念人体姿态识别（Pose Estimation）是检测图像或者视频中人体关键点的位置、构建人体骨架图的过程。利用人体姿态信息可以进一步进行动作识别、人机信息交互、异常行为检测等任务。然而，人的肢体比较灵活，姿态特征在视觉上变化比较大，并且容易受到视角和服饰变化的影响。2D人体姿态识别自底向上算法自底向上算法也称为 part-based 方法，它首先检测出图像或视频中人体的关键点，然后对不同关键点进行匹配，将属于一个人的关键点连接起来。这类方法的识别速度不会受图像或视频中人数的影响，并能有较小的模型

2021-10-18 01:24:29 8209

原创【学习笔记】图像标注

概述图像标注（Image Captioning）将一张图片翻译为一段描述性文字，需要机器用模型去理解图片的内容，还要用自然语言去表达这些内容并生成人类可读的句子。评价指标由于现实中对每一种图的标注结果进行人工评判的成本很高，所以研究者提出了一些自动评价图像标注效果的方法。BLEU（Bilingual Evaluation Understudy）BLEU主要用来评估机器翻译和专业人工翻译之间的相似度。后来该指标被引入到图像标注任务中，用来评估机器生成的文本同人工注释之间的相似度。相似度的度量是基于N

2021-10-18 01:04:18 1235

原创【学习笔记】自动化机器学习

概念自动化机器学习要解决的问题是，针对特定的一类或若干类机器学习任务，在没有人类专家干预且计算资源有限的条件下，自动化地构造机器学习算法流程。机器学习算法流程包括根据数据建立算法模型、算法效果评估、不断优化算法效果等。研究方向包括：自动化特征提取、自动化模型选择、自动化模型参数调优、自动化模型结构搜索、自动化模型评估、元学习、迁移学习等。自动化调优机器学习模型的选择和超参数的指定统称为机器学习模型的配置。对于一个给定的机器学习问题和一个数据集，我们可以配置一个具体的机器学习模型，然后在这个数据集上训

2021-10-17 16:14:47 7316

原创【学习笔记】元学习

概念元学习可以帮助模型在少量样本下快速地学习，也称为少次学习。元学习适合小样本、多任务的学习场景，可解决在新任务缺乏训练样本的情况下快速学习和快速适应的问题。元学习需要多个不同但相关的任务支持，每个任务有自己的训练集和测试集。元学习方法的主要思路按划分参数空间的方法分类元参数定义在函数中。元参数和任务相关参数共同组成要学习函数的参数空间，即f(⋅;θt,Θ)f\left(\cdot ; \theta_{t}, \Theta\right)f(⋅;θt,Θ)。对函数构造进行建模，可分为：（1）递归

2021-10-17 00:41:58 642

原创【计算机网络】应用层

域名系统DNS动态主机配置协议DHCP文件传输协议FTP远程终端协议TELNET远程桌面RDP万维网WWW电子邮件SMTP、POP3、IMAP

2021-10-05 00:51:09 1129

原创【计算机网络】传输层

传输层的主要功能传输层为应用进程之间提供端到端的逻辑通信传输层要对收到的报文进行差错检测传输层提供面向连接和无连接的服务UDP协议特点UDP是无连接的，即发送数据之前不建立连接UDP使用尽最大努力交付，即不保证可靠交付，同时也不使用拥塞控制UDP是面向报文的。没有拥塞控制，很适合多媒体通信的需求UDP支持一对一、一对多、多对多的交互通信UDP首部开销小，只有8个字节首部加入网络层首部的部分信息组成伪首部，以凑够20个字节来计算检验和。TCP协议端口用一个16位的端口号进

2021-10-05 00:47:19 210

原创【计算机网络】网络层

作用网络层负责在不同网络之间转发数据包，选择当前合适的路径进行传输。不负责丢失重传，不负责发送顺序。协议工作流程IP协议IP数据包格式

2021-09-27 09:32:51 124

原创【计算机网络】数据链路层

定义链路：一条点到点的物理线路段，中间没有任何其他的交换结点数据链路：实现和控制数据传输的通信协议的硬件和软件数据帧数据链路层传输的是帧。帧将网络层中的IP数据报加上帧头、帧尾、物理层地址和校验和。三个基本问题封装成帧透明传输：避免数据中存在与帧头、帧尾相同的数据段，发送端在数据中出现控制字符的前面插入一个转义字符。（或者零比特填充）差错控制：在数据后面添加帧检验序列FCS，通常使用CRC校验。信道类型点对点信道：使用一对一的点对点通信方式广播信道：使用一对多的广播通信方式，

2021-09-27 06:17:10 1010

原创【学习笔记】强化学习

定义强化学习主要由智能体agent和环境environment两部分组成。agent代表有行为能力的物体。环境指agent执行动作所处的场景。外部环境提供的信息很少，且没有带标签的监督信息，agent需不断试错来尝试不同的动作，根据采取的策略在交互过程中获得的奖励或惩罚信号，自主发现和选择最大回报的动作。强化学习的目的是寻找一个最优策略，使智能体在运行过程中所获得的累积奖励达到最大。强化学习可用四元组<S,A,P,R><S,A,P,R><S,A,P,R>表示。时

2021-09-25 20:53:04 358

原创【PS】快捷键

操作快捷键填充前景色alt+delete填充背景色ctrl+delete复制图层alt+鼠标左键拖动自由变换ctrl+T等比缩放shift+拖拽中心缩放alt+拖拽

2021-08-15 20:05:50 70

原创【学习笔记】Java 流

流流是个抽象的概念,是对输入输出设备的抽象，输入流可以看作一个输入通道，输出流可以看作一个输出通道。分类字节流传输过程中，传输数据的最基本单位是字节的流。字节流的类通常以stream结尾。字符流传输过程中，传输数据的最基本单位是字符的流。字符流的类通常以reader和writer结尾。输入字节流 InputStreamInputStream 是所有的输入字节流的父类，它是一个抽象类。ByteArrayInputStream、StringBufferInputStream、FileI

2021-05-12 11:32:03 64

原创【学习笔记】Java网络编程

Socket 编程Socket是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口。在设计模式中，Socket其实就是一个门面模式，它把复杂的TCP/IP协议族隐藏在Socket接口后面，对用户来说，一组简单的接口就是全部，让Socket去组织数据，以符合指定的协议。可以认为socket=IP+端口。当连接建立时，服务器会创建一个 Socket 对象。客户端和服务器现在可以通过对 Socket 对象的写入和读取来进行通信。服务器与客户端进行通信服务器实例化一个 ServerSocket

2021-05-11 11:28:12 49

原创【学习笔记】Java 集合框架

文章目录Java 集合框架ArrayList成员变量构造函数grow 方法add 方法remove 方法遍历时删除Vector成员变量构造函数扩容方法add 方法remove方法set方法IteratorStackLinkedList成员变量构造函数add 方法remove方法set方法get方法迭代器HashMap成员变量链表结点构造函数扩容机制hash 函数put 方法get方法红黑树LinkedHashMapEntry结点成员变量构造函数put和remove方法维护双向链表的方法get方法HashSe

2021-05-10 18:55:23 118

原创【学习笔记】Java 面向对象

在编译阶段只是检查参数的引用类型（引用类型为父类则检查父类有无该方法），而在运行时，Java 虚拟机(JVM)指定对象的类型并且运行该对象的方法（运行实际new的对象类型中的方法）。接口是隐式抽象的，当声明一个接口的时候，不必使用abstract关键字。接口不能用于实例化对象，没有构造方法，所有的方法必须是抽象方法。一个接口能继承另一个接口，和类之间的继承方式比较相似。接口与接口能多继承，extends 父接口1，父接口2，父接口3。类与接口能多实现，implements 接口1，接口2，接口3。

2021-05-08 11:26:59 92

wget-1.20.3-win64

curl-7.70.0.zip

空空如也