3 只爱写代码

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 2w+

ubuntu安装sqoop1.4.7

一、安装Sqoop解压并修改权限sudo tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/bigdata/cd /opt/bigdata/sudo mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7sudo chown -R hadoop:hadoop sqoop-1.4.7/配置环境变量export SQOOP_HOME=/opt/bigdata/sqoop-1.4.7expor

2020-09-19 23:08:00

virtualbox中windows虚拟机安装增强功能

依次点击虚拟机菜单栏的 设备>>>安装增强功能,在光驱中可以看到新增的文件。双击VBoxWindowsAdditions运行安装程序。

2020-09-19 18:06:29

ubuntu安装spark-2.4.7-bin-without-hadoop

一、安装Spark解压安装sudo tar -zxvf spark-2.4.7-bin-without-hadoop.tgz -C /opt/bigdata/cd /opt/bigdata/sudo mv spark-2.4.7-bin-without-hadoop/ spark-2.4.7sudo chown -R hadoop:hadoop spark-2.4.7/配置环境变量export SPARK_HOME=/opt/bigdata/spark-2.4.7export PA

2020-09-19 11:32:49

ubuntu下安装hbase2.2.6

一、安装HBase解压安装sudo tar -zxvf hbase-2.2.6-bin.tar.gz -C /opt/bigdata/cd /opt/bigdata/sudo chown -R hadoop:hadoop hbase-2.2.6/配置环境变量export HBASE_HOME=/opt/bigdata/hbase-2.2.6export PATH=$HBASE_HOME/bin:$PATHsource /etc/profile配置conf/hbase-env

2020-09-19 10:19:52

ubuntu安装hive2.3.7

一、配置MySQL创建数据库create database hive;创建hive用户create user 'hive'@'%' identified by 'hive';授权grant all on *.* to hive@'%' identified by 'hive';flush privileges;二、安装hive解压安装sudo tar -zxvf ./apache-hive-2.3.7-bin.tar.gz -C /opt/bigdatacd /o

2020-09-19 01:16:16

ubuntu安装hadoop2.9.2

一、创建hadoop用户sudo useradd -m hadoop -s /bin/bashsudo passwd hadoopsudo adduser hadoop sudo二、配置SSH免密码登陆安装SSH软件sudo apt-get install openssh-server给hadoop用户配置密钥# 若没有该目录,请先执行一次ssh localhost,再exitcd ~/.ssh/ ssh-keygen -t rsacat ./id_rsa.pub >>

2020-09-18 21:41:46

离线安装python环境

首先导出当前环境:pip freeze > requirements.txt在当前目录新建文件夹myenv,并下载安装文件pip download -d myenv -r requirements.txt复制requirements.txt和myenv到另一台电脑上,并进行安装:pip install --no-index --find-links=myenv -r requirements.txt...

2020-09-15 16:31:33

机器学习算法(三): 基于支持向量机的分类预测

1算法实战## 基础函数库import numpy as np ## 导入画图库import matplotlib.pyplot as pltimport seaborn as sns## 导入逻辑回归模型函数from sklearn import svm##Demo演示LogisticRegression分类## 构造数据集x_fearures = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]]

2020-08-28 07:35:34

机器学习算法(二):基于决策数的分类预测

1.决策树决策树的核心思想是基于树结构对数据进行划分,这种思想是人类处理问题时的本能方法。决策树的主要优点:具有很好的解释性,模型可以生成可以理解的规则。可以发现特征的重要程度。模型的计算复杂度较低。决策树的主要缺点:模型容易过拟合,需要采用减枝技术处理。不能很好利用连续型特征。预测能力有限,无法达到其他强监督模型效果。方差较高,数据分布的轻微改变很容易造成树结构完全不同。2.算法实战## 基础函数库import numpy as np ## 导入画图库import

2020-08-21 22:45:01

机器学习算法(一): 基于逻辑回归的分类预测

Logistic回归虽然名字里带“回归”,但是它实际上是一种分类方法,主要用于二分类问题,利用了Logistic函数(或称为Sigmoid函数),函数形式为:logi(z)=11+e−zlog_i(z) = \frac{1}{1+e^{-z}}logi​(z)=1+e−z1​Step1:库函数导入## 基础函数库import numpy as np ## 导入画图库import matplotlib.pyplot as pltimport seaborn as sns## 导入逻辑

2020-08-19 22:46:14

自然语言处理实践Task6

基于Bert的文本分类Bert Pretrainclass WhitespaceTokenizer(object): """WhitespaceTokenizer with vocab.""" def __init__(self, vocab_file): self.vocab = load_vocab(vocab_file) self.inv_vocab = {v: k for k, v in self.vocab.items()} def t

2020-08-05 17:57:21

自然语言处理实践Task5

import loggingimport randomimport numpy as npimport torchlogging.basicConfig(level=logging.INFO, format='%(asctime)-15s %(levelname)s: %(message)s')# set seed seed = 666random.seed(seed)np.random.seed(seed)torch.cuda.manual_seed(seed)torch.man

2020-07-29 23:37:11

自然语言处理实践Task4

FastTextFastText通过Embedding层将单词映射到稠密空间,然后将句子中所有的单词在Embedding空间中进行平均,进而完成分类操作。FastText是一个三层的神经网络,输入层、隐藏层和输出层。# coding: utf-8from __future__ import unicode_literalsfrom keras.models import Sequentialfrom keras.layers import Embeddingfrom keras.layers

2020-07-27 21:32:05

自然语言处理实践Task3

One-hot这里的One-hot与数据挖掘任务中的操作是一致的,即将每一个单词使用一个离散的向量表示。具体将每个字/词编码一个索引,然后根据索引进行赋值。One-hot表示方法的例子如下:句子1:我 爱 北 京 天 安 门句子2:我 喜 欢 上 海首先对所有句子的字进行索引,即将每个字确定一个编号:{‘我’: 1, ‘爱’: 2, ‘北’: 3, ‘京’: 4, ‘天’: 5,‘安’: 6, ‘门’: 7, ‘喜’: 8, ‘欢’: 9, ‘上’: 10, ‘海’: 11}在这里共包括

2020-07-26 00:25:42

自然语言处理实践Task2

一、读取训练数据# sep设置分割符# nrows设置读取的行数train_df = pd.read_csv('./data/train_set.csv', sep='\t', nrows=100)train_df.head()第一列label为新闻的类别,第二列text为新闻的字符。二、数据分析计算句子的长度train_df['text_len'] = train_df['text'].apply(lambda x: len(x.split(' ')))train_df['text

2020-07-22 23:49:02

自然语言处理实践Task1

一、数据集结构:共14个分类:{‘科技’: 0, ‘股票’: 1, ‘体育’: 2, ‘娱乐’: 3, ‘时政’: 4, ‘社会’: 5, ‘教育’: 6, ‘财经’: 7, ‘家居’: 8, ‘游戏’: 9, ‘房产’: 10, ‘时尚’: 11, ‘彩票’: 12, ‘星座’: 13}二、评测标准:F1=2∗(precision+recall)(precision∗recall)F_1=2* \frac{(precision+recall)}{(precision∗recall)}F1​=2∗

2020-07-21 22:37:05

刷题笔记2020-06-26

1.给定一个非空整数数组,除了某个元素只出现一次以外,其余每个元素均出现两次。找出那个只出现了一次的元素。leetcode136def singleNumber(self, nums: List[int]) -> int: res = 0 for num in nums: res ^= num return res异或运算有以下三个性质:任何数和 0 做异或运算,结果仍然是原来的数,即 a ^ 0 = a。任何数

2020-06-26 14:22:12

二叉树

满二叉树如果二叉树中除了叶子结点,每个结点的度都为 2,则此二叉树称为满二叉树。完全二叉树如果二叉树中除去最后一层节点为满二叉树,且最后一层的结点依次从左到右分布,则此二叉树被称为完全二叉树。参考链接:http://c.biancheng.net/view/3384.htmlhttps://www.cnblogs.com/-citywall123/p/11788764.html...

2020-06-26 16:12:42

Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow (2)

Take a Quick Look at the Data Structurehousing =load_housing_data()# show the total number of rows, each attribute’s type, and the number of nonnull valueshousing.info()# how many districts belong to each category housing["ocean_proximity"].value_coun

2020-06-20 11:43:50

mac下使用pyenv

一、安装pyenv安装命令brew updatebrew install pyenv添加环境变量echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profileecho 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile二、pyenv基本用法# 查看已安装的版本pyenv versions# 查看正在使用的版本pyenv version

2020-06-06 15:15:38

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。