- 博客(269)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 博客汇总目录
文章目录1. 编程语言1.1 python1.2 c++1.3 golang1.4 shell1.5 matlab2. 后端2.1 git2.2 linux2.3 docker2.2 kubernetes2.2 helm3. 算法3.1 计算机视觉3.1.1 基础3.1.2 卷积神经网络3.1.3 循环神经网络3.2 自然语言处理3.2.1 基础3.3 语音3.3.1 基础1. 编程语言1.1 python1.2 c++1.3 golang1.4 shell1.5 matlab2. 后端2.
2021-07-12 12:41:20
99
原创 虚拟开发环境配置
不同版本的代码需要不同的环境，如果环境都装在base环境下就会导致环境更换繁琐严重降低开发和测试的效率，所以创建虚拟环境的必要性不言而喻conda create -n daicongDemo1 python=3.7conda env listsource activate daicongDemo1source deactivate daicongDemo1...
2021-04-23 12:56:22
629
原创 数据结构与算法--二叉树遍历系列总结
目录LeeCode题目链接：主要参考资料：代码实现这里分别给出了三种二叉树的遍历方法与N叉树的前序遍历，及其时空复杂度1：递归：直接递归版本、针对不同题目通用递归版本（包括前序、中序、后序）2：迭代：最常用版本（常用主要包括前序和层序，即【DFS和BFS】）、【前中后】序遍历通用版本（一个栈的空间）、【前中后层】序通用版本（双倍栈（队列）的空间）3：莫里斯遍历：利用线索二叉树的特性进行遍历4：N叉树的前序遍历LeeCode题目链接：二叉树的前序遍历二叉树的中序遍历二叉树的后序遍历二
2021-03-02 13:34:29
200
原创 python基础--九大查找算法
1. 静态查找表（Static Search Table）只做查找操作的查找表。它的主要操作是：查询某个“特定的”数据元素是否在表中检索某个“特定的”数据元素和各种属性2. 动态查找表（Dynamic Search Table）在查找中同时进行插入或删除等操作：查找时插入数据查找时删除数据3. 顺序查找3.1. 算法简介顺序查找又称为线性查找，是一种最简单的查找方法。适用于线性表的顺序存储结构和链式存储结构。该算法的时间复杂度为O(n)。3.2. 算法描述从第一个元素m开始逐
2021-02-26 09:21:23
290
原创 python基础--十大排序算法
排序算法一览表1、冒泡排序冒泡排序（英语：Bubble Sort）是一种简单的排序算法。它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把它们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢”浮“到数列的顶端。1.1、算法描述比较相邻的元素。如果第一个比第二个大，就交换他们两个；对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对，这样在最后的元素应该会是最大的数；针对所有的元素重复
2021-02-25 23:34:28
355
原创 python基础--数据结构
1、列表2、链表单链表单向循环列表双向链表# -*- coding: utf-8 -*-"""Created on Wed Feb 24 21:32:24 2021@author: daicong""""""is_empty()length()tavel()add(item)append(item)insert(pos,item)remove(pos,item)search(item)"""class SingleNode(object): def _
2021-02-25 10:34:53
283
原创 Leetcode练习题
1、求两数之和给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出 和为目标值 的那 两个 整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素不能使用两遍。你可以按任意顺序返回答案。class Solution(object): def twoSum(self, nums, target): """ :type nums: List[int] :type target: int
2021-02-18 14:54:08
211
3
原创 bert模型和代码实现
2018年深度学习在NLP领域取得了比较大的突破，最大的新闻当属Google的BERT模型横扫各大比赛的排行榜。作者认为，深度学习在NLP领域比较重点的三大突破为：Word Embedding、RNN/LSTM/GRU+Seq2Seq+Attention+Self-Attention机制和Contextual Word Embedding(Universal Sentence Embedding)...
2022-08-11 22:46:01
947
1
原创 数据的格式转化
2.将csv格式转化为parquet3.读取csv文件时memory errorpd.read_csv读取大文件时，如果文件太大，会出现memoryerror的问题。pd.read_csv的参数中有一个chunksize参数，为其赋值后，返回一个可迭代对象TextFileReader，对其遍历即可reader = pd.read_csv(file_path, chunksize=20) # 每次读取20条数据方法2pd.read_csv的参数中有一个iterator参数，默认为False，将其改
2022-07-09 21:33:14
878
原创 gerattr
getattr() 函数用于返回一个对象属性值。getattr 语法：getattr(object, name[, default])object – 对象。name – 字符串，对象属性。default – 默认返回值，如果不提供该参数，在没有对应属性时，将触发 AttributeError。...
2022-07-05 14:15:39
243
原创 正则化去除标点符号
通过re模块进行正则化匹配，删除具有自定义标点符号的queryimport rea="animelosummerlive（）()''《dogdays'》orlandobloom《"#r="\'\"“”！·：:;；^.。，, ？?>、~@#￥%……&》<>「」{}【】（）《》"r="[_.!+-=——,$%^,。?、~@#￥%……&*《》<>「」{}【】()（）/'']"res=re.sub(r,"",a)res#'animelosummerliv
2022-04-18 15:08:14
1196
原创 文本生成的简单demo
import numpy as npimport pandas as pdimport numpy as npimport pandas as pdfrom keras.models import Sequentialfrom keras.layers import Densefrom keras.layers import Dropoutfrom keras.layers import LSTMfrom keras.layers import RNNfrom keras.utils i
2022-03-21 11:12:24
380
原创 str转dict
global false, null, truefalse = null = true = ''#解决eval() 不能处理false问题a = "{"1":"dd"}"if not a:#如果a为空，不能用eval returnb=eval(a)
2022-01-26 13:24:24
486
原创 pip直接安装git上的项目
方法1# 两步走的安装（安装完还需要自己删除git文件）git clone http://127.0.0.1/XXX/demo.git#change dircd demo# installpython setup.py install --user# windows环境下加--user 不然容易报错方法2pip install git + https：//github.com/myuser/foo.git#@后面接上版本号pip install git + https：//githu
2021-12-27 22:55:46
1837
原创 C++遍历vector和map
#include <stdio.h>#include <vector>using namespace std; int main(){ //第一种定义方法 vector<int> v; for (int i = 0; i < 10; i++){ v.push_back(i); } //第二种定义方法 vector<int> v1(v); //第三种定义方法
2021-12-27 16:25:23
1162
原创 安装yolox
https://github.com/Megvii-BaseDetection/YOLOXhttps://zhuanlan.zhihu.com/p/392570215安装cocoapimkdir cocoapi && cd cocoapigit clone --filter=blob:none -q https://github.com/cocodataset/cocoapi.git .pip3 install cythonpython3 setup.py install --u
2021-12-05 21:50:06
522
原创 Hive常用指令
文章目录1. Hive1.1基础指令1.2复合数据类型1.3 配置优化1.4 常用函数1.5 HQL和SQL的差异点1.6基本概念2. SQL2.1 基础指令3. References本文参考链接1. Hive1.1基础指令show databases; # 查看某个数据库use 数据库; # 进入某个数据库show tables; # 展示所有表desc 表名; # 显示表结构show partitions 表名; # 显示表名的分区show crea
2021-11-26 20:10:39
257
原创 yum服务报错无法使用
error: rpmdb: BDB0113 Thread/process 61227/140631941699392 failed: BDB1507 Thread died in Berkeley DB libraryerror: db5 error(-30973) from dbenv->failchk: BDB0087 DB_RUNRECOVERY: Fatal error, run database recoveryerror: cannot open Packages index usin
2021-11-11 10:42:59
612
原创 ubuntu安装hadoop集群
官网：https://www.java.com/zh-CN/download/help/index_installing.htmlmkdir /usr/javamv jre-8u311-linux-x64.tar.gz /usr/javacd /usr/javatar zxvf jre-8u311-linux-x64.tar.gzsudo vim /etc/profileexport JAVA_HOME=/usr/java/jre1.8.0_311export JRE_HOME=$JAVA
2021-11-10 21:53:45
2580
原创 C++设计模式——单例模式
今天主要是学习了单例模式的三种实现，包括懒汉式、双重检查锁懒汉式和饿汉式。首先，我们应该要理解单例模式的概念，单例模式简单的来说就是一个类只允许有一个对象，为此，我们可以知道必须要控制类的构造行为，故将构造函数私有化、同时将该类的对象定义为该类的静态数据成员（因为构造函数被私有化了）。首先是懒汉式，懒汉式理解起来最为直接，直接上代码#include "commonHeader.h"class lanhan {public: static lanhan * getInstance()
2021-11-04 10:10:05
146
原创 基于贝叶斯优化方法的自动调参实现
文章目录1. 贝叶斯优化方法2. Python中的选择3. 优化问题的四个部分4. 代码演示1. 贝叶斯优化方法（注意是方法，是一种思想）贝叶斯优化通过基于目标函数的过去评估结果建立替代函数（概率模型），来找到最小化目标函数的值。贝叶斯方法与随机或网格搜索的不同之处在于，它在尝试下一组超参数时，会参考之前的评估结果，因此可以省去很多无用功。超参数的评估代价很大，因为它要求使用待评估的超参数训练一遍模型，而许多深度学习模型动则几个小时几天才能完成训练，并评估模型，因此耗费巨大。贝叶斯调参发使用不断更新的
2021-10-27 22:50:22
1009
1
原创 下载谷歌云文件脚本
#!/bin/shFILEID=${1:-'1-2vEZfIFCdM1-vJ3GD6DlSyKT4eVXMKq'}FILENAME=${2:-'chinese_roberta_wwm_large_ext_pytorch_.zip'}GOOGLE_URL="https://docs.google.com/uc?export=download&id=${FILEID}"wget --load-cookies /tmp/cookies.txt "https://docs.google.com/uc
2021-09-18 11:49:22
340
原创 KMP算法
上图可以看出，当匹配失败时，j要移动的下一个位置k。存在着这样的性质：序列2的位置j最前面的k个字符和序列1的位置i之前序列的最后k个字符是一样的。// 方法一class Solution: def strStr(self, haystack: str, needle: str) -> int: a=len(needle) b=len(haystack) if a==0: return 0 next=.
2021-09-05 13:52:38
91
原创 tfidf代码实现
import mathimport copyfrom collections import Counter,defaultdictcopus = [['我', '正在', '学习', '计算机','我'], ['它', '正在', '吃饭'], ['我', '的', '书', '还', '在', '你', '那儿'], ['今天', '不', '上班']]tf = []for doc in copus: tf.append(Counter(doc))print(tf)
2021-09-03 16:33:12
592
原创 ubuntu安装显卡驱动和cuda
1卸载原始的驱动#查看安装的包apt list --installed|grep -i nvidia#卸载包apt-get purge nvidia*2下载新驱动https://www.nvidia.cn/Download/index.aspx?lang=cn复制下载链接，在系统中用wget下载#下载wget https://cn.download.nvidia.cn/tesla/470.57.02/NVIDIA-Linux-x86_64-470.57.02.run#安装sudo
2021-09-01 00:07:24
1520
原创 RSNA-MICCAI Brain Tumor Radiogenomic Classification
文章目录1.比赛简介1.1 链接1.2 简介2.数据下载3.baseline代码4. 进阶代码5. trick1.比赛简介1.1 链接https://www.kaggle.com/c/rsna-miccai-brain-tumor-radiogenomic-classification/overview1.2 简介脑部恶性肿瘤是一种危及生命的疾病。胶质母细胞瘤是成人最常见的脑癌，也是预后最差的一种，中位生存期不到一年。在肿瘤中存在一种称为MGMT启动子甲基化的特定基因序列已被证明是一种有利的预后因
2021-08-19 14:30:27
559
原创 pytorch打印model的层级结构以及模型更改
查看层级结构基于tf_efficientnet_b7_ns模型class ETSSModel(nn.Module): def __init__(self, model_name=CFG.model_name, out_dim=1): super().__init__() self.model = timm.create_model(model_name, pretrained=True, in_chans=1) for n in (self.mod
2021-08-17 14:33:18
1254
原创 Cornell Birdcall Identification
文章目录1.比赛简介1.1 链接1.2 简介2.数据下载3.baseline代码4. 进阶代码5. trick1.比赛简介1.1 链接https://www.kaggle.com/c/birdsong-recognition/overview1.2 简介你听见窗外鸟儿在啁啾吗？世界上有超过10000种鸟类，它们几乎可以在任何环境中找到，从原始雨林到郊区甚至城市。鸟类在自然界中起着至关重要的作用。它们在食物链中处于高位，整合了发生在较低层次的变化。因此，鸟类是栖息地质量恶化和环境污染的极好指标。然而
2021-08-16 16:48:01
280
原创 BirdCLEF 2021 - Birdcall Identification
1.比赛简介1.1 链接https://www.kaggle.com/c/birdclef-20211.2 简介物以类聚，人以群分。谢天谢地，这样更容易听到他们！全世界有一万多种鸟类。例如，在一个地区识别红翅黑鸟或斑鹪鹩可以提供有关栖息地的重要信息。由于鸟类在食物链中处于高位，它们是环境质量和污染恶化的极好指标。监测生态系统中生物多样性的现状和趋势是一项不小的任务。在机器学习的帮助下，通过适当的声音检测和分类，研究人员可以提高跟踪重要生态系统中生物多样性状况和趋势的能力，使他们能够更好地支持全球保护
2021-08-16 00:32:07
786
1
原创 SETI Breakthrough Listen - E.T. Signal Search
文章目录1.比赛简介1.1 链接1.2 简介2.数据下载3.baseline代码4. 进阶代码5. trick1.比赛简介1.1 链接https://www.kaggle.com/c/seti-breakthrough-listen1.2 简介“宇宙中只有我们吗？”这是人类最深刻和永恒的问题之一。随着技术的进步，我们正在寻找新的、更强大的方法来寻找答案。加利福尼亚大学的突破侦探小组（伯克利）利用世界上最强大的望远镜来扫描数百万颗恒星，寻找技术的迹象。现在它希望Kaggle社区帮助解释他们接收到的
2021-08-15 23:18:58
329
原创 Leetcode面试高频题分类刷题
文章目录1. 排序类（Sort）2.链表类（Linked List）3. 堆（Heap or Priority Queue）、栈（Stack）、队列（Queue）、哈希表类（Hashmap、Hashset）4.Stack题目5.Hashmap/ Hashset题目6.Heap／Priority Queue题目7.二分法（Binary Search）7.1 显式二分法7.2 隐式二分法8. 双指针（2 Pointer）8.1 背向双指针：(基本上全是回文串的题)8.2 相向双指针：(以two sum为基础的一
2021-08-12 21:54:08
603
原创 Leetcode刷题计划
1.语言选择个人觉得选择自己最熟悉的语言即可，没有必要为了刷题专门去学一门自己不熟悉的语言。实际面试中用Python和Java刷题的人是最多的～Python优势在于比较简洁，写起来快，在面试时候时间紧迫心态紧张的情况下会节省一些时间。劣势是没有TreeMap这种数据结构，真面到这样的题会被坑（我狗家就挂在了这个上面）。注意Matlab，R等不能算IT开发的编程语言，一般面试也不允许用。2. 基本知识个人还是建议在正经开始大规模刷题前先把面试中最常考的知识点学明白比较重要，不然直接去刷题怕是被打击的丧失
2021-08-12 21:46:00
529
原创 CORE Computer Science Conference Rankings会议论文排行榜
AcronymStandard NameRankAAAINational Conference of the American Association for Artificial IntelligenceA+AAMASInternational Conference on Autonomous Agents and Multiagent SystemsA+ACLAssociation of Computational LinguisticsA+ACMM...
2021-08-12 16:12:29
1266
原创 数据清洗常规操作
#划分数据集#random_state设置随机种子sample_datas_class = primary_math_data.sample(frac=1,replace=False,random_state=514,axis=0)sample_datas_class.info()len_data_class = len(list(sample_datas_class['label']))gap=round(len_data_class*0.8)data_train_class = sample
2021-08-07 00:45:56
160
原创 pytorch模型的保存导入与推理
1.tensorflow导入efficientnet模型import efficientnet.tfkeras as efnMODEL_PATH = '/kaggle/input/k/daicongxmu/siim-covid19-efnb7-train-fold0-5-2class'test_paths = image_df.image_path.tolist()image_df['none'] = 0label_cols = ['none']test_decoder = build_d
2021-08-05 15:27:40
1959
原创 bert精读
http://www.manongjc.com/detail/12-lpvwxodxyzdvmkv.htmlhttps://www.freesion.com/article/5392665265/dk的由来multihead的参数计算class BertEmbeddings(nn.Module): """Construct the embeddings from word, position and token_type embeddings. """ .
2021-08-04 21:55:37
104
原创 Pytorch实现GPU和TPU运算
文章目录1.GPU单机多卡并行训练1.1 torch.nn.DataParallel1.2 参考2.TPU训练2.1 torch.nn.DataParallel2.2 参考1.GPU单机多卡并行训练1.1 torch.nn.DataParallel我一般在使用多GPU的时候, 会喜欢使用os.environ[‘CUDA_VISIBLE_DEVICES’]来限制使用的GPU个数, 例如我要使用第0和第3编号的GPU, 那么只需要在程序中设置:os.environ['CUDA_VISIBLE_DEVIC
2021-08-03 19:34:15
1871
wget-latest.tar.gz for linux(ubuntu\centos)
2019-08-21
PuTTY_0.67.0.0.exe
2017-09-05
Bitvise SSH Client
2017-09-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人