3 AVENGER辉

尚未进行身份认证

我要认证

越努力,越幸运

等级
TA的排名 7w+

爬虫的一些常用代码模块

下载图片from bs4 import BeautifulSoupimport requestsURL = "http://www.nationalgeographic.com.cn/animals/"html = requests.get(URL).textsoup = BeautifulSoup(html, 'lxml')img_ul = soup.find_all('ul', {"class": "img_list"})for ul in img_ul: imgs = ul.

2020-09-26 22:05:22

电影推荐系统项目(简单完善版)spark

#创建SparkSession对象from pyspark.sql import SparkSessionspark=SparkSession.builder.appName('lin_reg').getOrCreate()#inferSchema=true表示Spark将在后台自行推断数据集中值的数据类型,Spark DataFramedf=spark.read.csv('movie_ratings_df.csv',inferSchema=True,header=True)print((df.c

2020-09-22 21:35:21

spark streaming(文件流,套接字流,RDD队列流)

文件流>>> from pyspark import SparkContext>>> from pyspark.streaming import StreamingContext>>> ssc=StreamingContext(sc,10)>>> lines=ssc.textFileStream('file:///usr/local/spark/mycode/streaming/logfile')>>> wo

2020-09-21 11:25:01

Spark的RDD编程代码(方便查看自用)

RDD转换(Transform)操作1.导入文件的信息,打印出来>>> sc.stop()>>> from pyspark import SparkConf,SparkContext>>> conf=SparkConf().setMaster("local").setAppName("My App")>>> sc=SparkContext(conf=conf)>>> lines=sc.textFile("f

2020-09-19 20:52:28

推荐系统的隐语义(LFM)模型梯度下降代码

LFM梯度下降代码实现:import numpy as npimport pandas as pd# 评分矩阵RR = np.array([[4,0,2,0,1], [0,2,3,0,0], [1,0,2,4,0], [5,0,0,3,1], [0,0,1,5,1], [0,3,2,4,1],])len(R[0])算法实现“”"...

2020-09-11 13:27:05

推荐系统算法详解(及TFIDF代码详解)

TF-IDF代码实现:0.引入依赖import numpy as npimport pandas as pd1.定义数据和预处理docA = "The cat sat on my bed"docB = "The dog sat on my knees"bowA = docA.split(" ")bowB = docB.split(" ")bowA# 构建词库wordSet = set(bowA).union(set(bowB))wordSet{‘The...

2020-09-10 22:02:56

机器学习及其算法(KNN原理及代码实现)

KNN算法的代码实现0.引入依赖import numpy as npimport pandas as pd# 这里直接引入sklearn里的数据集,iris鸢尾花from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split # 切分数据集为训练集和测试集from sklearn.metrics import accuracy_score # 计算分类预测的准确率...

2020-09-09 17:39:34

机器学习模型及其算法(线性回归)

1.线性回归模型最小二乘法代码实现:import numpy as npimport matplotlib.pyplot as plt1.导入数据points = np.genfromtxt('data.csv', delimiter=',')points[0,0]# 提取points中的两列数据,分别作为x,yx = points[:, 0]y = points[:, 1]# 用plt画出散点图plt.scatter(x, y)plt.show()2.定义损失函数#

2020-09-08 16:43:44

推荐系统概述

1.推荐系统的基本思想• 利用用户和物品的特征信息,给用户推荐那些具有用户喜欢的特征的物品。• 利用用户喜欢过的物品,给用户推荐与他喜欢过的物品相似的物品。• 利用和用户相似的其他用户,给用户推荐那些和他们兴趣爱好相似的其他用 户喜欢的物品。2.推荐系统的数据分析3.推荐系统的分类• 根据实时性分类– 离线推荐– 实时推荐• 根据推荐原则分类– 基于相似度的推荐– 基于知识的推荐– 基于模型的推荐• 根据推荐是否个性化分类– 基于统计的推荐– 个性化推荐• 根据数据源分类

2020-09-08 09:04:57

你真的懂C语言基础的输入输出吗?ACM,scanf,gets,getchar

好久没打过ACM了,今天准备复试,发现连输入输出都不会了,仔细想想,这个坑还真的挺大,你真的会输入输出吗??输入的几种方式1.给你几组数据,当你没输入的时候结束while(scanf("%d %d",&a,&b)!=EOF) {}EOF是一个预定义常量,为-1.如果有一个输入,返回1,如果有两个输入,返回2,如果一个都没有,返回值为-1。2.输入的一开始就说有多少组数...

2020-01-19 16:19:02

数据分析和预测泰坦尼克号船员存活率(详细)

#通过pandas导入数据import pandas as pdtitanic=pd.read_csv("titanic_train.csv")print(titanic.head(5))#因为Age项里有空的数据,这里使用平均值去填补fillnatitanic["Age"]=titanic["Age"].fillna(titanic["Age"].median())print(titanic.describe())#将一些字符型变为数值方便处理print(titanic["Sex"].

2020-08-07 12:53:33

贝叶斯拼写检查器

求解:argmaxc P(c|w) -> argmaxc P(w|c) P©/ P(w)P©, 文章中出现一个正确拼写词 c 的概率, 也就是说, 在英语文章中, c 出现的概率有多大P(w|c), 在用户想键入 c 的情况下敲成 w 的概率. 因为这个是代表用户会以多大的概率把 c 敲错成 wargmaxc, 用来枚举所有可能的 c 并且选取概率最大的import re, collections# 把语料中的单词全部抽取出来, 转成小写, 并且去除单词中间的特殊符号#词频统计,并把最

2020-08-07 12:48:49

pandas数据分析泰坦尼克号船员信息

first_rows=food_info.head(3)#打印前3行print(first_rows)print(food_info.columns)#显示表头print(food_info.shape)#总的数据规模import pandas as pdfood_info=pd.read_csv("food_info.csv")print(food_info)#读取数据并显示,dataframe格式#print(food_info.loc[6])#利用索引查找指定行#print(fo

2020-08-03 20:38:44

如何入门Flask?(简单的小网页制作)

直接看代码吧,代码里有非常详细的注释from flask import Flaskfrom flask import render_templateimport requests#创建一个web应用程序app=Flask(__name__)#写一个函数来处理浏览器发过来的请求@app.route("/like")def index(): return "你好呀,我叫皮皮虾"#通过使用不同的路由进入不同的函数@app.route("/hello")def index2():

2020-05-19 09:03:33

iFLYOS文档学习笔记

一、什么是智能硬件开放平台?我们生活中,已经实现了人与人之间的连接,现在需要将人与机器设备连接,这就需要一套完整的系统和连接规则,那么这么好的系统为什么要开放给大家使用呢?其实之前通过学习Google的tensorflow框架了解到,开放出来其实是为了打造一个属于自己的生态,扩大自己的范围,...

2020-03-26 17:46:52

语音识别可执行代码笔记(有详细注释)(1)

需要学习语音识别,以下代码为jupyter部分,分开可执行。 from playsound import playsound playsound('audio_files/cn.mp3') #播放一段音频#调用音频查看结果import speech_recognition as srprint(sr.__version__)r=sr.Recognizer()harvard=sr.AudioFile('audio_file/harvard.wav')with harvard as sou

2020-05-14 10:03:29

OpenCV学习笔记(背景建模和光流估计)

背景建模1.帧差法由于场景中的目标在运动,目标的影像在不同图像帧中的位置不同。该类算法对时间上连续的两帧图像进行差分运算,不同帧对应的像素点相减,判断灰度差的绝对值,当绝对值超过一定阈值时,即可判断为运动目标,从而实现目标的检测功能。帧差法非常简单,但是会引入噪音和空洞(人物中间是黑色的)问题2.混合高斯模型在进行前景检测前,先对背景进行训练,对图像中每个背景采用一个混合高斯模型进行模...

2020-02-11 12:17:25

OpenCV(Scale Invariant Feature Transform(SIFT))尺度不变特征变换

咋一看这个名字,我也蒙了,这啥玩意?其实在介绍这个之前,就是如果我们很远看一幅图就大概知道是什么,在不同尺度下,计算机可以提取出一个统一的特征,这就是SIFT图像尺度空间:在一定的范围内,无论物体是大还是小,人眼都可以分辨出来,然而计算机要有相同的能力却很难,所以要让机器能够对物体在不同尺度下有一个统一的认知,就需要考虑图像在不同的尺度下都存在的特点。尺度空间的获取通常使用高斯模糊来实现...

2020-02-09 22:15:05

OpenCV学习笔记(harris角点检测)

在图像特征提取中,有一个角点的概念,角点和边界不一样,如下图所示基本原理第一张图中,当x和y移动时,所得到的像素差值并不是很大,我们认为这是图像的中间部分,第二张图中,当x或者y移动时,所得到的像素差值一个变化很大,一个变化很小,我们认为这是图像的边界部分,第三张图中,当x和y移动时,所得到的像素差值变化都很大,我们认为这是图像的角点。通过这一步的矩阵变换,我们使用了实对称矩阵一定...

2020-02-09 20:52:26

项目一:用OpenCV识别银行卡号

import cv2def sort_contours(cnts, method="left-to-right"): reverse = False i = 0 if method == "right-to-left" or method == "bottom-to-top": reverse = True if method == "top...

2020-01-29 21:25:52

查看更多

勋章 我的勋章
  • 签到达人
    签到达人
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 推荐红人
    推荐红人
    发布高质量Blink获得高赞和评论,进入推荐栏目即可获得
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。