用python爬虫监控CSDN博客阅读量

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

作为一个博客新人，对自己博客的访问量也是很在意的，刚好在学python爬虫，所以正好利用一下，写一个python程序来监控博客文章访问量

效果

代码会自动爬取文章列表，并且获取标题和访问量，写入excel，并且对新加入的文章也有作用

解析HTML

html通过beautifulsoup来解析，由于是静态的网页，数据直接在网页中，而不是生成的，所以直接提取出来就可以

提取文章标题和访问量

通过观察HTML 我们发现每一个文章都存储在一个类名为 ‘article-item-box csdn-tracking-statistics’ 的div中，所以找到类名为这个的div

发现文章标题藏在此div的h4下的a下，所以提取出来即可

提取代码如下

articleList = soup.find_all('div', attrs={'class': 'article-item-box csdn-tracking-statistics'})

readBar = soup.find_all('div', attrs={'class': 'info-box d-flex align-content-center'})

articleListLen = len(articleList)

    #把数据写入到表格里

for i in range(articleListLen):

    articleName = articleList[i].h4.a.contents[2]

    articleReadCount = readBar[i].contents[3].span.string.split("：")[1]

存储信息格式

存储信息通过一个表格来存储，结构如下

标题	日期1	日期2	···
文章1	访问量1	访问量2	···
文章2	访问量1	访问量2	···
文章3	访问量1	访问量2	···
文章4	访问量1	访问量2	···
…	访问量1	访问量2	···

每次调用程序就会生成一列数据

存储过程

利用xlwt， xlrd 进行表格的读写

#如果excel表格不存在，则创建

if not os.path.exists("ReadRecord.xls"):

    workbook = xlwt.Workbook()

    worksheet = workbook.add_sheet('My ReadRecord')

    worksheet.write(0, 0, "1")

    workbook.save("ReadRecord.xls")

# 打开excel， 为rexcel

rexcel = xlrd.open_workbook("ReadRecord.xls")

# 拷贝原来的rexcel， 变成excel

excel = copy(rexcel)

# 得到工作表

worksheet = excel.get_sheet(0)

# 得到列数

read_time = rexcel.sheets()[0].ncols

###写入操作

#保存表格

excel.save('ReadRecord.xls')

需要注意的地方

表格新添加的列的列数是根据原来的表格列数来的
因为是进行更新，所以先要拷贝原来的表格，不然直接用write是进行覆盖
因为用户有可能会继续发布博客，所以最新的博客信息，应该存在最后一行， url改为经过时间排序的html（比如https://blog.csdn.net/qq874455953?orderby=UpdateTime），而且默认是按新旧排序，所以加入的时候，从最后一行来写入表格

代码源码

代码如下，会生成一个excel表格，存储了所有文章的阅读量,

import requests

import datetime

import os

import xlwt

import xlrd

from xlutils.copy import copy

from bs4 import BeautifulSoup

#获取HTML

def get_page_source(url):

    try:

        r = requests.get(url, timeout=30)

        r.raise_for_status()

        r.encoding = r.apparent_encoding

        return r.text

    except:

        return "failed"

def main():

    #url = input("请输入博客主页网址， 比如：https://blog.csdn.net/qq874455953\n")

    url = "https://blog.csdn.net/qq874455953"

    #改为你的博客主页地址

    html = get_page_source(url + '?orderby=UpdateTime')

    #解析HTML  使用BeautifulSoup

    soup = BeautifulSoup(html, 'html.parser')

    articleList = soup.find_all('div', attrs={'class': 'article-item-box csdn-tracking-statistics'})

    readBar = soup.find_all('div', attrs={'class': 'info-box d-flex align-content-center'})

    #如果excel表格不存在，则创建

    if not os.path.exists("ReadRecord.xls"):

        workbook = xlwt.Workbook()

        worksheet = workbook.add_sheet('My ReadRecord')

        worksheet.write(0, 0, "1")

        workbook.save("ReadRecord.xls")

    # 打开excel， 为rexcel

    rexcel = xlrd.open_workbook("ReadRecord.xls")

    # 拷贝原来的rexcel， 变成excel

    excel = copy(rexcel)

    # 得到工作表

    worksheet = excel.get_sheet(0)

    # 得到列数

    read_time = rexcel.sheets()[0].ncols

    #得到当前日期

    nowTime = str(datetime.datetime.now().strftime('%Y-%m-%d'))

    #写好第一列 说明

    worksheet.write(0, 0, "文章名字")

    worksheet.write(0, read_time, nowTime)

    #获取文章列数

    articleListLen = len(articleList)

    #把数据写入到表格里

    for i in range(articleListLen):

        articleName = articleList[i].h4.a.contents[2]

        articleReadCount = readBar[i].contents[3].span.string.split("：")[1]

        worksheet.write(articleListLen - i, 0, articleName)

        worksheet.write(articleListLen - i, read_time, articleReadCount)

    #保存表格

    excel.save('ReadRecord.xls')

if __name__=="__main__":

    main()