博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
爬取全部的校园新闻
阅读量:7066 次
发布时间:2019-06-28

本文共 442 字,大约阅读时间需要 1 分钟。

 

改作业要求来源于:

一、要求:

1.从新闻url获取新闻详情: 字典,anews

2.从列表页的url获取新闻url:列表append(字典) alist

3.生成所页列表页的url并获取全部新闻 :列表extend(列表) allnews

*每个同学爬学号尾数开始的10个列表页

4.设置合理的爬取间隔

import time

import random

time.sleep(random.random()*3)

5.用pandas做简单的数据处理并保存

保存到csv或excel文件 

newsdf.to_csv(r'F:\duym\爬虫\gzccnews.csv')

保存到数据库

import sqlite3

with sqlite3.connect('gzccnewsdb.sqlite') as db:
    newsdf.to_sql('gzccnewsdb',db)

转载于:https://www.cnblogs.com/tysonnnn2/p/10689577.html

你可能感兴趣的文章
java的classpath路径_Java项目下的classpath路径包括哪里-Go语言中文社区
查看>>
android java 数组转字符串_android112 jni 把java的字符串转换成c的字符串,数组处理...
查看>>
java判断csv文件为空_在java中解析CSV文件,并使用空值进行delaing
查看>>
java邮件模板代码_Spring Boot中利用JavaMailSender发送邮件的方法示例(附源码)
查看>>
java websocket 实现_Java 项目中的 WebSocket 实现
查看>>
cmd接收mysql显示问号_MySQL_JDBC链接mysql插入数据后显示问号的原因及解决办法,1.在cmd中进入mysql查看默认的编 - phpStudy...
查看>>
java连不上sql表_Java与数据库的多表连接不能进行
查看>>
java和angular网页制作_使用Java 8,Spring Boot和Angular创建简单的Web应用程序
查看>>
java字段不序列化注解_gson:如何在没有注释的情况下从序列化中排除特定字段...
查看>>
java截取字符串第二次字母_java截取字符串中出现次数最多的字母
查看>>
java教务选课系统源代码_基于jsp的教务选课系统-JavaEE实现教务选课系统 - java项目源码...
查看>>
java通过文件名运行_Java 从返回文件名获取内容类型
查看>>
java中双精度型变量_java中的基本数据类型
查看>>
java运行csh文件_Java,Prel,Csh界面
查看>>
java match详解_Match类解析
查看>>
java json转抽象对象_java Bean与json对象间的转换实例讲解
查看>>
java to vb converter_VB源码转换工具(VBto Converter)
查看>>
centos 6.5 编译php mysql5.6_CentOS 6.5编译安装Nginx+MySQL+PHP
查看>>
怎么用php配合js编写动态页面_关于php动态页面的实例汇总
查看>>
sublime2 php,在 Sublime Text 2 中运行 PHP
查看>>