基于python爬取链家二手房信息代码示例

作者:六月流火 时间:2022-09-01 18:36:25 

基本环境配置

  • python 3.6

  • pycharm

  • requests

  • parsel

  • time

相关模块pip安装即可

确定目标网页数据

基于python爬取链家二手房信息代码示例

哦豁,这个价格..................看到都觉得脑阔疼

通过开发者工具,可以直接找到网页返回的数据~

基于python爬取链家二手房信息代码示例
基于python爬取链家二手房信息代码示例

每一个二手房的数据,都在网页的 li 标签里面,咱们可以获取网页返回的数据,然后通过解析,就可以获取到自己想要的数据了~

获取网页数据


import requests
headers = {
 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)

解析网页数据


import parsel
selector = parsel.Selector(response.text)
lis = selector.css('.sellListContent li')
dit = {}
for li in lis:
 title = li.css('.title a::text').get()
 dit['标题'] = title
 positionInfo = li.css('.positionInfo a::text').getall()
 info = '-'.join(positionInfo)
 dit['开发商'] = info
 houseInfo = li.css('.houseInfo::text').get()
 dit['房子信息'] = houseInfo
 followInfo = li.css('.followInfo::text').get()
 dit['发布周期'] = followInfo
 Price = li.css('.totalPrice span::text').get()
 dit['售价/万'] = Price
 unitPrice = li.css('.unitPrice span::text').get()
 dit['单价'] = unitPrice
 csv_writer.writerow(dit)
 print(dit)

基于python爬取链家二手房信息代码示例

保存数据


import csv
f = open('二手房信息.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题', '开发商', '房子信息', '发布周期', '售价/万', '单价'])
csv_writer.writeheader()
csv_writer.writerow(dit)
f.close()

基于python爬取链家二手房信息代码示例

来源:https://www.cnblogs.com/liuyueqingfeng/p/13705565.html

标签:python,爬取,链家,信息
0
投稿

猜你喜欢

  • python jinjia2的项目使用

    2021-03-16 04:57:21
  • 如何把中文转换为UNICODE?

    2009-11-07 18:39:00
  • Python读取Excel数据实现批量生成合同

    2022-08-15 02:12:12
  • vue-cli项目中怎么使用mock数据

    2024-05-09 15:25:26
  • Python3使用PyQt5制作简单的画板/手写板实例

    2022-01-11 15:21:30
  • jupyter notebook oepncv 显示一张图像的实现

    2022-03-26 20:09:19
  • 深入解析JavaScript的闭包机制

    2024-04-18 10:32:45
  • 使用Python下的XSLT API进行web开发的简单教程

    2022-07-24 22:07:14
  • 教你编译pjsip源码的方法

    2023-07-07 04:03:28
  • Python使用tkinter实现小时钟效果

    2022-08-14 09:00:18
  • C#连接SQL Server数据库的实例讲解

    2024-01-28 04:14:01
  • MySQL中in和exists区别详解

    2024-01-19 20:55:10
  • Go语言流程控制详情

    2023-10-16 13:16:24
  • python爬虫爬取笔趣网小说网站过程图解

    2022-10-06 10:56:50
  • php 静态页面中显示动态内容

    2023-11-18 22:09:22
  • 4个Web图片在线压缩优化工具

    2009-10-13 21:02:00
  • Python学习之路安装pycharm的教程详解

    2021-11-15 23:07:51
  • 浅谈python中的错误与异常

    2021-11-06 11:51:23
  • python3 与python2 异常处理的区别与联系

    2022-11-06 22:39:30
  • SQL Server和MySql中创建临时表

    2008-06-19 13:31:00
  • asp之家 网络编程 m.aspxhome.com