Python爬虫 requests库 get/post请求 获取响应内容_python requests.post status_code-程序员宅基地

技术标签: python  Python爬虫  http  

import requests
r=requests.get('http://www.lingzhilab.com/resources/getAllRes?page=1')
# u'文本内容'  bytes 类型
print(r.content)

# 获取内容并设置编码
print(r.content.decode('utf-8')) 

# 文本编码
print(r.apparent_encoding) # utf-8

# 响应状态码
print(r.status_code) # 200

# 文本内容
print(r.text)

# JSON解码器
print(r.json())

传递URL参数:

GET请求

import requests
key_dist={'page':1,'page':2}

# 原本url地址:http://www.lingzhilab.com/resources/getAllRes?page=1
r=requests.get('http://www.lingzhilab.com/resources/getAllRes',params=key_dist)

# url正确编码
print(r.url) # http://www.lingzhilab.com/resources/getAllRes?page=2

# u'文本内容'
print(r.text)

POST请求

import requests
import json
key_dist={'page':1,'page':2}

# 原本url地址:http://www.lingzhilab.com/resources/getAllRes?page=1
#r=requests.post('http://www.lingzhilab.com/resources/getAllRes',data=key_dist)

r=requests.post('http://www.lingzhilab.com/resources/getAllRes',data=json.dumps(key_dist)) # json参数

# url正确编码
print(r.url) # http://www.lingzhilab.com/resources/getAllRes

# u'文本内容'
print(r.text)

设置超时时间

秒数设置为0.001秒,会抛出异常,一般会把这个值设置为20秒

import requests
link="http://www.lingzhilab.com/resources/getAllRes?page=1"

# 原本url地址:http://www.lingzhilab.com/resources/getAllRes?page=1
r=requests.get(link,timeout=0.001)

定制请求头

import requests
headers={
'Host': 'www.lingzhilab.com',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'
}
r=requests.get('http://www.lingzhilab.com/',headers=headers)
print(r.status_code) # 200

构造session

headers={
'session':'JSESSIONID',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'
}

reqeusts底层是urllib库

参考:Python3 Requests 模块 - 梦徒 - 博客园

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_27694835/article/details/108613607

智能推荐

最少砝码—省赛java_两边砝码选择规律1 3 9 27-程序员宅基地

文章浏览阅读267次。十二届蓝桥杯省赛真题G题—砝码称重【问题描述】你有一架天平。现在你要设计一套砝码,使得利用这些砝码可以称出任意小于等于 N 的正整数重量。那么这套砝码最少需要包含多少个砝码?注意砝码可以放在天平两边。【输入格式】输入包含一个正整数 N。【输出格式】输出一个整数代表答案。【样例输入】7【样例输出】3【样例说明】3 个砝码重量是 1、4、6,可以称出 1 至 7 的所有重量。1 = 1;2 = 6 − 4 (天平一边放 6,另一边放 4);3 = 4 − 1;4 = 4;5_两边砝码选择规律1 3 9 27

数据录入界面的设计!!-程序员宅基地

文章浏览阅读1.3k次。最近设计了一个数据录入界面。在ACCESS中用VBA实现了,不知道在ASP.NET中应该如何实现?思路如下:1.根据相应的单据选择省份、商业单位,单击“开始录入”,激活下面的录入表格。2.在录入表格中选择地区、类别、商业名称、品名、规格后输入数量和发货日期。其中年份和月份、录入时间由系统自动生成。具体要求:1.省份、商业单位、地区等字段可以在组合框中选择,也可以直接输入,若输入的值在列表中存在,则..._收入预算基准数据录入功能界面

A2M人工智能与机器学习创新峰会参会感悟 by江舟_a2m峰会-程序员宅基地

文章浏览阅读937次。AI 研习社再前几周的时候,发文说能提供5张2018年A2M人工智能与机器学习创新峰会的门票,机缘巧合下,作为一个小小普通译者,我得到了门票一张,非常开心,于是在上周末(8月25-26日)就去听了下。 门票长下面这样(背后有两张午餐券) 现场是有3个会议厅,每个会议厅在当天上午或下午是进行同一个大主题下的不同的分享。门票上写着所有的会议题目,所以可以根据自己喜欢的自由搭配~ ..._a2m峰会

《通信工程》专业术语及其缩写大全_通信工程术语-程序员宅基地

文章浏览阅读1.5w次,点赞26次,收藏118次。此博客使用方法:点击“阅读更多”加载全文内容,ctrl键+F键,可呼出定位查找。缩写及其专业术语缩写 全称 释义 参考文献 6LoWPAN IPv6 over low-power wirelwss area networks 面向低功耗无线局域网的IPv6 AAL ATM adaptation layer ATM适配层 ..._通信工程术语

如何在前端页面中使用AJAX发送请求到后端PHP接口获取数据_html 通过ajax发送关键字从后台查询数据-程序员宅基地

文章浏览阅读394次,点赞10次,收藏9次。这样,当前端页面中通过 AJAX 发起 GET 请求到 `backend.php` 后,可以通过回调函数中的 `xhr.responseText` 获取到后端返回的数据,并进行处理。注意,如果要发送 POST 请求,可以将 `open` 方法的第一个参数改为 'POST',并在 `send` 方法中添加需要发送的数据。在 PHP 后端接口中,可以通过 `$_GET` 或 `$_POST` 超全局变量来获取前端发送的数据,然后根据处理逻辑返回相应的数据。// 处理后端返回的数据。// 处理 GET 请求。_html 通过ajax发送关键字从后台查询数据

轻松搞懂递归算法-程序员宅基地

文章浏览阅读1.1k次,点赞40次,收藏45次。函数内部调用自己的函数称为递归函数,这点大家应该早有了解。那什么是递归?递归这个词需要拆分成递和归来理解。递是传参,归则是返回,一切函数在调用时必然经过这两个步骤。在递归函数中,由于调用自身的属性,传参过程和返回过程都是连续的。

随便推点

TVS二极管(瞬变抑制)-程序员宅基地

文章浏览阅读1.8k次,点赞57次,收藏22次。TVS二极管通常可用于各种电子设备和系统中,如电源线路、通信接口、模拟输入输出、保险丝或保护管路、数据线保护等。它们具有快速响应、低残余电压和高能量吸收能力的特点,有效地保护设备免受静电击穿、雷击和电磁脉冲等瞬变电压的损害。TVS二极管(Transient Voltage Suppression Diode),也被称为瞬变抑制二极管,是一种用于保护电子设备和电路免受瞬变电压冲击的保护装置。

数据库_数据库员工编号数据类型-程序员宅基地

文章浏览阅读624次。数据库技术前言Q1.什么是数据库?存储数据的仓库Q2.常见的数据库有哪些?SQL server(微软)Access(微软)Oracle(甲骨文)Mysql(甲骨文)DB2(IBM)Kingbase(国产-人大金仓)Q3.哪些地方使用数据库?超市商品管理系统—商品信息银行管理系统—账户信息网上购物商场—商品信息和账..._数据库员工编号数据类型

Android——android:gravity 和 android:layout_Gravity-程序员宅基地

文章浏览阅读45次。LinearLayout有两个非常相似的属性:android:gravity与android:layout_gravity。他们的区别在于:android:gravity 属性是对该view中内容的限定.比如一个button 上面的text. 你可以设置该text 相对于view的靠左,靠右等位置.android:layout_gravity是用来设置该view相对与父view 的位置...

Python仿真优化与遗传算法_算法仿真实验可以使用python吗?-程序员宅基地

文章浏览阅读124次。Python提供了很多数值优化工具和算法,如scipy库、numpy库等,其中scipy库是一个强大的科学计算库,包括最优化、线性代数、统计分析等多个领域的功能,其中最优化模块提供了多种求解优化问题的算法,如Nelder-Mead、Powell、CG等,这些算法可以帮助用户求解各种优化问题,如非线性规划、函数拟合、曲线拟合等。在上述代码中,模拟了一个银行排队情景,有多个顾客到达银行,然后等待柜员服务,每个顾客的服务时间是1-3分钟,顾客的到达时间服从参数为5的指数分布。一、Python仿真优化。_算法仿真实验可以使用python吗?

SpringBoot Quartz 定时任务详解_springboot quartz standby shutdown-程序员宅基地

文章浏览阅读4.9k次。Quartz 简介在 JavaEE系统中,我们会经常用到定时任务,比如每天凌晨生成前天报表,每一小时生成汇总数据等等。我们可以使用java.util.Timer结合java.util.TimerTask来完成这项工作,但时调度控制非常不方便,并且我们需要大量的代码。使用Quartz框架无疑是非常好的选择,并且与Spring可以非常方便的集成,下面介绍它们集成方法和Cron表达式的详细介..._springboot quartz standby shutdown

hive函数之~reflect函数-程序员宅基地

文章浏览阅读1.6k次。reflect函数可以支持在sql中调用java中的自带函数,秒杀一切udf函数。使用java.lang.Math当中的Max求两列中最大值创建hive表create table test_udf(col1 int,col2 int) row format delimited fields terminated by ',';准备数据并加载数据cd /export/ser..._hive reflect

推荐文章

热门文章

相关标签