首先,您需要获取下拉菜单中列出的所有公司的所有选项值。例如,来自
<option value="MQ==">Banking, Insurance, Moneylending Trading (Group 1)</option>
,你需要
MQ==
. 使用这些值,您可以使用以下代码直接访问ajax请求:
import requests
from bs4 import BeautifulSoup
r = requests.get('http://www.mpcci.com/members_list.php')
soup = BeautifulSoup(r.text, 'lxml')
companies = [option['value'] for option in soup.select('#select_gp_id option')[1:]]
for company in companies:
r = requests.post('http://www.mpcci.com/get_members.php', data={'select': company})
soup = BeautifulSoup(r.text, 'lxml')
# scrape each company's information
请求url、表单数据和请求方法都可以在开发人员工具的网络部分找到。