经过对html页面的详细检查,我发现beautifulsoup在点击comments()之后停止了。因此,解决方案是将解析器从“lxml”更改为“html5lib”:
soup = BeautifulSoup(response.content,"html5lib")
