注册    登录
关注
Py学习  »  Git

GitHub(微博搜索)-20230723-1

GitHub(微博搜索) • 3 年前 • 636 次点击  
本条微博地址平江路和知春里
教训: 1. AWS 选 instance 是灾难级的，它们在 github 上提供了 CLI 包，可以节约点时间。 2. 处理超大规模的数据收集的时候，尽量别用 bs4 做任何解析，即使是 lxml 也会严重拖慢，如果一定要用则考虑 XPath 。3. "in" checker 效率很高，除非极其长否则不会显著影响性能。4. 做请求的时候用 gzip 可能会速度有提升
搜索微博更多关键词-GitHub
Python社区是高质量的Python/Django开发社区
本文地址：http://www.python88.com/topic/158231
登录后回复
关于   移动版
Py学习 - 专注于Python技术发展的社区(原Django社区)
沪ICP备11025650号