Selenium抓取网页教程
越来越多的网页经过异步加载或者加密处理,无法使用scrapy 直接抓取,需要模拟浏览器的渲染、JS引擎甚至鼠标键盘事件来进行,这就需要强大的selenium了。
越来越多的网页经过异步加载或者加密处理,无法使用scrapy 直接抓取,需要模拟浏览器的渲染、JS引擎甚至鼠标键盘事件来进行,这就需要强大的selenium了。
Python的openpyxl可以高效的处理xlsx格式的excel文件,旧格式的xls文件需要其他库的支持。
新浪财经接口提供了基础的股票数据查询,但限于没有公开的文档,这里汇总常用接口。接口可以一次查询多个代码。
2022-09更新:新浪对API做了Referer校验,请求中必须增加Referer信息(经测试,目前HTTP和HTTPS均正常,有网友反馈HTTP不可用,请求次数也有限制,建议注意)
Referer: “http://finance.sina.com.cn”
python易学易用,但也有很多容易错用的特性,或者有一些高级特性可以大大提升开发的性能或效率,这里记录一下。
可以把汉字表达的数字比如:四万万、五千亿零四百万零一、一点二三等,转换成数字的工具,支持整数和小数两种类型,也支持大写的数字比如肆佰叁十五,特殊的类型比如二百五、百十等也可以支持。