如何提高 python requests 抓取页面一级二级链接的效率

如何提高 python requests 抓取页面一级二级链接的效率~

单线程的达到最大化的要求如下
硬件提升：

1、网速，要2M每秒
2、cpu或者运行内存大，越大越好，单线程要求8G
程序提升：
1、少几个for啦，没事写那么多循环干嘛

另一个方法就是多线程，将网页请求放到数组里面，一股脑全部发送出去，然后就看网络的下载了，网络好就能快速的读取储存反馈的信息

看你正则表达式的精准了。
你需要尽可能分析出，1级链接和 2级链接的 独特的匹配规律，这样正则匹配出来的结果才会更准确，不会包含其他不属于1级链接和 2级链接的内容。
这样，当然效率就高了 。

动态页面也仅仅是在服务器端执行，需传递参数，跟python抓取无任何关系，确保能生成适合的参数即可。

---

惠农区13916851566： 如何提高 python 的递归深度 - ？
历羽草木： Python默认递归深度为1000层.如果要提高这个数量,可以修改Python源码. 因为Python是开源的,并且用C语言写的.在源代码的某处有一个变量定义了递归深度,修改这个变量,重新编译Python,然后就可以了. 参考:刘江的Python教程

惠农区13916851566： 刚刚看完《python学习手册》现在如何提升自己python编程的水平?! - ？
历羽草木： 1)Python是一种很容易上手的语言,所以认真学肯定能学好. 2)任何语言想要有提高,只有不断的实践,实践,再实践.熟能生巧. 3)刚开始可以找一本有例子的书,照着书上的例子练习,理解.熟悉到一定程度后,对这么语言有了一定的...

惠农区13916851566： 如何提升Python编程能力 - ？
历羽草木： 一、Python之禅(The Zen of Python) The Zen of Python是Python语言的指导原则,遵循这些基本原则,你就可以像个Pythonista一样编程.具体内容你可以在Python命令行输入import this看到: The Zen of Python, by Tim PetersBeautiful is ...

惠农区13916851566： 如何提高python的计算精度 - ？
历羽草木： 可以使用decimal模块来设置计算的精度.举个例子. >>> from decimal import * >>> getcontext().prec = 6 >>> Decimal(1) / Decimal(7) Decimal('0.142857') >>> getcontext().prec = 28 >>> Decimal(1) / Decimal(7) Decimal('0.1428571428571428571428571429')

惠农区13916851566： python 循环内要处理大量数据时怎么优化 - ？
历羽草木： 先尝试优化程序的时间复杂度,寻找更有效的算法 确保了算法复杂度在可接受范围之内后,开始进行常数优化,以下是Python优化的几个小技巧:1. 实测表明,for语句一般比while语句效率更高2. 同样实测表明,xrange一般比range要高效3. 如果要存储动态数据(即有可能频繁变动的数据)少用list和str,多用dict4. 实测表明,两个str的连接效率从高到低+=,join,+ 多个str的连接效率从高到低join,+=,+5. 尽可能使用列表解析表达式和生成器表达式代替循环一遍来构建list6. 避免使用global关键字,无论是从代码效率还是可移植性的方面考虑

惠农区13916851566： 怎样更好地提高自身的 Python 水平 - ？
历羽草木： 随着移动互联网的普及,服务器运维所面临的挑战也随之越来越大.当规模增长到一定程度,手动管理方式已经无法应对,自动化运维成为解决问题的银弹.Python凭借其灵活性,在自动化运维方面已经被广泛使用,能够大大提高运维效率,服...

惠农区13916851566： 如何提高Python运行效率 超实用的四种提速 - ？
历羽草木： Python含有许多古老的排序规则,这些规则在你创建定制的排序方法时会占用很多时间,而这些排序方法运行时也会拖延程序实际的运行速度.最佳的排序方法其实是尽可能多地使用键和内置的sort()方法.

惠农区13916851566： 如何提高python的遍历效率 - ？
历羽草木： 初步的想法是将这个1000万行的文本按照第二列(task id)排序,或者将这个大文本拆分成小文本,减少检索次数,然后再依次求时间差(task消耗时间).

惠农区13916851566： 新手如何学习Python数据分析 - ？
历羽草木： 对于新手,如何学好python,这些很关键:Part1:能掌握好Python关键代码以及Pandas、Numpy、Matplotlib、Seaborn这四个基本工具包,便能独立完成一些简单的数据分析工作了;Part2:工欲善其事,必先利其器,所以你必须选择体验良好的数据分析编程环境;Part3:用真实商业数据应用项目检验能力.学习Python数据分析的最终目的,是为了掌握数据分析技能,拥有解决实际工作或日常生活中与数据分析相关问题的能力.

惠农区13916851566： 如何提高python的运行效率 - ？
历羽草木： 使用“if value in b”来替换第二个for循环能够提高一点效率,但是对于楼主的这个问题,优化地还很不够.对于楼主这类检查一个元素是否在某个集合之中,当数据量很大的时候,最符合需求的优化应该是“使用set类型来替换list类型”. 因为...