我有一段代码,可以爬行到一个无限高度的网站(如FACEBOOK).
Python硒脚本要求页面javascript转到页面底部,以便进一步加载页面.但是最终会发生这样的情况：循环异步运行,并且网站的速率限制器阻止了脚本.
我需要页面等待页面首先加载然后继续,但是我这样做失败.
以下是我到目前为止尝试过的事情.
代码如下：
while int(number_of_news) != int(len(news)) :
driver.execute_script("window.scrollTo(document.body.scrollHeight/2, document.body.scrollHeight);")
news = driver.find_elements_by_class_name("news-text")
print(len(news))
输出是这样的
![]()
我将其解释为当值是43、63 …时多次执行的循环.
我也尝试使其递归,但结果仍然相同.递归代码如下：
def call_news(_driver, _news, _number_of_news):
_driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
_news = driver.find_elements_by_class_name("news-text")
print(len(_news))
if int(len(_news)) != int(number_of_news) :
call_news(_driver, _news, _number_of_news)
else :
return _news
任何类型的提示,不胜感激.
解决方法:
您可以设置page_load_timeout以使驱动程序等待页面加载
driver.set_page_load_timeout(10)
另一种选择是等待元素数量改变
current_number_of_news = 0
news = []
while int(number_of_news) != int(len(news)) :
driver.execute_script("window.scrollTo(document.body.scrollHeight/2, document.body.scrollHeight);")
while (current_number_of_news == len(news)) :
news = driver.find_elements_by_class_name("news-text")
current_number_of_news = len(news)
print(len(news))
标签：selenium,selenium-webdriver,asynchronous,synchronous,python
来源： https://codeday.me/bug/20191118/2026563.html
转播
