Стратегии ожидания для динамических страниц
Освойте явные, неявные ожидания и ожидания с настраиваемым интервалом в Selenium, чтобы скрейпер надёжно обрабатывал асинхронно загружаемое содержимое.
«Стратегии ожидания для динамических страниц» — бесплатный урок Web Scraping & Bots на CoddyKit. Это урок 4 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Web Scraping & Bots, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Web Scraping & Bots содержит 4 уроков всего.
Части этого урока еще не переведены и отображаются на английском.
The Timing Problem
Dynamic pages render content after the initial HTML loads. If your scraper grabs an element before JavaScript injects it, you get a NoSuchElementException or empty data.
Waiting strategies tell Selenium to pause until the page is ready, making automation reliable instead of flaky.
Why Not Just sleep()
A fixed time.sleep(5) is tempting but bad: it wastes time when the page is fast and still fails when the page is slow. Smart waits poll until a condition is true, then continue immediately.
import time
time.sleep(5) # fragile: arbitrary, blocking, often wrongImplicit Waits
An implicit wait sets a global timeout. Selenium retries finding any element for up to that many seconds before failing.
Simple, but it applies to all lookups and cannot wait for arbitrary conditions like visibility or text.
driver.implicitly_wait(10) # seconds, applies globallyExplicit Waits
An explicit wait targets one specific condition. Use WebDriverWait with an expected_conditions check. This is the recommended approach for scraping.
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
element = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.ID, 'results'))
)Common Expected Conditions
The expected_conditions module covers most needs:
presence_of_element_locatedin the DOM.visibility_of_element_locatedis rendered and visible.element_to_be_clickableready for interaction.text_to_be_present_in_elementwaits for content.
EC.visibility_of_element_located((By.CLASS_NAME, 'price'))
EC.element_to_be_clickable((By.ID, 'load-more'))Waiting for Text
When you need a specific value to appear (for example a price loaded by an API call), wait on the text rather than mere presence.
WebDriverWait(driver, 15).until(
EC.text_to_be_present_in_element((By.ID, 'status'), 'Loaded')
)Fluent Waits
A fluent wait lets you tune the polling interval and ignore specific exceptions while waiting. Useful for slow APIs that throw transient errors.
wait = WebDriverWait(driver, timeout=20, poll_frequency=1,
ignored_exceptions=[StaleElementReferenceException])
wait.until(EC.presence_of_element_located((By.ID, 'data')))Handling Stale Elements
If the DOM re-renders, a stored element reference becomes stale. Re-fetch the element inside the wait or after the page settles instead of reusing the old handle.
from selenium.common.exceptions import StaleElementReferenceException
try:
el.click()
except StaleElementReferenceException:
el = driver.find_element(By.ID, 'btn')
el.click()Waiting for Page Load State
You can poll the document's readyState via JavaScript to confirm the whole page finished loading before scraping.
WebDriverWait(driver, 10).until(
lambda d: d.execute_script('return document.readyState') == 'complete'
)Combining Strategies Wisely
Best practice: avoid mixing implicit and explicit waits (they compound unpredictably). Pick explicit waits for scraping, keep timeouts realistic, and wait for the precise condition your data depends on.
A Reliable Pattern
Wrap waits in a helper so every lookup is robust. This keeps your scraping code clean and consistent.
def wait_for(driver, locator, timeout=10):
return WebDriverWait(driver, timeout).until(
EC.visibility_of_element_located(locator)
)
price = wait_for(driver, (By.CLASS_NAME, 'price')).textQuick Check
Test your understanding of waiting strategies.
Recap
You learned to handle asynchronous content with implicit, explicit, and fluent waits, target conditions like visibility and clickability, recover from stale elements, and avoid fragile fixed sleeps.
Reliable waiting is the foundation of stable dynamic-page scraping.
Изучай Python с ИИ-репетитором — бесплатно
Пиши и запускай код прямо в браузере, получай мгновенную помощь от ИИ-репетитора 24/7 и продолжи учиться на сайте или в приложении.
- Курсы
- 12
- Уроки
- 48
Часто задаваемые вопросы
Урок «Стратегии ожидания для динамических страниц» бесплатный?
Да — полный текст урока «Стратегии ожидания для динамических страниц» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Web Scraping & Bots, подпишись на CoddyKit PRO. Курс Web Scraping & Bots содержит 4 уроков всего.
Чему я научусь в уроке «Стратегии ожидания для динамических страниц»?
Освойте явные, неявные ожидания и ожидания с настраиваемым интервалом в Selenium, чтобы скрейпер надёжно обрабатывал асинхронно загружаемое содержимое. Ты практикуешь Web Scraping & Bots с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать Web Scraping & Bots?
Предыдущий опыт не требуется. Web Scraping & Bots на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 4 из 4.
Сколько времени занимает урок «Стратегии ожидания для динамических страниц»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке Web Scraping & Bots?
Да. Каждый урок Web Scraping & Bots включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Введение в Selenium
- Автоматизация взаимодействия с браузером
- Извлечение данных из JavaScript
- Стратегии ожидания для динамических страниц