0Pricing
Web Scraping & Bots · Урок

Имитация сложных пользовательских сценариев

Проектируйте ботов, которые следуют сложным пользовательским маршрутам, переходят между несколькими страницами и выполняют взаимодействия для достижения цели.

«Имитация сложных пользовательских сценариев» — бесплатный урок Web Scraping & Bots на CoddyKit. Это урок 2 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Web Scraping & Bots, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Web Scraping & Bots содержит 4 уроков всего.

Части этого урока еще не переведены и отображаются на английском.

Understanding User Journeys

Imagine a human browsing a website: they click links, fill forms, scroll, and wait for pages to load. This sequence of actions is a user journey.

For bots, simulating these journeys means programming a series of steps to achieve a specific goal, just like a human would.

Why Simulate Journeys?

Simulating complex user journeys is vital for:

  • Automated Testing: Ensuring multi-step processes (like checkout) work correctly.
  • Advanced Data Collection: Scraping data that's only accessible after several interactions.
  • Task Automation: Performing repetitive tasks that require navigating multiple pages.

It allows bots to go beyond simple page visits.

Selenium: Your Journey Tool

For simulating human-like interactions and navigating complex journeys, Selenium is our go-to tool. It allows your bot to control a real web browser.

Remember, we covered Selenium basics in an earlier lesson. Now we'll apply it to multi-step workflows.

Starting the Path

Every journey begins by navigating to the first page. You use driver.get() to tell Selenium which URL to open.

Let's open a sample website:

from selenium import webdriver
from selenium.webdriver.common.by import By

def main():
    driver = webdriver.Chrome()
    try:
        driver.get("http://quotes.toscrape.com/")
        print("Page Title:", driver.title)
    finally:
        driver.quit()

if __name__ == "__main__":
    main()

Clicking & Typing

Once on a page, your bot needs to interact. This often involves clicking buttons or links, and typing into input fields.

We use find_element() with locators (like By.LINK_TEXT or By.ID) to target elements, then click() or send_keys().

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

def main():
    driver = webdriver.Chrome()
    try:
        driver.get("http://quotes.toscrape.com/")
        # Find the 'Login' link and click it
        login_link = driver.find_element(By.LINK_TEXT, "Login")
        login_link.click()
        print("Navigated to login page.")
        # Wait a bit to see the action
        time.sleep(2)
    finally:
        driver.quit()

if __name__ == "__main__":
    main()

Following the Flow

A complex journey involves moving between several pages. After clicking a link, Selenium automatically loads the new page. You can then continue interacting with elements on that new page.

Let's log in and then click the 'Quotes' link to go back to the main page.

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

def main():
    driver = webdriver.Chrome()
    try:
        driver.get("http://quotes.toscrape.com/")
        # Go to login page
        driver.find_element(By.LINK_TEXT, "Login").click()
        time.sleep(1) # For demonstration

        # Fill login form (using dummy credentials)
        driver.find_element(By.NAME, "username").send_keys("test_user")
        driver.find_element(By.NAME, "password").send_keys("test_pass")
        driver.find_element(By.CSS_SELECTOR, "input[type='submit']").click()
        time.sleep(1) # For demonstration

        print("Logged in (or attempted). Current URL:", driver.current_url)
        # Now click 'Quotes' to go back home
        driver.find_element(By.LINK_TEXT, "Quotes").click()
        time.sleep(1)
        print("Back to home page. Title:", driver.title)
    finally:
        driver.quit()

if __name__ == "__main__":
    main()

Waiting for Elements

Web pages often load content dynamically. If your bot tries to interact with an element before it appears, it will fail. This is where explicit waits come in.

WebDriverWait combined with expected_conditions tells Selenium to wait for a specific element to be visible or clickable before proceeding.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

def main():
    driver = webdriver.Chrome()
    try:
        driver.get("http://quotes.toscrape.com/login")
        # Wait until the username input field is visible
        username_field = WebDriverWait(driver, 10).until(
            EC.visibility_of_element_located((By.NAME, "username"))
        )
        print("Username field is ready.")
        username_field.send_keys("user")
        
        # We can also wait for a button to be clickable
        login_button = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, "input[type='submit']"))
        )
        print("Login button is clickable.")
        login_button.click()
        
    finally:
        driver.quit()

if __name__ == "__main__":
    main()

Branching Your Journey

Not all user journeys are linear. Sometimes your bot needs to make decisions, like checking if an item is in stock or if a certain message appears.

You can use if/else statements based on whether an element is present, its text content, or other attributes.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException
import time

def main():
    driver = webdriver.Chrome()
    try:
        driver.get("http://quotes.toscrape.com/login")
        # Attempt to find an error message element
        try:
            error_message = driver.find_element(By.CLASS_NAME, "error")
            print("Error message found:", error_message.text)
            # If error, maybe go back or try again
        except NoSuchElementException:
            print("No error message initially.")
            # Proceed with login
            driver.find_element(By.NAME, "username").send_keys("user")
            driver.find_element(By.NAME, "password").send_keys("pass")
            driver.find_element(By.CSS_SELECTOR, "input[type='submit']").click()
            time.sleep(1)
            # After login attempt, check for error again
            try:
                error_message = driver.find_element(By.CLASS_NAME, "error")
                print("Login failed:", error_message.text)
            except NoSuchElementException:
                print("Login successful (or no error shown).")
    finally:
        driver.quit()

if __name__ == "__main__":
    main()

End-to-End Search Journey

Let's simulate a more complete journey: navigating to a search page, typing a query, clicking search, and then interacting with the results.

This example combines several techniques we've learned.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

def main():
    driver = webdriver.Chrome()
    try:
        driver.get("http://quotes.toscrape.com/")
        print("Starting at:", driver.title)

        # 1. Click on 'About' (simulating navigating to a feature)
        about_link = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.LINK_TEXT, "About"))
        )
        about_link.click()
        print("Navigated to About page. Title:", driver.title)
        time.sleep(1) # Observe the page

        # 2. Go back to home page (simulating returning to main task)
        driver.find_element(By.LINK_TEXT, "Quotes").click()
        print("Returned to Home page. Title:", driver.title)
        time.sleep(1) # Observe the page

        # 3. Find a quote by an author (simulating a search/filter interaction)
        # Let's try to click on a tag, e.g., 'love'
        love_tag = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, "a[href='/tag/love/']"))
        )
        love_tag.click()
        print("Filtered by 'love' tag. Title:", driver.title)
        time.sleep(2)
        
        # 4. Extract some data from the filtered results
        quotes = driver.find_elements(By.CLASS_NAME, "quote")
        print(f"Found {len(quotes)} quotes with 'love' tag.")
        if quotes:
            print("First quote text:", quotes[0].find_element(By.CLASS_NAME, "text").text)

    finally:
        driver.quit()

if __name__ == "__main__":
    main()

Journey Best Practices

To build robust and maintainable bot journeys:

  • Use Explicit Waits: Always wait for elements to be ready.
  • Descriptive Locators: Use IDs, names, or unique CSS selectors. Avoid fragile XPath if possible.
  • Error Handling: Use try-except blocks for unexpected elements or network issues.
  • Modularize Code: Break down complex journeys into smaller, reusable functions.

Journey Challenge

You are building a bot to navigate a multi-page checkout process. Which of the following are crucial techniques for ensuring your bot successfully completes the journey?

Journey Summary

In this lesson, you learned how to design bots that simulate complex user journeys. We covered:

  • Navigating multiple pages with clicks.
  • Handling dynamic content using explicit waits.
  • Implementing conditional logic for branching paths.

These skills are fundamental for building sophisticated and reliable web automation bots!

Часто задаваемые вопросы

Урок «Имитация сложных пользовательских сценариев» бесплатный?

Да — полный текст урока «Имитация сложных пользовательских сценариев» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Web Scraping & Bots, подпишись на CoddyKit PRO. Курс Web Scraping & Bots содержит 4 уроков всего.

Чему я научусь в уроке «Имитация сложных пользовательских сценариев»?

Проектируйте ботов, которые следуют сложным пользовательским маршрутам, переходят между несколькими страницами и выполняют взаимодействия для достижения цели. Ты практикуешь Web Scraping & Bots с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать Web Scraping & Bots?

Предыдущий опыт не требуется. Web Scraping & Bots на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 2 из 4.

Сколько времени занимает урок «Имитация сложных пользовательских сценариев»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке Web Scraping & Bots?

Да. Каждый урок Web Scraping & Bots включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

  1. Обработка аутентификации пользователей
  2. Имитация сложных пользовательских сценариев
  3. Интеграция с API
  4. Управление сеансами и файлами cookie
← Назад к Web Scraping & Bots