0Pricing
Web Scraping & Bots · Lekcja

Symulowanie złożonych ścieżek użytkownika

Zaprojektują Państwo boty podążające złożonymi ścieżkami użytkownika, przechodzące przez wiele stron i interakcji w celu osiągnięcia określonego celu.

Symulowanie złożonych ścieżek użytkownika to bezpłatna lekcja Web Scraping & Bots na CoddyKit. To lekcja 2 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej Web Scraping & Bots, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs Web Scraping & Bots zawiera 4 lekcji w sumie.

Części tej lekcji nie zostały jeszcze przetłumaczone i są wyświetlane po angielsku.

Understanding User Journeys

Imagine a human browsing a website: they click links, fill forms, scroll, and wait for pages to load. This sequence of actions is a user journey.

For bots, simulating these journeys means programming a series of steps to achieve a specific goal, just like a human would.

Why Simulate Journeys?

Simulating complex user journeys is vital for:

  • Automated Testing: Ensuring multi-step processes (like checkout) work correctly.
  • Advanced Data Collection: Scraping data that's only accessible after several interactions.
  • Task Automation: Performing repetitive tasks that require navigating multiple pages.

It allows bots to go beyond simple page visits.

Selenium: Your Journey Tool

For simulating human-like interactions and navigating complex journeys, Selenium is our go-to tool. It allows your bot to control a real web browser.

Remember, we covered Selenium basics in an earlier lesson. Now we'll apply it to multi-step workflows.

Starting the Path

Every journey begins by navigating to the first page. You use driver.get() to tell Selenium which URL to open.

Let's open a sample website:

from selenium import webdriver
from selenium.webdriver.common.by import By

def main():
    driver = webdriver.Chrome()
    try:
        driver.get("http://quotes.toscrape.com/")
        print("Page Title:", driver.title)
    finally:
        driver.quit()

if __name__ == "__main__":
    main()

Clicking & Typing

Once on a page, your bot needs to interact. This often involves clicking buttons or links, and typing into input fields.

We use find_element() with locators (like By.LINK_TEXT or By.ID) to target elements, then click() or send_keys().

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

def main():
    driver = webdriver.Chrome()
    try:
        driver.get("http://quotes.toscrape.com/")
        # Find the 'Login' link and click it
        login_link = driver.find_element(By.LINK_TEXT, "Login")
        login_link.click()
        print("Navigated to login page.")
        # Wait a bit to see the action
        time.sleep(2)
    finally:
        driver.quit()

if __name__ == "__main__":
    main()

Following the Flow

A complex journey involves moving between several pages. After clicking a link, Selenium automatically loads the new page. You can then continue interacting with elements on that new page.

Let's log in and then click the 'Quotes' link to go back to the main page.

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

def main():
    driver = webdriver.Chrome()
    try:
        driver.get("http://quotes.toscrape.com/")
        # Go to login page
        driver.find_element(By.LINK_TEXT, "Login").click()
        time.sleep(1) # For demonstration

        # Fill login form (using dummy credentials)
        driver.find_element(By.NAME, "username").send_keys("test_user")
        driver.find_element(By.NAME, "password").send_keys("test_pass")
        driver.find_element(By.CSS_SELECTOR, "input[type='submit']").click()
        time.sleep(1) # For demonstration

        print("Logged in (or attempted). Current URL:", driver.current_url)
        # Now click 'Quotes' to go back home
        driver.find_element(By.LINK_TEXT, "Quotes").click()
        time.sleep(1)
        print("Back to home page. Title:", driver.title)
    finally:
        driver.quit()

if __name__ == "__main__":
    main()

Waiting for Elements

Web pages often load content dynamically. If your bot tries to interact with an element before it appears, it will fail. This is where explicit waits come in.

WebDriverWait combined with expected_conditions tells Selenium to wait for a specific element to be visible or clickable before proceeding.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

def main():
    driver = webdriver.Chrome()
    try:
        driver.get("http://quotes.toscrape.com/login")
        # Wait until the username input field is visible
        username_field = WebDriverWait(driver, 10).until(
            EC.visibility_of_element_located((By.NAME, "username"))
        )
        print("Username field is ready.")
        username_field.send_keys("user")
        
        # We can also wait for a button to be clickable
        login_button = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, "input[type='submit']"))
        )
        print("Login button is clickable.")
        login_button.click()
        
    finally:
        driver.quit()

if __name__ == "__main__":
    main()

Branching Your Journey

Not all user journeys are linear. Sometimes your bot needs to make decisions, like checking if an item is in stock or if a certain message appears.

You can use if/else statements based on whether an element is present, its text content, or other attributes.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException
import time

def main():
    driver = webdriver.Chrome()
    try:
        driver.get("http://quotes.toscrape.com/login")
        # Attempt to find an error message element
        try:
            error_message = driver.find_element(By.CLASS_NAME, "error")
            print("Error message found:", error_message.text)
            # If error, maybe go back or try again
        except NoSuchElementException:
            print("No error message initially.")
            # Proceed with login
            driver.find_element(By.NAME, "username").send_keys("user")
            driver.find_element(By.NAME, "password").send_keys("pass")
            driver.find_element(By.CSS_SELECTOR, "input[type='submit']").click()
            time.sleep(1)
            # After login attempt, check for error again
            try:
                error_message = driver.find_element(By.CLASS_NAME, "error")
                print("Login failed:", error_message.text)
            except NoSuchElementException:
                print("Login successful (or no error shown).")
    finally:
        driver.quit()

if __name__ == "__main__":
    main()

End-to-End Search Journey

Let's simulate a more complete journey: navigating to a search page, typing a query, clicking search, and then interacting with the results.

This example combines several techniques we've learned.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

def main():
    driver = webdriver.Chrome()
    try:
        driver.get("http://quotes.toscrape.com/")
        print("Starting at:", driver.title)

        # 1. Click on 'About' (simulating navigating to a feature)
        about_link = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.LINK_TEXT, "About"))
        )
        about_link.click()
        print("Navigated to About page. Title:", driver.title)
        time.sleep(1) # Observe the page

        # 2. Go back to home page (simulating returning to main task)
        driver.find_element(By.LINK_TEXT, "Quotes").click()
        print("Returned to Home page. Title:", driver.title)
        time.sleep(1) # Observe the page

        # 3. Find a quote by an author (simulating a search/filter interaction)
        # Let's try to click on a tag, e.g., 'love'
        love_tag = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, "a[href='/tag/love/']"))
        )
        love_tag.click()
        print("Filtered by 'love' tag. Title:", driver.title)
        time.sleep(2)
        
        # 4. Extract some data from the filtered results
        quotes = driver.find_elements(By.CLASS_NAME, "quote")
        print(f"Found {len(quotes)} quotes with 'love' tag.")
        if quotes:
            print("First quote text:", quotes[0].find_element(By.CLASS_NAME, "text").text)

    finally:
        driver.quit()

if __name__ == "__main__":
    main()

Journey Best Practices

To build robust and maintainable bot journeys:

  • Use Explicit Waits: Always wait for elements to be ready.
  • Descriptive Locators: Use IDs, names, or unique CSS selectors. Avoid fragile XPath if possible.
  • Error Handling: Use try-except blocks for unexpected elements or network issues.
  • Modularize Code: Break down complex journeys into smaller, reusable functions.

Journey Challenge

You are building a bot to navigate a multi-page checkout process. Which of the following are crucial techniques for ensuring your bot successfully completes the journey?

Journey Summary

In this lesson, you learned how to design bots that simulate complex user journeys. We covered:

  • Navigating multiple pages with clicks.
  • Handling dynamic content using explicit waits.
  • Implementing conditional logic for branching paths.

These skills are fundamental for building sophisticated and reliable web automation bots!

Często zadawane pytania

Czy lekcja „Symulowanie złożonych ścieżek użytkownika” jest bezpłatna?

Tak — pełny tekst „Symulowanie złożonych ścieżek użytkownika” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu Web Scraping & Bots, przejdź na CoddyKit PRO. Kurs Web Scraping & Bots zawiera 4 lekcji w sumie.

Co nauczysz się w „Symulowanie złożonych ścieżek użytkownika”?

Zaprojektują Państwo boty podążające złożonymi ścieżkami użytkownika, przechodzące przez wiele stron i interakcji w celu osiągnięcia określonego celu. Ćwiczysz Web Scraping & Bots z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.

Czy potrzebuję doświadczenia, aby zacząć Web Scraping & Bots?

Nie wymagamy żadnego doświadczenia. Web Scraping & Bots w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 2 z 4.

Ile czasu zajmuje lekcja „Symulowanie złożonych ścieżek użytkownika”?

Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.

Czy mogę pisać i uruchamiać kod w tej lekcji Web Scraping & Bots?

Tak. Każda lekcja Web Scraping & Bots zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.

Wszystkie lekcje w tym kursie

  1. Obsługa uwierzytelniania użytkowników
  2. Symulowanie złożonych ścieżek użytkownika
  3. Integracja z interfejsami API
  4. Zarządzanie sesjami i plikami cookie
← Powrót do Web Scraping & Bots