Ejen AI dengan LangChain dan Aliran Kerja Autonomi · Pelajaran

Pengikisan Web dan Penambahan Data

Laksanakan teknik yang membolehkan ejen mengekstrak maklumat daripada tapak web dan memperkaya pangkalan pengetahuannya secara dinamik.

Pelajaran 3 daripada 412 langkah

Pengikisan Web dan Penambahan Data ialah pelajaran Ejen AI dengan LangChain dan Aliran Kerja Autonomi percuma di CoddyKit. Ini ialah pelajaran 3 daripada 4. Anda boleh membaca keseluruhan pelajaran di bawah secara percuma — kemudian berlatih secara praktikal dalam pelayar menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran Ejen AI dengan LangChain dan Aliran Kerja Autonomi, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus Ejen AI dengan LangChain dan Aliran Kerja Autonomi merangkumi sejumlah 4 pelajaran.

Pengikisan Web untuk Ejen

Ejen AI sering memerlukan maklumat khusus dan terkini yang tidak terdapat dalam pengetahuan pralatihnya atau yang tidak boleh diperoleh melalui panggilan API mudah.

Di sinilah pengikisan web berperanan! Pengikisan web membolehkan ejen "membaca" dan mengekstrak data terus daripada halaman web, seperti yang dilakukan oleh manusia.

Apakah Pengikisan Web?

Pengikisan web ialah proses automatik untuk mengekstrak data daripada tapak web. Daripada menyalin maklumat secara manual, program melakukannya untuk anda.

Bagi ejen AI, ini bermaksud ejen boleh mengumpulkan fakta, harga, berita atau apa-apa maklumat lain yang tersedia secara awam dari internet secara dinamik untuk membantu membuat keputusan atau memberikan respons.

Pustaka Python Penting

Python mempunyai pustaka berkuasa yang memudahkan pengikisan web:

requests: Digunakan untuk membuat permintaan HTTP (seperti melawati tapak web) dan mendapatkan kandungan HTML mentah.
BeautifulSoup (selalunya diimport sebagai bs4): Pustaka untuk menghurai dokumen HTML dan XML, yang memudahkan pengekstrakan data.

Gabungan kedua-duanya membentuk pasangan lazim untuk tugasan pengikisan.

Mendapatkan Kandungan Halaman Web

Pertama sekali, kita menggunakan pustaka requests untuk mendapatkan kandungan halaman web. Tindakan ini menghantar permintaan kepada pelayan dan mendapatkan respons HTML.

Cuba jalankan contoh ini untuk melihat cara kita mendapatkan kandungan daripada example.com:

import requests

def main():
    try:
        # Send a GET request to the URL
        response = requests.get("https://www.example.com")
        
        # Check if the request was successful (status code 200)
        if response.status_code == 200:
            print(f"Successfully fetched example.com!")
            print(f"Content Length: {len(response.text)} characters")
        else:
            print(f"Failed to fetch. Status Code: {response.status_code}")
    except requests.exceptions.RequestException as e:
        print(f"Error fetching URL: {e}")

if __name__ == "__main__":
    main()

Asas HTML untuk Pengikisan

Halaman web dibina menggunakan HTML (HyperText Markup Language). HTML menggunakan teg seperti <h1>, <p> dan <a> untuk menstrukturkan kandungan.

BeautifulSoup membantu kita menavigasi struktur ini. Untuk mengekstrak data, kita perlu mengetahui teg, kelas atau ID yang membungkus maklumat tersebut.

Menghurai dengan BeautifulSoup

Setelah mempunyai HTML mentah, BeautifulSoup menukarkannya kepada pepohon hurai, yang membolehkan anda mencari elemen dengan mudah.

Berikut ialah cara mencipta objek BeautifulSoup dan mengekstrak tajuk ringkas daripada rentetan:

from bs4 import BeautifulSoup

def main():
    html_doc = """
    <html><head><title>CoddyKit Lesson</title></head>
    <body>
    <p class="intro"><b>Hello Learners!</b></p>
    </body></html>
    """
    
    # Create a BeautifulSoup object
    soup = BeautifulSoup(html_doc, 'html.parser')
    
    # Access the title tag and its string content
    print(f"Page Title: {soup.title.string}")

if __name__ == "__main__":
    main()

Mencari Data Tertentu

BeautifulSoup menawarkan kaedah berkuasa seperti find() (untuk padanan pertama) dan find_all() (untuk semua padanan) bagi mencari elemen mengikut nama teg, atribut atau pemilih CSS.

Mari kita cari teks di dalam teg <h1>:

from bs4 import BeautifulSoup

def main():
    html_doc = """
    <html>
    <body>
        <h1>Welcome to Our Course</h1>
        <p>This is an example paragraph.</p>
        <div id="footer">Contact Us</div>
    </body>
    </html>
    """
    soup = BeautifulSoup(html_doc, 'html.parser')
    
    # Find the first h1 tag
    first_h1 = soup.find('h1')
    if first_h1:
        print(f"Extracted H1 Text: {first_h1.get_text()}")
    else:
        print("H1 tag not found.")

if __name__ == "__main__":
    main()

Penambahan Data untuk Ejen

Penambahan data dalam konteks ini merujuk kepada proses memperkayakan pangkalan pengetahuan dalaman atau konteks semasa ejen dengan maklumat yang baru diperoleh.

Apabila ejen mengikis tapak web, ejen bukan sekadar "membaca" untuk dirinya sendiri; ejen mengumpulkan data yang boleh digunakan untuk meningkatkan pemahaman, menjawab soalan atau membuat keputusan yang lebih bermaklumat.

Meningkatkan Keupayaan Ejen

Bayangkan ejen yang perlu memberikan harga saham masa nyata atau tajuk berita terkini. Model terlatihnya tidak mempunyai maklumat ini.

Data masa nyata: Ekstrak harga saham atau berita semasa.
Fakta khusus: Ekstrak butiran produk daripada tapak e-dagang.
Pemahaman kontekstual: Dapatkan maklumat latar tentang topik yang tidak diliputi dalam data latihannya.

Data yang diekstrak ini kemudiannya boleh dihantar kepada LLM sebagai sebahagian daripada gesaan, sekali gus menambah pengetahuannya.

Pertimbangan Etika & Undang-undang

Semasa melakukan pengikisan, sentiasa ambil perhatian terhadap perkara berikut:

robots.txt: Fail pada tapak web yang memberitahu bot bahagian tapak yang tidak patut diakses. Hormatinya!
Terma Perkhidmatan: Banyak tapak melarang pengikisan dalam terma mereka.
Pengehadan Kadar: Jangan menghantar terlalu banyak permintaan kepada pelayan dalam masa yang terlalu singkat; tindakan ini boleh dianggap sebagai serangan DoS. Perkenalkan kelewatan.

Lakukan pengikisan secara bertanggungjawab dan beretika.

Semakan Pantas

Anda telah mempelajari cara mendapatkan kandungan web dan menghuraikan HTML. Pustaka Python manakah yang digunakan terutamanya untuk menavigasi dan mengekstrak data daripada dokumen HTML?

Jawab dalam pelajaran interaktif

Imbas Kembali & Langkah Seterusnya

Dalam pelajaran ini, anda mempelajari cara menggunakan pustaka Python requests dan BeautifulSoup untuk pengikisan web. Kita membincangkan cara mendapatkan HTML mentah dan kemudian menghuraikannya untuk mengekstrak maklumat khusus.

Anda juga memahami cara data yang diekstrak ini menyumbang kepada penambahan data, yang membolehkan ejen AI mengakses maklumat semasa dan khusus, sekali gus memperkayakan pengetahuan serta keupayaan mereka secara dinamik. Sentiasa ingat untuk melakukan pengikisan secara bertanggungjawab!

Percuma untuk bermula

Pelajari Ejen AI dengan LangChain dan Aliran Kerja Autonomi dengan tutor kecerdasan buatan — percuma

Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.

Kursus: 12
Pelajaran: 50

Mula belajar secara percuma Lihat kursus penuh

Soalan Lazim

Adakah pelajaran “Pengikisan Web dan Penambahan Data” percuma?

Ya — teks penuh “Pengikisan Web dan Penambahan Data” boleh dibaca secara percuma di web ini. Untuk berlatih secara interaktif menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7, serta membuka kunci baki kursus Ejen AI dengan LangChain dan Aliran Kerja Autonomi, tingkat taraf kepada CoddyKit PRO. Kursus Ejen AI dengan LangChain dan Aliran Kerja Autonomi merangkumi sejumlah 4 pelajaran.

Apakah yang akan saya pelajari dalam “Pengikisan Web dan Penambahan Data”?

Laksanakan teknik yang membolehkan ejen mengekstrak maklumat daripada tapak web dan memperkaya pangkalan pengetahuannya secara dinamik. Anda berlatih Ejen AI dengan LangChain dan Aliran Kerja Autonomi menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.

Adakah saya memerlukan pengalaman untuk memulakan Ejen AI dengan LangChain dan Aliran Kerja Autonomi?

Tiada pengalaman terdahulu diperlukan. Pembelajaran Ejen AI dengan LangChain dan Aliran Kerja Autonomi di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 3 daripada 4.

Berapa lamakah pelajaran “Pengikisan Web dan Penambahan Data” diambil?

Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.

Bolehkah saya menulis dan menjalankan kod dalam pelajaran Ejen AI dengan LangChain dan Aliran Kerja Autonomi ini?

Ya. Setiap pelajaran Ejen AI dengan LangChain dan Aliran Kerja Autonomi menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.

Semua pelajaran dalam kursus ini

← Kembali ke Ejen AI dengan LangChain dan Aliran Kerja Autonomi