Produk Titik Menggerakkan Setiap Lapisan

Uraikan jaringan saraf hingga bagian paling dasar dan Anda akan menemukan satu operasi yang berulang: hasil kali titik, yaitu jumlah dari perkalian berpasangan antara dua vektor.

Hasil kali titik mengalikan setiap masukan dengan bobot yang sesuai, lalu menjumlahkan hasilnya menjadi satu angka. Angka itulah suara neuron.

Bayangkan vektor masukan dan vektor bobot berdampingan. Hasil kali titik menanyakan seberapa kuat masukan tersebut selaras dengan hal yang dianggap penting oleh neuron.

Setelah hasil kali titik, neuron menambahkan bias agar dapat menggeser keluarannya naik atau turun, bahkan ketika semua masukan bernilai nol.

Masukan dikalikan bobot, dijumlahkan, lalu ditambah bias: jumlah berbobot ini adalah seluruh bagian linear dari satu neuron, yang ditulis dalam satu baris rapi.

Susun vektor bobot menjadi sebuah matriks, lalu satu matmul menghitung setiap neuron dalam sebuah lapisan secara bersamaan. Lapisan adalah sekumpulan hasil kali titik.

PyTorch mengemas pola ini sebagai nn.Linear. Fungsi ini menyimpan matriks bobot dan bias, lalu menjalankan matmul-plus-bias untuk Anda pada setiap pemanggilan.

Hasil kali titik positif yang besar berarti masukan sangat selaras dengan bobot neuron. Nilai negatif berarti keduanya mengarah ke arah yang berlawanan.

Lapisan nyata menjalankan ribuan hasil kali titik untuk setiap contoh. Hanya matmul bervectorisasi yang membuatnya praktis, itulah sebabnya perulangan ditinggalkan.

Jumlah berbobot saja bersifat linear. Lewatkan melalui aktivasi seperti ReLU agar neuron memperoleh nonlinearitas yang dibutuhkan pembelajaran nyata.

Anda berpindah dari perulangan lambat ke vektor cepat lalu ke matmul, dan semuanya bertemu di sini: hasil kali titik adalah denyut setiap lapisan saraf.

Setiap lapisan dibangun dari hasil kali titik: masukan dikalikan bobot, dijumlahkan, dikelompokkan dengan matmul, lalu diselesaikan dengan aktivasi. Itulah matematika pembelajaran mendalam. 🚀