활성화 함수

활성화 함수는 신경망의 핵심 구성 요소입니다. 활성화 함수는 뉴런이 받은 입력을 바탕으로 해당 뉴런을 활성화할지 결정합니다.

활성화 함수가 없다면 신경망은 선형 모델처럼 작동하여 복잡한 패턴을 학습하는 능력이 제한됩니다.

활성화 함수의 유형

대표적인 활성화 함수 유형은 다음과 같습니다:

• 시그모이드: 0과 1 사이의 값을 출력합니다.
• ReLU(정류 선형 유닛): 입력이 양수이면 입력을 출력하고, 그렇지 않으면 0을 출력합니다.
• 소프트맥스: 분류 작업을 위해 출력을 확률로 변환합니다.

시그모이드 함수

시그모이드 함수는 모든 입력값을 0과 1 사이의 범위로 변환하므로 이진 분류에 적합합니다.

수식:

σ(x) = 1 / (1 + e^(-x))

큰 입력값을 압축하여 0 또는 1에 가까운 값을 출력합니다.

ReLU 함수

ReLU(정류 선형 유닛) 함수는 다음과 같이 정의됩니다:

ReLU(x) = max(0, x)

음수 입력에는 0을 출력하고 양수 입력에는 입력값 자체를 출력합니다. ReLU는 계산 효율이 높으며 기울기 소실 문제를 완화하는 데 도움이 됩니다.

소프트맥스 함수

소프트맥스 함수는 다중 클래스 분류에서 출력층에 사용됩니다. 이 함수는 원시 점수를 확률로 변환합니다:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

모든 출력값은 합이 1이 되도록 정규화됩니다.

올바른 활성화 함수 선택

활성화 함수의 선택은 작업에 따라 달라집니다:

• 시그모이드: 이진 분류에 사용합니다.
• ReLU: 심층 신경망의 은닉층에 사용합니다.
• 소프트맥스: 다중 클래스 분류 문제에 사용합니다.

활성화 함수의 장점

활성화 함수를 사용하면 신경망이 다음을 수행할 수 있습니다:

• 복잡한 비선형 패턴을 학습합니다.
• 입력을 효과적으로 구분합니다.
• 다양한 유형의 데이터와 작업에 적응합니다.

활성화 함수의 문제점

몇 가지 문제는 다음과 같습니다:

• 시그모이드: 학습 중 기울기 소실을 일으킬 수 있습니다.
• ReLU: 일부 뉴런의 학습이 중단되는 '죽은 뉴런'을 만들 수 있습니다.
• 소프트맥스: 출력이 많을 때 계산 비용이 높습니다.

요약 및 다음 단계

이 수업에서는 다음 내용을 살펴보았습니다:

• 시그모이드, ReLU, 소프트맥스와 같은 활성화 함수를 살펴보았습니다.
• 신경망에서 활성화 함수의 역할과 사용 사례를 배웠습니다.
• 활성화 함수의 장점과 문제점을 논의했습니다.

다음에는 간단한 피드포워드 신경망을 구축하고 그 구조와 작동 방식을 이해해 보겠습니다.