[5월 4일(목) : 과제] 인공지능 입문(이론) - Neural Network (2)

[과제 : 5월 15일 밤 10시까지 제출] 

• Chatgpt 사용 Screenshot + 개인 의견
• AI의 윤리적 의식 (개인 의견) - 1 page
• 위 2가지 엮어서 리포트 형식으로 제출
• 5월 16일 실습시간에 3분 동안 발표. 발표 자료는 슬라이드 3장까지 허용

https://zdnet.co.kr/view/?no=20230502093040 

'AI 대부' 제프리 힌튼, 구글 퇴사…"수십년 AI 연구 후회"

 

 

 

 

• 모든 function도 근접할 수 있다.

 

 

 

• Predict이 원하는 결과와 일치하지 않는 것을 오차라고 하고 그 오차를 줄이기 위해서 weight를 update한다.
• 얼마나 update해야하는지 계산하는 것은 편미분을 통해

 

 

 

• 컴퓨팅 계산을 Graph로 표현
• 실제 연산들을 수행

 

 

• 곱하기 연산에 해당하는 것을 그래프로 표현

 

 

• Logistic Regression을 그래프로 표현
• 두 가지 단계로 나누어 표현
• dot과 +로 나누고 sigmoid 적용

 

 

• Chain Rule 적용
• 결과가 조금씩 덧붙여지는 형태

 

• 그래프로 표현, 두 가지 편미분 적용

 

 

 

• 좀 더 복잡해진 형태
• 두 가지 편미분으로 나눈 값을 더 해준 Graph

 

 

• Sigma를 적용하여서도 표현 가능

 

 

 

• 미리 편미분 계산을 다 해놓고 대입만 하면 되는 형태로 구현한다.
• q와 z를 곱하여 f라는 값을 도출해낸다.
• f값에 변화를 주고 싶다라고 가정하면 각 변수를 편미분하여 계산한 값을 적용한다.
• 해당 슬라이드 뒤에 각 값들을 편미분한 형태로 나타내어짐. 슬라이드만 보고 이해 가능
• 모든 변수가 간단히 나오지는 않고 Chain Rule을 적용해야 하는 경우도 있음 (y값, x값)

 

 

 

• Chain Rule을 적용하여 각 변수를 계산하는 과정
• 전 단계 변수들을 변경하는 데 도움을 줌

 

 

 

• 많이 쓰는 Loss 함수 : MSE, Cross Entropy Error
• Softmax 값은 0~1 사이 값

 

 

 

• 예시, 변수를 잘 기억해야함
• X(j)에서 X(i)로 진행할 때 wgt 존재

 

 

 

• 결과 값이 실제값과 다를 수 있음

 

 

 

• 우리가 구하려 하는 값은 w값을 얼마나 변화시켜야하는지
• 위 식 전개처럼 일단 다 편미분
• 그리고 편미분 한 값들을 공통 식으로 묶어서 마지막 줄 처럼 표현
• Sigmoid 미분 : Sigmoid(x) * (1 - Sigmoid(x)) -> 2번 식과 동일

 

스스로 손으로 직접 해보기. 시험 문제 가능성

 

 

 

 

 

• 하단에 설명 없는 그림들은 교수님께서 식 전개가 어떻게 되는지 설명만 해주심
• 따로 추가적인 언급은 없고 식 전개만 하심

 

• 학습 과정에 대한 그림과 사진
• 위 과정에 Forward도 존재하고 Backpropagation도 존재함
• Forward step : error가 나올 때까지 input부터 진행하는 과정
• 첫 번째 sigmiod 줄이 input 받는 것, 그림에서는 하단에서 올라가는 첫 번째 화살표
• 두 번째 줄이 y구하는 것. 여기까지가 Forward
• 델타가 앞에 표시되어 있는 구간이 backpropagation
• 그 아래 2줄이 weight update를 위해 델타값 적용