no image
Batch/Epoch/Iteration
1. Batch size: 모델의 가중치들을 한 번 업데이트 할 때, 사용하는 데이터들의 집합(수) EX)2000개의 문제를 200개씩 나눠서 푸는 것(batch size = 200)   2. Epoch: 모델이 전체 데이터를 모두 사용하여 학습을 한 횟수 - 1-epoch : 전체 데이터셋이 순전파+역전파를 통해 신경망을 한 번 통과한 것- epoch값이 너무 작으면 underfitting, 너무 크면 overfitting EX)문제집에 있는 모든 문제(2000)를 풀고 채점까지 맞춘 것.-> 3-epoch는 같은 문제집을 처음부터 끝까지 총 3회 풀었다는 것을 의미함.  3. Iteration: 1 epoch에 필요한 batch의 개수= 파라미터 업데이트를 수행한 횟수 = Step EX)2000개의 ..
2024.07.22
기계 학습의 과정
기계는 다음과 같은 과정을 통해 학습한다. 1. 임의의 파라미터(가중치(w))를 정한다.2. 이 가중치에 대한 손실값을 구하고, 손실 함수(Loss Function)의 기울기(Gradient)를 구한다.3. 경사 하강법(Gradient Descent)을 이용해 파라미터를 업데이트 한다.4. 업데이트 된 지점에서 새 손실 함수의 기울기를 구한다.5. 3~4번 반복6. 파라미터가 최적값에 도달하면, 파라미터 업데이트를 중지한다.
2024.07.22
no image
Gradient Descent(경사 하강법)
1. Gradient Descent (경사 하강법): 비용함수의 gradient를 반대방향으로 파라미터를 조정하며 최솟값을 찾는, 최적화 방법  = 함수의 기울기(Gradient)를 구하고 해당 경사의 반대 방향을 계속 이동시켜 극값에 이를 때까지 반복하는 것. = 함수의 값이 낮아지는 방향으로, 최솟값을 갖도록 값을 계속해서 변경하는 것(Batch Gradient Descent, BGD) 왜 필요한가?인공지능은 최적의 학습 패턴을 찾고자, 자신의 파라미터(Parameter)를 검증해야 한다. (기계학습의 과정)이 검증 과정에서 손실 함수를 사용하며, 검증 과정에서 손실 함수의 값이 가장 낮은 parameter를 발견했다면 해당 파라미터가 최적의 파라미터임이검증되는 것이다. "손실 함수를 미분해서 미분계..
2024.07.22
no image
[1-1] 프로젝트 소개
개요코미디 유튜브 채널 밈고리즘의 폭스클럽 콘텐츠에서 최초로 나온 일종의 밈이며, 상대방이 공감을 해주지 않고 차갑게 대하는 사람에게 쓰는 드립이다😂 (출처. 나무위키) MBTI의 세 번째 성격유형은 '판단 기능'을 기준으로 `F`(Feeling, 감정)와 `T`(Thinking, 사고)로 나뉜다. `F`유형에 해당되면 관계와 사람 위주로 판단을 하고, `T`유형에 해당되면 사실과 진실, 논리, 객관적으로 판단을 내린다.  예를 들어, "나 오늘 시험을 망쳐서 우울해ㅜㅜ"라는 말에 상대방이 `"아이구ㅜㅜ 그랬구나. 기분이 안좋겠다. 오늘은 잊어버려! 다음에는 더 잘볼거야!"`와 같은 말을 하면 `F`성향에 가깝고, `"아 그래서 몇점 나왔는데?"` 라는 질문을 하면 `T`성향에 가까울 것이다. 그렇기에..
2024.07.20
no image
EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Task
리뷰일시 : 2023.07.16paper / 코드구현 (한국어 기반)EDA(Easy Data Augmentation Techniques for Boodting performance on Text Classification Tasks): 자연어 처리에서의 데이터 증강 기법 보통 컴퓨터 비전에서는 활발하게 사용하지만, 자연어 처리 분야에서는 단어 하나만 바뀌어도 문장의 의미가 전혀 달라지기 때문에 활용하기 쉽지 않다. 그래서 제시된 데이터 증강 기법을 해당 논문에서는 EDA라고 표현한다. 우리가 흔히 아는 EDA(Exploratory Data Analysis)와는 다르다.  EDA Methods 유의어로 교체(Synonym Replacement, SR) : 문장에서 랜덤으로 stop words가 아닌 n 개..
2024.07.20
no image
자소서 특강 후기 (23.04.10)
2023.04.10.월 교내에서 진행하는 자소서 특강을 수강하였다. 1. 이력서 대학교->고등학교 순으로 경력 기재 2 - 1. 자기소개서 cf) 자유형식일 경우(중소기업) 이력서 1장 + 자기소개서 2장 * 항상 구조화 지키기 - 첫째, 둘째, 셋째 - 기승전결 - 서론본론결론 * 제목 작성 요령 - 숫자 이용 (3개월동안, 90%이상~) - 키워드 축약 (ㅇ, ㅇ, ㅇ 을 한 ㅇㅇㅇ) * 자소서에 들어갈 내용 중 주의할 점 - 비유, 추상적으로 쓰지말아라 -> 항상 구체적으로(어디서 어떻게 몇개월동안) - 어쭙잖은 좌우명, 사자성어 X * 타인과 구별되는 경쟁력 keyword 보단 '자신의 특별한 경험' 을 작성하기 * 이력서 작성 순서 자기분석 -> 직무분석 -> 회사분석 자기분석 : 대학내용만 포..
2023.04.10