CS & AI/Generative Learning

이거 너가 한 거 맞아? Post-hoc Detectio(사후 탐지)이미 만들어진 글을 보고 판단하는 분류기(Classifier)를 만드는 방식이었다. 예를 들면 BERT 기반 탐지기.하지만 LLM이 사람처럼 글을 잘 쓰게 되면서 점점 구분이 어려워졌다. Watermarking(생성 단계 개입)아예 글을 쓸 때(Generation), 기계만 알 수 있는 비밀 패턴을 심어놓는 방식이다. KGW(Standard Approach) / 금지어 게임 이전 단어(토큰)를 해시(hash) 함수에 넣어 숫자로 바꾼다.이 숫자를 시드(Seed)로 사용해 전체 단어장(Vocabulary)을 초록색 리스트(Green list)와 빨간색 리스트(Red list)로 무작위로 나눈다.생성할 때 초록색 리스트에 있는 단어의 확..

LLM은 왜 외부 지식이 필요한가?할루시네이션(Hallucination) LLM은 그럴듯한 거짓말은 한다. 팩트 체크가 되지 않는다. 지식 단절(Knowledge Cutoff)학습 시점 이후의 최신 정보(e.g. 어제 뉴스)는 모른다. 해결책 : RAG모델을 재학습(Parametric update)하지 않고, 외부 데이터베이스(Nom-parametric)에서 검색(Retrieval)해 온 정보를 프롬프트에 넣어주고 보고 답하게 만드는 방식 검색(Retrieval)의 핵심 프로세스질문(Query)과 가장 관련 있는 문서(Document)를 찾아오는 과정 유사도 계산(Similarity)질문과 문서를 벡터로 바꾼 뒤(Embedding), 거리가 얼마나 가까운지 계산한다. 주로 코사인 유사도(Cosine ..

모델을 바꾸지 않고(No Training), 입력(Input)만 잘 조작해서 성능을 극대화하는 방법을 알아보자.단순한 기법 소개로 끝이 아닌 왜 이 기술이 나왔는지 와 연구자로서 어떤 시각을 가져야 하는지를 생각하며 공부할 것 패러다임의 전환 / 모델 학습 -> 프롬프트 설계 과거(RNN, BERT 시점)에는 원하는 결과를 얻기 위해 모델 자체를 수정하고 재학습(Fine-tuning)해야 했다. 코딩도 어렵고 시간도 오래걸렸다. LLM 시대에는 모델 파라미터를 고정(Frozen)한 채, 입력(Prompt)만 잘 넣어주면 원하는 결과를 얻을 수 있다. 진입 장벽이 획기적으로 낮아진 것. 프롬프트 구성 요소(Components)Role/System Message페르소나 부여(e.g. "너는 번역 전문가야..

GPT 시리즈의 진화단순히 모델 크기와 데이터만 늘렸는데, 가르쳐주지 않은 능력들이 창발하기 시작했다(Emergent Ability). GPT-1사전 학습(Pre-training) 개념을 정립 GPT-2 - Zero-shot의 발견데이터를 40GB로 늘렸더니, 별도의 파인 튜닝 없이도 번역, 요약 등을 수행하는 Zero-shot 능력이 나타났다. 예전에는 번역 모델, 요약 모델을 따로 만들었는데, 이제는 모델 하나에 "이거 요약해줘"라고 지시(Prompt)만 하면 알아서 하는 시대가 온 것. GPT-3 - Few-shot의 완성파라미터를 175B(1,750억 개)로 극단적으로 키웠더니, 예시를 몇 개 보여주면(Few-shot) 성능이 비약적으로 상승하는 In-context Learning 능력이 폭발했습..

트랜스포머 아키텍쳐를 기반으로, 대량의 데이터로 미리 학습한 뒤 특정 태스크에 적용하는 Pre-training & Fine-tuning 패러다임이 정착된 시기 BERT트랜스포머의 인코더(Encoder)만 떼어내서 만든 모델. 문장 생성보다는 분류, 이해 등에 특화되어 있다. Pre-training Tasks 학습 방법MLM(Masked Language Modeling)문장의 15%를 가리고 [MASK], 앞뒤 문맥(양방향)을 보고 맞추는 훈련. 이 과정에서 단어 간의 관계를 깊게 학습한다. NSP(Next Sentence Prediction)두 문장을 주고, 두 번째 문장이 첫 번째 문장 바로 뒤에 오는 문장인지 아닌지 맞춘다. 문장 간의 관계를 학습한다. 입력 구조(Embeddings)Token E..

RNN은 긴 문장을 처리할 때 앞부분의 정보를 잊어버리는 문제(Long-term dependency) 문제가 있었다. 이를 해결하기 위해 구조를 개선한 모델들이 등장했다.LSTM(Long Short-Term Memory)RNN 셀 내부에 Cell State(장기 기억)를 추가하여 중요한 정보는 오래 기억하고 불필요한 정보는 삭제하는 구조. 작동원리Forget Gate : 과거 정보 중 무엇을 버릴지 결정Input Gate :새로운 정보 중 무엇을 저장할지 결정Output Gate : 현재 시점에 어떤 정보를 내보낼지 결정 GRU(Gated Recurrent Unit)LSTM의 복잡한 구조를 단순화하여 연산 속도를 높이면서도 비슷한 성능을 내도록 만든 모델. Cell state와 Hidden State를..

텍스트를 모델이 이해할 수 있는 숫자로 바꾸는 기초 작업 프로세스초기 생성 모델(RNN / Seq2Seq)이 어떻게 작동하는가?어떤 한계를(길이 제어, 다양성 부족)를 가졌는가? Word Representation - 단어의 표현텍스트 생성의 첫걸음은 컴퓨터가 이해할 수 있도록 텍스트를 숫자로 바꾸는 것 One - hot Encoding(원-핫 인코딩)세상에 단어가 10,000개 있다면, 10,000개의 차원을 가진 벡터를 만들고 해당 단어 자리에만 1, 나머지는 0을 넣는 방식 이렇게 하면 '나' 와 '우리' 가 '나' 와 '우주선' 보다 더 비슷한 단어라는 것을 컴퓨터가 알 수 없다. 모든 단어 간의 거리가 똑같이 때문이다. 그리고 0이 너무 많아 메모리 낭비(Sparse)가 심하다. Word Emb..

기초 모델링 RNN의 한계와 LSTM / GRU의 게이트 구조, 그리고 Seq2Seq에서 Attention 메커니즘으로의 발전 과정Transformer & PLMSelf-Attention 수식, Positional Encoding, 그리고 BERT(Encoder) vs GPT(Decoder) vs BART / T5(Encoder-Decoder)의 차이점 및 학습 방식LLM 심화 vs GPT vs BART / T5In-context Learning, Chain-of-Thought(CoT), 그리고 instructGPT의 핵심인 RLHF(SFT -> RM -> PPO) 파이프라인RAG & Search + RAG materialHallucination 해결을 위한 Retrieval 과정, 유사도 계산(Cosi..