본 게시글은 학부 강의 'AI 데이터 표현과 모델링'를 기반으로 이해하고 학습한 내용을 정리하였습니다. Wrap-up생성형 AI의 큰 그림 생성형 AI는 위와 같은 5개의 축으로 구성된다고 할 수 있어요. 위 그림에서 Representation, Self-supervised, Large-Scale이 합쳐져 World Model이 탄생합니다. LLM은 (거의) 모든 문제를 어떻게 풀까? LLM 이전에는 Context를 AI Engine에 넣으면 Answer가 나오는 분리 구조였습니다.LLM 이후에는 LLM Engine이 Context + Answer 전체를 한 덩어리로 생성하죠. 전에 이야기한 조건부 확률 Chain을 다시 리마인드해봅시다.시퀀스를 A 조각(질문)과 B 조각(답)으로 나눌 수..

LangChain? LangGraph? 그게 뭐임? LLM이나 NLP 분야 쪽에는 크게 관심이 없다. 라이트하게 컨셉만 알아보았다. LangChainLLM을 프로그래밍에서 쉽게 쓸 수 있게 해주는 도구 모음.GPT에게 질문을 보내면 답변을 받고 검색도 시키고.이런 작업을 코드 몇 줄로 할 수 있게 해준다. Lang(Language) + Chain(사슬, 연결)AI 언어 모델에게 여러 작업을 체인처럼 연결해서 시키는 개념.질문을 받고 , 검색을 하고, 검색 결과를 요약하고, 답변을 생성하는 이러한 단계들을 사슬처럼 엮어서 실행하는 것. LangGraphLangChain 위에 만들어진 에이전트 프레임워크.단순히 질문-답변이 아니라, AI가 스스로 판단해서 도구(함수)를 호출할 수 있게 해준다. 서울 날..

본 게시글은 학부 강의 'AI 데이터 표현과 모델링'을 기반으로 이해하고 학습한 내용을 정리하였습니다. Supervised Learning vs Unsupervised Learning 머신러닝은 크게 두 가지로 나뉩니다. Supervised Learning지도학습 누군가가 기계에게 피드백을 주는 방식."이 상황에서는 오른쪽이야""잘했어, 맞아"라고 계속 뒤에서 피드백을 주는 거죠. 그 Supervised Learning은 또 두 가지로 나뉩니다. 데이터 기반 지도학습문제집 방식이라 볼 수 있겠습니다. 과거의 모든 피드백 정보를 기록해 놓고 쓰는 방식.문제집에 문제풀이가 있고 뒤에 답안지가 있는 것처럼, X(상황)와 Y(정답)의 쌍을 데이터로 모아놓고 학습합니다. 환경 기반 지도학습강화학습, Reinf..

본 게시글은 학부 강의 'AI 데이터 표현과 모델링'을 기반으로 이해하고 학습한 내용을 정리하였습니다. Sequence to Sequence Learning Tesnor와 데이터의 본질 이제 데이터를 컴퓨터에 어떻게 넣을 것인가, 그리고 그 데이터를 어떻게 처리할 것인가에 대한 큰 틀을 잡아보려 합니다. 컴퓨터는 본질적으로 계산기에요.숫자를 입력받아서 숫자를 내놓습니다. 따라서 현실 세계의 데이터를 컴퓨터에 넣으려면 반드시 Tensor 형태로 변환해야 합니다. Tensor의 계층 구조Scalar: 하나의 숫자Vector: Scalar를 순서(order)가 있게 묶어놓은 것. 수학에서는 벡터, 일상에서는 배열(array) 또는 list라고 부릅니다.Matrix: 벡터가 2차원으로 묶여 있는 것. ..

트랜스포머 아키텍쳐를 기반으로, 대량의 데이터로 미리 학습한 뒤 특정 태스크에 적용하는 Pre-training & Fine-tuning 패러다임이 정착된 시기 BERT트랜스포머의 인코더(Encoder)만 떼어내서 만든 모델. 문장 생성보다는 분류, 이해 등에 특화되어 있다. Pre-training Tasks 학습 방법MLM(Masked Language Modeling)문장의 15%를 가리고 [MASK], 앞뒤 문맥(양방향)을 보고 맞추는 훈련. 이 과정에서 단어 간의 관계를 깊게 학습한다. NSP(Next Sentence Prediction)두 문장을 주고, 두 번째 문장이 첫 번째 문장 바로 뒤에 오는 문장인지 아닌지 맞춘다. 문장 간의 관계를 학습한다. 입력 구조(Embeddings)Token E..

텍스트를 모델이 이해할 수 있는 숫자로 바꾸는 기초 작업 프로세스초기 생성 모델(RNN / Seq2Seq)이 어떻게 작동하는가?어떤 한계를(길이 제어, 다양성 부족)를 가졌는가? Word Representation - 단어의 표현텍스트 생성의 첫걸음은 컴퓨터가 이해할 수 있도록 텍스트를 숫자로 바꾸는 것 One - hot Encoding(원-핫 인코딩)세상에 단어가 10,000개 있다면, 10,000개의 차원을 가진 벡터를 만들고 해당 단어 자리에만 1, 나머지는 0을 넣는 방식 이렇게 하면 '나' 와 '우리' 가 '나' 와 '우주선' 보다 더 비슷한 단어라는 것을 컴퓨터가 알 수 없다. 모든 단어 간의 거리가 똑같이 때문이다. 그리고 0이 너무 많아 메모리 낭비(Sparse)가 심하다. Word Emb..

기초 모델링 RNN의 한계와 LSTM / GRU의 게이트 구조, 그리고 Seq2Seq에서 Attention 메커니즘으로의 발전 과정Transformer & PLMSelf-Attention 수식, Positional Encoding, 그리고 BERT(Encoder) vs GPT(Decoder) vs BART / T5(Encoder-Decoder)의 차이점 및 학습 방식LLM 심화 vs GPT vs BART / T5In-context Learning, Chain-of-Thought(CoT), 그리고 instructGPT의 핵심인 RLHF(SFT -> RM -> PPO) 파이프라인RAG & Search + RAG materialHallucination 해결을 위한 Retrieval 과정, 유사도 계산(Cosi..