LLM의 내일 / LLM cont'd

본 게시글은 학부 강의 'AI 데이터 표현과 모델링'를 기반으로 이해하고 학습한 내용을 정리하였습니다.

 

Wrap-up

생성형 AI의 큰 그림

 

 

생성형 AI는 위와 같은 5개의 축으로 구성된다고 할 수 있어요.

 

 

 

 

위 그림에서 Representation, Self-supervised, Large-Scale이 합쳐져 World Model이 탄생합니다.

 

 

 

 

LLM은 (거의) 모든 문제를 어떻게 풀까?

 

 

LLM 이전에는 Context를 AI Engine에 넣으면 Answer가 나오는 분리 구조였습니다.

LLM 이후에는 LLM Engine이 Context + Answer 전체를 한 덩어리로 생성하죠.

 

전에 이야기한 조건부 확률 Chain을 다시 리마인드해봅시다.

• 시퀀스를 A 조각(질문)과 B 조각(답)으로 나눌 수 있어요.
• $P(B | A)$는 A(질문)가 주어졌을 때 B(답)가 나올 전체 확률을 의미 합니다.
• A에 잘 맞는 그럴듯한 답 B일수록 likelihood가 높아져요. 그래서 번역, 작문이 됩니다.
• 결국 LLM은 context와 answer 전체 조각이 가장 자연스럽게 블록맞추듯 맞물리도록 만들어내는 엔진입니다.

 

Workflow 비교

Problem Setting 비교

 

단순해졌다는 건 개발자가 아니어도 누구나 쓸 수 있다는 거죠.

예전엔 BERT 전문가가 입력을 가공하고 출력을 해석해 줘야 했지만 지금은 text in $\rightarrow$ text out이 전부입니다.

 

 

 

Pretraining Trainer는 Super Large Data로 기본 LLM을 생성합니다.

Inference Serving은 prompt를 입력하면 answer를 얻는데 이게 ChatGPT와 같은 서비스죠.

Fine-tuning Trainer는 기본 LLM + Domain Data로 특화 모델을 만드는데 조세 정책 ChatGPT 같은게 이런거에요.

 

Source : https://cobusgreyling.medium.com/large-language-model-landscape-61d90f5ca000

 

정말 많은 AI 툴이 생겨났고 위 그림에 있는 AI들은 공부할 필요가 있씁니다. 

 

Source : https://www.researchgate.net/publication/372278221_Large_Language_Models_A_Comprehensive_Survey_of_its_Applications_Challenges_Limitations_and_Future_Prospects

 

 

Source : https://arxiv.org/pdf/2108.07258

 

 

 

 

 

저보다 윗세대 형님들은 이 로고를 보셨을 것 같아요. 

PC에 Intel Inside가 깔리듯, 앞으로는 모든 SW 밑에 Foundation Model이 깔릴 겁니다.

 

 

 

문제 정의는 인간이, 해결은 기게가.

그 간극에 기회가 있습니다.