이제 AI는 단순히 우리가 던져주는 그림, 텍스트 등을 넘어서 우리 인류가 살고 있는 이 세상을 이해하려 합니다. 그래서 등장한 개념이 World Model(World Foundation Model)이죠. 이제 이 세계의 물리적 법칙, 공간, 그리고 시간이 흐른다는 것을 사람처럼 학습시키겠다는건데.... 정말 아이로봇의 탄생이 육박한 것 같습니다. 시간의 흐름까지 예측을 한다는건 이제 진짜 미래를 예측할 수도 있다는 것이겠죠? 그래서 강화학습이 다시 뜨거운 키워드로 급부상한 이유인 것 같습니다. 거기에 인간처럼 보고 듣고 반응하는 능력까지 갖추게 되는 AGI의 시대도 오고 있는 것 같습니다. 최근에 출시한 ChatGPT의 Astra가 그걸 보여주고 있지 않나 싶네요. AI의 머릿속 시뮬레이터가 직접 행동..

ICLR 2024, Google DeepMind 문제 정의자기 회귀 시퀀스 모델(LM)의 Knowledge Distillation에서 학습 시 학생이 보는 시퀀스 분포와 추론 시 학생이 실제로 생성하는 시퀀스 분포가 다르다. 저자가 주장하는 기존 방법의 한계는 이렇습니다. Supervised KD | Hinton et al., 2015 / Sanh et al., 2019고정 데이터셋(정답 시퀀스)의 각 위치에서 교사의 토큰 확률분포를 흉내냅니다. 그러나 추론 시 학생은 자기 자신이 생성한 perfix 위에서 다음 토큰을 예측하므로 학습 때 본 적 없는 상태(자기 실수로 만들어진 prefix)에 놓입니다. 자기회귀 특성상 초기 오류가 뒤로 누적(cascading) 됩니다.imitation lear..

일종의 파생상품 미래의 특정 날짜에 미리 정한 가격으로 특정 기업의 주식을 사고팔기로 하는 약속이에요. 말이 약속이지 실제로는 계약이라고 봐야겠죠. 지키지 않으면 큰일난다 이겁니다. 나 지금 이거 다음 달의 오늘에 팔꺼야 현재 시점에서 가격과 만기일을 정합니다.그리고 그 미래에 그 가격대로 거래를 진행하는거죠. 왜 사람들이 위험하다고 하는가?레버리지 효과가 있기 때문입니다.적은 금액의 증거금만으로 계약을 체결해요. 그러기 때문에 실제 주식 매수보다 적은 자본으로 큰 투자 수익을 낼 수 있습니다. 그리고 양방향으로 투자가 가능해요. 숏 롱 들어보셨나요? 주식이 오를 것이라고 예상하면 매수(롱)주식이 내릴 것으로 예상하면 매도(숏) 예시를 한 번 들어보죠. 평행세계의 다른 대한민국에서 삼..

요즘 지금과 비슷한 경험이 떠오를 때 생각나는 사람이 있다면 나는 인복이 많은 사람이었던 느낌이 들 때가 있다. 그때 그때 잘 만나고 잘 헤어져야지.

비즈니스에서 가장 위대한 것은 혼자서 할 수 있는 일이 아니라는 것이다.Steve Jobs