ICLR 2024, Google DeepMind 문제 정의자기 회귀 시퀀스 모델(LM)의 Knowledge Distillation에서 학습 시 학생이 보는 시퀀스 분포와 추론 시 학생이 실제로 생성하는 시퀀스 분포가 다르다. 저자가 주장하는 기존 방법의 한계는 이렇습니다. Supervised KD | Hinton et al., 2015 / Sanh et al., 2019고정 데이터셋(정답 시퀀스)의 각 위치에서 교사의 토큰 확률분포를 흉내냅니다. 그러나 추론 시 학생은 자기 자신이 생성한 perfix 위에서 다음 토큰을 예측하므로 학습 때 본 적 없는 상태(자기 실수로 만들어진 prefix)에 놓입니다. 자기회귀 특성상 초기 오류가 뒤로 누적(cascading) 됩니다.imitation lear..

일종의 파생상품 미래의 특정 날짜에 미리 정한 가격으로 특정 기업의 주식을 사고팔기로 하는 약속이에요. 말이 약속이지 실제로는 계약이라고 봐야겠죠. 지키지 않으면 큰일난다 이겁니다. 나 지금 이거 다음 달의 오늘에 팔꺼야 현재 시점에서 가격과 만기일을 정합니다.그리고 그 미래에 그 가격대로 거래를 진행하는거죠. 왜 사람들이 위험하다고 하는가?레버리지 효과가 있기 때문입니다.적은 금액의 증거금만으로 계약을 체결해요. 그러기 때문에 실제 주식 매수보다 적은 자본으로 큰 투자 수익을 낼 수 있습니다. 그리고 양방향으로 투자가 가능해요. 숏 롱 들어보셨나요? 주식이 오를 것이라고 예상하면 매수(롱)주식이 내릴 것으로 예상하면 매도(숏) 예시를 한 번 들어보죠. 평행세계의 다른 대한민국에서 삼..

요즘 지금과 비슷한 경험이 떠오를 때 생각나는 사람이 있다면 나는 인복이 많은 사람이었던 느낌이 들 때가 있다. 그때 그때 잘 만나고 잘 헤어져야지.

비즈니스에서 가장 위대한 것은 혼자서 할 수 있는 일이 아니라는 것이다.Steve Jobs

내가 지금 학습할 데이터를 누가, 어떤 상태(state)에서 모아왔는가? On-Policy내가 직접 부딪히며 싸운다. 현재 내 상태, 내 실력(현재의 policy)으로 직접 환경과 부딪혀가며 얻은 경험 데이터만 가지고 학습하는 방식 자전거 타는 법을 떠올리자.한 쪽으로 기울어 내가 넘어질 것 같은 느낌이 들 때, 상황에 맞게 핸들을 트는 판단. 직접 페달을 밟다가 비틀거리는 순간에 그 즉시 내가 수정해가며 배우는 방식이라 할 수 있다. 학생(Student) 모델이 사진이 부족해 자기 멋대로 엉성한 3D Gaussian을 만들고, 그 엉성한 상태에서 카메라를 돌려 렌더링을 해본다고 하자. 이때 자기가 직접 만든 엉성한 시점과 상태(On-policy trajectory) 위에서 "내가 만든 틀렸구..