ICLR 2021 요새 최적화 이론에 관한 논문을 많이 읽게 되는 것 같아요.AI 가 아니더라도 컴퓨터 과학, 소프트웨어를 개발하게 되어도 가장 코어적인 영역이 아닐까 해서 내실(?)을 다지고자 계속 눈이 가네요. 이제 딥러닝은 기본기니까요. 조금 오래된 논문을 읽어봤습니다. 최적화에 가장 중요한 요소인 Flat Minima에 중요한 개념을 제시하는 논문인 것 같아서요. https://neverthe1ess.tistory.com/398 Flat Minima" data-og-description="https://neverthe1ess.tistory.com/269 [Coursera] Gradient Descent / Deep Learning Specialization우리는 Cost Function $..

사람은 세상을 보며 실패하고, 좌절하고, 실수해서 곤욕도 치르고... 그러면서 성장하는 거죠.이걸 거꾸로 말하면 한 번의 잘못으로 그 사람의 모든 것을 앗아가 버리는 사람 밑에서는 누구도 성장할 수 없다는 말이기도 하고요. 네이버웹툰 화산귀환 中

쓰읍 분명히.... 달러가 이럴리가 없는데 지금... 분명 1400원대는 가야할텐데 말이지.... 저는 미국장을 합니다. 국장은 주로 은행에 가서 신탁을 주로 맡기는 편입니다.제가 국장은 도저히 믿지를 않았... 미국장을 오래하다보니 달러는 물론이요, 이에 대한 환차손익에도 꽤나 신경을 쓰고 있어요. 어찌보면 비트코인에 투자하던 시절보다 더 들여다보게 되는 부작용이 생긴 것 같아 걱정입니다 ㅠ 그렇다고 달러 환율을 본다고 해서 제가 무지성 기도메타를 하며 오르기를 기도하지는 않습니다. 1997년 외환 위기를 기억하시나요.1997년 12월 23일 최고 1달러 당 1995원까지도 올랐던 그 시절. 물론 이 때를 생각하고 지금 달러를 투자한다면 말이 안되겠죠. 하지만 시드머니가 많아지면 달러 투자도..

이제 AI는 단순히 우리가 던져주는 그림, 텍스트 등을 넘어서 우리 인류가 살고 있는 이 세상을 이해하려 합니다. 그래서 등장한 개념이 World Model(World Foundation Model)이죠. 이제 이 세계의 물리적 법칙, 공간, 그리고 시간이 흐른다는 것을 사람처럼 학습시키겠다는건데.... 정말 아이로봇의 탄생이 육박한 것 같습니다. 시간의 흐름까지 예측을 한다는건 이제 진짜 미래를 예측할 수도 있다는 것이겠죠? 그래서 강화학습이 다시 뜨거운 키워드로 급부상한 이유인 것 같습니다. 거기에 인간처럼 보고 듣고 반응하는 능력까지 갖추게 되는 AGI의 시대도 오고 있는 것 같습니다. 최근에 출시한 ChatGPT의 Astra가 그걸 보여주고 있지 않나 싶네요. AI의 머릿속 시뮬레이터가 직접 행동..

ICLR 2024, Google DeepMind 문제 정의자기 회귀 시퀀스 모델(LM)의 Knowledge Distillation에서 학습 시 학생이 보는 시퀀스 분포와 추론 시 학생이 실제로 생성하는 시퀀스 분포가 다르다. 저자가 주장하는 기존 방법의 한계는 이렇습니다. Supervised KD | Hinton et al., 2015 / Sanh et al., 2019고정 데이터셋(정답 시퀀스)의 각 위치에서 교사의 토큰 확률분포를 흉내냅니다. 그러나 추론 시 학생은 자기 자신이 생성한 perfix 위에서 다음 토큰을 예측하므로 학습 때 본 적 없는 상태(자기 실수로 만들어진 prefix)에 놓입니다. 자기회귀 특성상 초기 오류가 뒤로 누적(cascading) 됩니다.imitation lear..