내가 지금 학습할 데이터를 누가, 어떤 상태(state)에서 모아왔는가? On-Policy내가 직접 부딪히며 싸운다. 현재 내 상태, 내 실력(현재의 policy)으로 직접 환경과 부딪혀가며 얻은 경험 데이터만 가지고 학습하는 방식 자전거 타는 법을 떠올리자.한 쪽으로 기울어 내가 넘어질 것 같은 느낌이 들 때, 상황에 맞게 핸들을 트는 판단. 직접 페달을 밟다가 비틀거리는 순간에 그 즉시 내가 수정해가며 배우는 방식이라 할 수 있다. 학생(Student) 모델이 사진이 부족해 자기 멋대로 엉성한 3D Gaussian을 만들고, 그 엉성한 상태에서 카메라를 돌려 렌더링을 해본다고 하자. 이때 자기가 직접 만든 엉성한 시점과 상태(On-policy trajectory) 위에서 "내가 만든 틀렸구..
분명 제대로 이해한 줄 알았는데... 왜 교수님 니즈를 이해 못하고 있는건가. 논문을 좀 깊이 읽어봐야 하나. 수학 지능이 문제가 아닌 것 같은데. 일단 plug-in 해볼 수 있는 건 다 해봐서 가져가야겠다.
인턴 끝. 대학생 인생 중 가장 꽉찬 방학을 보냈다. 고단했기에, 무언가를 얻고 떠날 수 있었던 방학. 연구란게 너무 추상적인 작업 같다. 공부는 뭔가라도 했다라는 내 머리 속의 잔상이 있다. 연구는 그렇지 않더라고. 정말 치열하고 바쁘게 연구했다 한들 다시 돌이켜 보면 내가 무엇을 했는지 아무것도 한게 없는 것처럼 느껴지는 날의 연속이었다. 단지, 내가 더 나아져 있기를 바라고만 있을 뿐이었다. 언젠가 바뀐 내 자신을 볼 수 있을까? 공부는 내 지식이 더 나아짐을 체감하게 해주지만연구는 내 지식이 부족함을 여실히 드러나게 해주었다. 가장 확실한 건 연구는 공부가 아니더라고.공부만 했다고 연구가 되는 것도 아니더라고.
나도 로봇 가지고 놀고 싶어 이제 한 물 간 기법 중에 하나라고 생각했습니다.하지만 젠슨 황 회장님께서 Physical AI를 선언하셨습니다. LLM이 등장하고 부터Post training등이 다시 대두되면서, 거기에 로봇 파워에 힘입어 개같이 부활한 개념이죠. 강화학습은 어떤 학습을 위해 만들어진걸까요?? 지금에서 action을 로봇에 대응이 되지만이전부터 action은 그냥 행위입니다. 알파고 같은 경우는 바둑돌을 어디에 놓는지가 해당되죠. '에이전트'가 잘 행동하게 하자 딥러닝은 network가 핵심 엔진이라고 한다면강화학습은 network가 물론 될 수 있지만, 에이전트라는 핵심 단어로 해서 에이전트를 잘 학습시켜보자는게 key입니다. 위 그림에서 지구가 에이전트이자 polic..
