728x90 반응형 분류 전체보기5 [KD] On-Policy Distillation of Language Models: learning from Self-Generated Mistakes Instruction일반적으로 student는 teacher보다 더 적은 파라미터를 가지므로, distillation을 통해 teacher보다 적은 추론 비용과 메모리 풋프린트을 유지하면서 특정 작업의 성능을 향상시킬 수 있다. auto-regrressive sequence model을 위한 현재의 distillation 방법은 비용이 많이 들 수 있는 teacher에서 fixed set of output sequences을 생성하거나 teacher가 token-level 확률을 레이블로 할당하는 fixed 시퀀스 데이터를 생성해야한다. 그러나 fixed 데이터셋은 훈련 중 보이는 출력 과 추론 중 생성하는 출력의 분포 불일치를 이끌 수 있다.더불어, 학생은 teacher의 분포를 맞추기에 표현력이 충분.. 2024. 12. 31. 연세대학교 인공지능 대학원 관련 정보 2 : 해외 교류 프로그램 with ASU 작년 이맘때쯤 연세대학교 인공지능 대학원 관련 정보에 대한 글을 적었는데, 그때 적지 못했지만 굉장히 유용한 프로그램을 소개 드리고자 합니다. 연세대학교 인공지능 대학원은 방학 중 2주 동안 미국 대학과 교류하여 AI 교육 프로그램을 진행하고 있습니다. 즉 쉽게 말해 2주 동안 미국에 가서 대학에서 AI 관련 교육과 문화를 경험하고, 공부할 수 있습니다. 해당 프로그램은 작년부터 시작해서, 여름/겨울 방학에 각각 USC와 ASU에 다녀오는 것으로 알고 있습니다. 저 같은 경우 ASU에 2주간 다녀왔고 ASU 프로그램 기준으로 후기를 남겨보겠습니다. 1. 프로그램 참가 방법사실 해당 프로그램은 아무나 갈 수는 없습니다ㅜ 당연하게도 미국에 가는 비용* 숙식 모두 제공하기에 인원에 제한은 당연히 있습니다. 따.. 2024. 7. 7. 대학원 연구실 컨택하는 법(feat. 교수님께 메일 보내기) 주변에서 대학원에 대해 물어보면, 꼭 질문하는 것이 교수님 컨택 시기입니다. 사실 자신이 대학원 진학을 결심한 상태라면 지체할 필요는 없습니다. 바로 컨택을 하면 됩니다. 그런데 어떻게 컨택을 해야할까요? 무작정 메일을 보내거나 찾아가면 될까요? 자대 소속학과의 교수님이고 안면이 있는 관계라면 아마도 쉽게 컨택을 할 수 있을 것이라고 생각합니다. 하지만 보통은 자대여도 교수님들이 학생들을 모두 기억하지는 않죠. 기억하고 있다면 두 가지 중 하나 입니다. 엄청 뛰어나거나 엄청 문제가 있거나ㅎㅎ 아무튼 대학원에 진학한다면, 자대&타대를 불문하고 교수님께 정중하게 메일을 먼저 보내는 것이 우선입니다. 그 전에는 자신이 원하는 연구실을 찾는 것은 필수이겠죠! 그래서 오늘은 대학원 연구실에 컨택하는 법에 대해 얘.. 2023. 7. 13. 솔직한 연세대학교 인공지능 대학원 관련 정보 최근 챗 지피티와 함께 인공지능 분야가 화제가 되면서 인공지능 대학원의 인기가 늘어나고 있는 것 같습니다. 인공지능 대학원 합격 후기에 대한 글에서 몇몇분들도 댓글로 물어볼만큼 인공지능 관련 연구를 하고싶거나 혹은 인공지능 분야에 도전해보고 싶은 많은 분들이 인공지능 대학원에 대한 정보를 찾고 계신 것 같습니다. 그래서 이 글을 통해 제가 연세대학교 인공지능 대학원을 다니면서 보고 듣고 알게된 실질적인 정보를 알려드리도록 하겠습니다. 1. 연구실 및 분위기 통상적으로 대학원에 입학한 첫 학기생이라면, 지도교수님이 있는 케이스와 없는 케이스 두 가지로 나눠질 수 있습니다. 지도교수님이 있다면, 교수님의 지도하에 연구를 하거나 국가*민간 과제를 수행하는 경우가 많습니다. 그리고 아직 지도교수님을 컨택하지 못.. 2023. 7. 7. 솔직한 인공지능 대학원 준비 및 합격 후기 인공지능 대학원을 준비하는 분들을 위해 후기를 남겨봅니다. 저는 한양대, 성균관대, 연세대를 지원했고 3곳 모두 최종합격 했습니다. 1. 준비 및 스펙 사실 저는 대학원에 대한 생각이 처음부터 있었던 것은 아니었고 좀 뒤 늦게 대학원 진학을 결심했습니다. 그래서 대학원 입시를 위한 기초 수학(선형대수, 확*통), 프로그래밍, 인공지능 기초 개념 등을 차근차근 공부하기 시작했습니다. 그리고 꾸준히 내가 어떤 연구를 할지도 생각하면서, 자기소개서와 연구계획서도 미리미리 작성하였습니다. 선형대수, 확*통 같은 수학 과목들은 현펜하임, 쑤튜브 등 유튜브에 잘 정리된 영상을 보면서 공부했습니다. 프로그래밍은 코테준비하듯이 자료구조나 알고리즘에 대한 개념을 익히면서 알고리즘 문제를 조금씩 풀어봤습니다. 마지막으로 .. 2023. 1. 29. 이전 1 다음 728x90 반응형
