728x90 반응형 전체 글50 [KD] On-Policy Distillation of Language Models: learning from Self-Generated Mistakes Instruction일반적으로 student는 teacher보다 더 적은 파라미터를 가지므로, distillation을 통해 teacher보다 적은 추론 비용과 메모리 풋프린트을 유지하면서 특정 작업의 성능을 향상시킬 수 있다. auto-regrressive sequence model을 위한 현재의 distillation 방법은 비용이 많이 들 수 있는 teacher에서 fixed set of output sequences을 생성하거나 teacher가 token-level 확률을 레이블로 할당하는 fixed 시퀀스 데이터를 생성해야한다. 그러나 fixed 데이터셋은 훈련 중 보이는 출력 과 추론 중 생성하는 출력의 분포 불일치를 이끌 수 있다.더불어, 학생은 teacher의 분포를 맞추기에 표현력이 충분.. 2024. 12. 31. 연세대학교 인공지능 대학원 관련 정보 2 : 해외 교류 프로그램 with ASU 작년 이맘때쯤 연세대학교 인공지능 대학원 관련 정보에 대한 글을 적었는데, 그때 적지 못했지만 굉장히 유용한 프로그램을 소개 드리고자 합니다. 연세대학교 인공지능 대학원은 방학 중 2주 동안 미국 대학과 교류하여 AI 교육 프로그램을 진행하고 있습니다. 즉 쉽게 말해 2주 동안 미국에 가서 대학에서 AI 관련 교육과 문화를 경험하고, 공부할 수 있습니다. 해당 프로그램은 작년부터 시작해서, 여름/겨울 방학에 각각 USC와 ASU에 다녀오는 것으로 알고 있습니다. 저 같은 경우 ASU에 2주간 다녀왔고 ASU 프로그램 기준으로 후기를 남겨보겠습니다. 1. 프로그램 참가 방법사실 해당 프로그램은 아무나 갈 수는 없습니다ㅜ 당연하게도 미국에 가는 비용* 숙식 모두 제공하기에 인원에 제한은 당연히 있습니다. 따.. 2024. 7. 7. 좋은 논문 작성 방법(NLP paer) 1 본 포스팅은 아래 글을 참고하여 작성했음을 알립니다. NLP 논문 작성을 위한 팁 Tips for Writing NLP Papers Over the years I’ve developed a certain standard for writing papers (and doing research in general) that I share verbally with my students… medium.com 1. 콘텐츠 * 이유를 잊지 말아라. 논문은 1) 답변하려는 연구 질문이 무엇인지 2) 왜 중요한지 를 생각해야합니다. 어떻게 할 것인지를 하기전에 왜 해야하는지에 대한 답을 확인해야합니다. * 추상적인 것에서 구체적으로 가라. 기술적인 세부 사항은 method, experiment 세션을 위해 남겨두어야합니.. 2024. 2. 6. VScode 비밀번호 무한 입력 에러 (feat 리눅스, vi) 학교 서버를 사용하다보면 가끔 비밀번호 입력이 무한루프로 돌 때가 있다. 그럴 때마다, 구글링을 통해 얻은 해결방안은 vscode-server 폴더를 삭제하는 것이다. rm -rf ./.vscode-sever 근데 가끔 이게 안먹힐 때가 있다. 이때는 "can not remove: ~ 다른 장치나 프로세스가 동작중"이라는 식을 뜨는데, 이것은 서버 내에서 내 아이디로 된 프로세스가 돌아가고 있기 때문이다. 이때는 터미널로 ssh 연결을 한 후, 돌아가는 프로세스를 확인하고, 이를 킬하면 된다. ps -ef | grep yuntae~ Kill -9 프로세스 번호 만약에 모두가 안되고 터미널로만 ssh가 연결된다면, 최후의 수단으로 vi 혹은 vim을 통해 코드를 편집하고 돌리는 방법밖에 없다. vi 종료 .. 2023. 9. 12. [서평] 챗GPT 거부할 수 없는 미래 [리뷰] 이 책은 20년 넘게 IT 분야에서 근무하고 계시면서, "딥러닝 텐서플로 교과서" "딥러닝 파이토치 교과서" 저자이신 서지영님의 저서이다. 2023년 3월-4월부터 지금까지 인공지능 분야에서 가장 뜨거운 관심을 받고 있는 주제는 챗GPT와 LLM(Large Language Model)이다. 이렇게 뜨거운 관심을 받고 있는 이유는 무엇일까? 그 답은 우리의 질문에 적절한 답변을 해줄 수 있는 언어지능을 가졌기 때문이라고 생각한다. 많은 사람들은 자기가 궁금해하는 질문 혹은 관심사에 대해 검색(구글링)을 해서 그 해답을 알아낸다. 검색을 하고 나온 관련 문서들에서 내가 원하는 정답을 찾아내기 위해 노력한다. 하지만 챗지피티는 이런 노력없이 우리의 질문에서 스스로 답을 알려준다. 우리가 스스로 답을 .. 2023. 9. 4. ETRI 휴먼이해 인공지능 논문경진대회 후기(feat .국내학술대회) 1. ETRI 휴먼이해 인공지능 논문경진대회 ETRI 휴먼이해 인공지능 논문경진대회란? 인간과 교감할 수 있는 인공지능을 구현하고 사람의 행동과 감정을 이해하는 기술 연구를 확산시키고 창의적인 연구를 발굴하는 경진대회입니다. 주최는 한국전자통신연구원(ETRI) 그리고 운영은 인공지능 팩토리로 대회가 진행됐습니다. 본 대회는 주어진 한국어 ERC(Emotion Recognition in Conversation) 데이터 셋을 활용하여 휴먼이해 인공지능 기술 연구를 진행하여, 논문을 2023 한국컴퓨터종합학술대회에 투고하는 절차로 진행됩니다. 자세한 대회 설명은 링크를 참조해주시기 바랍니다. 2. 논문 작성 및 후기 필자는 4명이 한 팀으로 멀티모달 감정 데이터셋 활용 감정 인식 기술 분야에 참가했습니다. 필.. 2023. 8. 4. 이전 1 2 3 4 ··· 9 다음 728x90 반응형
