728x90 반응형 딥러닝10 [KD] On-Policy Distillation of Language Models: learning from Self-Generated Mistakes Instruction일반적으로 student는 teacher보다 더 적은 파라미터를 가지므로, distillation을 통해 teacher보다 적은 추론 비용과 메모리 풋프린트을 유지하면서 특정 작업의 성능을 향상시킬 수 있다. auto-regrressive sequence model을 위한 현재의 distillation 방법은 비용이 많이 들 수 있는 teacher에서 fixed set of output sequences을 생성하거나 teacher가 token-level 확률을 레이블로 할당하는 fixed 시퀀스 데이터를 생성해야한다. 그러나 fixed 데이터셋은 훈련 중 보이는 출력 과 추론 중 생성하는 출력의 분포 불일치를 이끌 수 있다.더불어, 학생은 teacher의 분포를 맞추기에 표현력이 충분.. 2024. 12. 31. 좋은 논문 작성 방법(NLP paer) 1 본 포스팅은 아래 글을 참고하여 작성했음을 알립니다. NLP 논문 작성을 위한 팁 Tips for Writing NLP Papers Over the years I’ve developed a certain standard for writing papers (and doing research in general) that I share verbally with my students… medium.com 1. 콘텐츠 * 이유를 잊지 말아라. 논문은 1) 답변하려는 연구 질문이 무엇인지 2) 왜 중요한지 를 생각해야합니다. 어떻게 할 것인지를 하기전에 왜 해야하는지에 대한 답을 확인해야합니다. * 추상적인 것에서 구체적으로 가라. 기술적인 세부 사항은 method, experiment 세션을 위해 남겨두어야합니.. 2024. 2. 6. AI 연구자의 필수 사이트 * AI conference deadline 한눈에 보기 쉬운 사이트 https://aideadlin.es/?sub=ML,NLP AI Conference Deadlines Note: The workshop is a collaboration between NASSMA organisation, Deepmind and UM6P. NASSMA is an NGO working toward the promotion of STEM and AI education and research in MENA region. aideadlin.es * AI paper 찾아서 보기 좋은 사이트 https://paperswithcode.com/ Papers with Code - The latest in Machine Learning .. 2023. 5. 3. [딥러닝][NLP] special token 추가 오늘은 가볍게 Tokenizer에 special token을 추가하는 방법에 대해 얘기해보겠습니다. 일반적으로 스페셜 토큰을 얘기하면, [CLS], [SEP], ][MASK] 등과 같이 사전학습 Tokenizer에 이미 정의되어 있는 스페셜 토큰을 얘기합니다. 하지만 내가 원하는 토큰 혹은 단어를 스페셜 토큰으로 직접 추가 할 수 있습니다. 스페셜 토큰을 직접 추가하는 이유는 말 그대로 스페셜 토큰으로 정의한 해당 단어를 올바르게 모델이 인식할 수 있게 도와주기 위함이라고 생각합니다. 예를 들어, 고유명사와 같은 단어를 스페셜 토큰으로 정의해 해당 단어를 올바르게 모델에 주입할 수 있겠죠. 그럼 지금부터 스페셜 토큰을 추가하는 방법에 대해 설명하겠습니다. 1. special token 추가 token_l.. 2023. 2. 21. [논문 리뷰] EmotionFlow: Capture the Dialogue Level Emotion Transitions [ABSTRACT] 본 논문에서는 기존의 ERC 연구에서는 감정 확산의 영향에 대해 다루지 않는다고 얘기한다. 따라서 감정 확산의 영향을 고려한 EmotionFlow라는 새로운 아키텍처를 소개한다. 또한 EmotionFlow 입력으로는 대화자들의 이전 발화들을 사용하며, 마지막에는 '[마지막 발화자]의 감정이 어떠니?' 라는 질문식으로 인풋값을 구성한다고 얘기한다. 또한 감정의 순차적 정보(확산 정보?)를 얻기 위해 CRF도 적용한다. 해당 모델은 ERC 벤치마크 데이터셋 중 하나인 MELD에서 준수한 성능을 이끌어낸다. [INTRODUCTION] 본 논문에서는 위 지표를 보여주며, 인접한 대화 턴에 동일한 감정을 가질 가능성이 높다고 얘기한다. > 따라서 감정 확산의 영향을 고려한 ERC 모델이 필요하.. 2023. 1. 14. [딥러닝][NLP] Tokenizer 정리 안녕하세요. 오늘은 NLP 파이프라인의 핵심 구성 요소 중 하나인, Tokenizer에서 대해 살펴보고 정리해보겠습니다. 먼저 토크나이저를 정리하려면, 토크나이징에 대한 개념부터 확실히 해야겠군요. 토크나이징(Tokenizing)이란? 의미가 있는 가장 작은 언어단위(토큰)로 텍스트를 전처리하는 과정입니다. 말이 조금 어려운데 쉽게 생각하면, 모델의 입력에 맞게 전처리해준다라고 생각하면 간편할 것 같습니다. 따라서 토크나이징을 위해 모델에 맞는 토크나이저를 사용하게 됩니다. 왜 모델에 맞는 토크나이저를 사용하냐면, 토크나이징 방식에 따른 차이가 있을 수 있고, 모델의 입력값의 차이도 있기 때문입니다. 예를 들어) Bert의 경우 워드피스 토크나이징 방식을 따르고, 입력으로는 token_ids, token.. 2023. 1. 13. 이전 1 2 다음 728x90 반응형
