728x90 반응형 딥러닝9 좋은 논문 작성 방법(NLP paer) 1 본 포스팅은 아래 글을 참고하여 작성했음을 알립니다. NLP 논문 작성을 위한 팁 Tips for Writing NLP Papers Over the years I’ve developed a certain standard for writing papers (and doing research in general) that I share verbally with my students… medium.com 1. 콘텐츠 * 이유를 잊지 말아라. 논문은 1) 답변하려는 연구 질문이 무엇인지 2) 왜 중요한지 를 생각해야합니다. 어떻게 할 것인지를 하기전에 왜 해야하는지에 대한 답을 확인해야합니다. * 추상적인 것에서 구체적으로 가라. 기술적인 세부 사항은 method, experiment 세션을 위해 남겨두어야합니.. 2024. 2. 6. AI 연구자의 필수 사이트 * AI conference deadline 한눈에 보기 쉬운 사이트 https://aideadlin.es/?sub=ML,NLP AI Conference Deadlines Note: The workshop is a collaboration between NASSMA organisation, Deepmind and UM6P. NASSMA is an NGO working toward the promotion of STEM and AI education and research in MENA region. aideadlin.es * AI paper 찾아서 보기 좋은 사이트 https://paperswithcode.com/ Papers with Code - The latest in Machine Learning .. 2023. 5. 3. [딥러닝][NLP] special token 추가 오늘은 가볍게 Tokenizer에 special token을 추가하는 방법에 대해 얘기해보겠습니다. 일반적으로 스페셜 토큰을 얘기하면, [CLS], [SEP], ][MASK] 등과 같이 사전학습 Tokenizer에 이미 정의되어 있는 스페셜 토큰을 얘기합니다. 하지만 내가 원하는 토큰 혹은 단어를 스페셜 토큰으로 직접 추가 할 수 있습니다. 스페셜 토큰을 직접 추가하는 이유는 말 그대로 스페셜 토큰으로 정의한 해당 단어를 올바르게 모델이 인식할 수 있게 도와주기 위함이라고 생각합니다. 예를 들어, 고유명사와 같은 단어를 스페셜 토큰으로 정의해 해당 단어를 올바르게 모델에 주입할 수 있겠죠. 그럼 지금부터 스페셜 토큰을 추가하는 방법에 대해 설명하겠습니다. 1. special token 추가 token_l.. 2023. 2. 21. [논문 리뷰] EmotionFlow: Capture the Dialogue Level Emotion Transitions [ABSTRACT] 본 논문에서는 기존의 ERC 연구에서는 감정 확산의 영향에 대해 다루지 않는다고 얘기한다. 따라서 감정 확산의 영향을 고려한 EmotionFlow라는 새로운 아키텍처를 소개한다. 또한 EmotionFlow 입력으로는 대화자들의 이전 발화들을 사용하며, 마지막에는 '[마지막 발화자]의 감정이 어떠니?' 라는 질문식으로 인풋값을 구성한다고 얘기한다. 또한 감정의 순차적 정보(확산 정보?)를 얻기 위해 CRF도 적용한다. 해당 모델은 ERC 벤치마크 데이터셋 중 하나인 MELD에서 준수한 성능을 이끌어낸다. [INTRODUCTION] 본 논문에서는 위 지표를 보여주며, 인접한 대화 턴에 동일한 감정을 가질 가능성이 높다고 얘기한다. > 따라서 감정 확산의 영향을 고려한 ERC 모델이 필요하.. 2023. 1. 14. [딥러닝][NLP] Tokenizer 정리 안녕하세요. 오늘은 NLP 파이프라인의 핵심 구성 요소 중 하나인, Tokenizer에서 대해 살펴보고 정리해보겠습니다. 먼저 토크나이저를 정리하려면, 토크나이징에 대한 개념부터 확실히 해야겠군요. 토크나이징(Tokenizing)이란? 의미가 있는 가장 작은 언어단위(토큰)로 텍스트를 전처리하는 과정입니다. 말이 조금 어려운데 쉽게 생각하면, 모델의 입력에 맞게 전처리해준다라고 생각하면 간편할 것 같습니다. 따라서 토크나이징을 위해 모델에 맞는 토크나이저를 사용하게 됩니다. 왜 모델에 맞는 토크나이저를 사용하냐면, 토크나이징 방식에 따른 차이가 있을 수 있고, 모델의 입력값의 차이도 있기 때문입니다. 예를 들어) Bert의 경우 워드피스 토크나이징 방식을 따르고, 입력으로는 token_ids, token.. 2023. 1. 13. [MLOps][딥러닝][실험] Wandb 간단한 사용법 안녕하세요. 오늘은 머신러닝/딥러닝을 하는데 많은 도움이 될 수 있는 Wandb에 대해 간단히 알아보고 실질적으로 제가 사용한 경험을 토대로 간단한 사용법에 대해 얘기해보도록 하겠습니다. 1. wandb란? wandb는 머신러닝/딥러닝 작업을 하는데 다양한 서비스를 제공하는 MLOps 플랫폼입니다. 저는 엔지니어쪽과는 거리가 있어 MLOps라는 단어를 많이 듣기는 했지만 관심을 가지고 알아본 적은 없었습니다. 하지만 저는 이미 wandb를 사용하고 있었고 MLOps도 이미 많이 상용화된 것을 보고 놀랐습니다. 그렇다면 MLOps는 무엇이고 wandb에서 제공하는 서비스는 무엇일까요?? MLOps는 머신러닝 작업 프로세스를 간소화하고 이후 유지관리 및 모니터링을 하는 작업을 도와주는 서비스이며, 협업이 가.. 2022. 12. 12. 이전 1 2 다음 728x90 반응형
