728x90 반응형 전체 글12 🚀 왜 LLM 서빙은 결국 vLLM인가? : 추론 성능의 판도를 바꾼 핵심 기술 최근 LLM을 실제 서비스에 이식하려는 엔지니어들이 공통적으로 마주치는 벽이 있습니다."분명 A100 GPU를 쓰는데 왜 이렇게 느리지?""사용자가 10명만 넘어가도 응답 시간이 수십 초로 늘어나요."모델의 파라미터가 아무리 훌륭해도, 이를 사용자에게 전달하는 '서빙(Inference)' 최적화가 안 되어 있다면 빛 좋은 개살구에 불과합니다. 현재 업계에서 "LLM 서빙 = vLLM"이라는 공식이 성립된 이유, 그 구조적 비밀을 파헤쳐 봅니다.1. 기존 서빙 방식의 한계: "비싼 GPU가 놀고 있다"HuggingFace Transformers 기반의 단순 서빙 방식은 크게 세 가지 고질병을 앓고 있습니다.KV-Cache 메모리의 파편화(Fragmentation): 모델이 다음 토큰을 생성할 때 필요한 데.. 2026. 3. 18. 솔직한 인공지능 대학원 석사 졸업 후기(2): 논문 작성 안녕하세요! 지난 글에 이어 이번에는 **연세대학교 인공지능대학원 석사 졸업 과정 중 ‘논문 및 졸업심사 관련 절차’**를 정리해보았습니다. 석사를 준비 중인 분들이나 곧 졸업을 앞둔 분들께 도움이 되길 바라며, 제가 실제 경험한 내용을 중심으로 쉽게 풀어보겠습니다. 1. 석사 졸업 요건 – 논문 1편 필수!AI대학원 석사 졸업을 위해서는 논문 1편 이상이 필요합니다. 아래 중 하나의 조건을 충족해야 합니다.졸업 요건설명✅ 해외 탑티어 학회 제출NAACL, ACL, NeurIPS, ICML 등✅ 국내외 공인 학회 또는 저널에 게재KCC, KCI급 논문 등☝️주의: “제출(submission)”과 “등재(acceptance)”는 다릅니다!졸업 요건에서는 ‘제출’만으로도 인정됩니다.단, 연구실마다 교수님이 .. 2025. 10. 26. 솔직한 인공지능 대학원 석사 졸업 후기(1) 저는 연세대학교 인공지능대학원 석사과정을 마치고 졸업했습니다.입학 전에는 ‘졸업 요건이 복잡하지 않을까?’ 걱정도 많았는데, 실제로는 체계적으로 준비하면 충분히 무리 없이 마칠 수 있었습니다.이번 글에서는 입학을 준비하시는 분들, 그리고 졸업을 앞둔 분들을 위해 제가 경험한 졸업 요건과 준비 과정을 정리해보려 합니다 1. 졸업 요건 한눈에 보기연세대학교 인공지능대학원 석사 졸업 요건은 크게 3가지로 나눌 수 있습니다.(1) 학점 이수총 30학점 이상을 이수해야 합니다.이 중 세부 조건은 다음과 같습니다.AI/CS 핵심과목: 12학점 이상 이수, 그중 9학점 이상은 B+ 이상창업 또는 AI+X 과목: 1과목 이상 이수, B+ 이상 필수연구지도(개별연구): 1회 이상 청강연구윤리: 의무 청강(2) 논문 게.. 2025. 10. 8. 대한민국 AI 국가대표 선정? 지금 어디까지 왔을까? 최근 가장 흥미로운 과제 중 하나는 바로 정부가 주도하는 ‘독자 AI 파운데이션 모델’ 개발 사업, 일명 국가대표 인공지능 선발전입니다.이 사업은 단순한 R&D 지원과 함께 한국형 LLM(대형언어모델)을 만들어 글로벌 경쟁에 본격적으로 뛰어들겠다는 의지가 담겨 있습니다. 정부는 총 15개의 컨소시엄을 모집했으며, 이들 중 최종적으로 5팀만 선정됩니다.1차 서면평가 통과 기업 (Top 10)지난 7월 21일 마감된 공모에는 15개 팀이 지원했으며, 7월 25일 1차 서면 평가를 통과한 10팀이 공개됐습니다.선정된 곳은 다음과 같습니다: 1네이버클라우드2모티프테크놀로지스3업스테이지4에스케이텔레콤5엔씨에이아이6엘지경영개발원 AI연구원7카카오8케이티9코난테크놀로지10한국과학기술원(KAIST) 여기엔 익숙한 빅.. 2025. 7. 27. 한국의 AI 국가대표, 누가 될까? 최근 과학기술정보통신부가 발표한 **‘독자 AI 파운데이션 모델 프로젝트’**가 AI 업계의 주목을 받고 있습니다. AI 국가대표를 선발해 최대 1000억 원 규모의 투자를 집행하고, 우리나라만의 AI 모델을 개발하겠다는 정부의 계획입니다.이번 사업은 일명 ‘월드베스트 LLM’으로 불리며, 대한민국 AI 기술 자립을 위한 핵심 과제로 떠오르고 있습니다. 특히 어떤 기업이 이 프로젝트의 주축이 될지가 업계의 주요 관심사입니다.대한민국, 소버린 AIAI 패권 경쟁이 그 어느 때보다 치열해지고 있습니다. 단순히 한 기업의 경쟁이 아니라, 국가 간 AI 주권 전쟁으로 확전되는 분위기입니다. 글로벌 빅테크 기업들이 거대 AI 파운데이션 모델을 선점하면서, 데이터 주권, 산업 주권까지 흔들릴 위기에 놓인 것입니다... 2025. 7. 19. 한국의 소버린 AI를 위한, HyperCLOVA X SEED를 소개합니다 AI 기술이 전 세계적으로 빠르게 발전하고 있는 가운데, 한국의 소버린 AI 생태계 조성을 위해 네이버의 HyperCLOVA X SEED이 등장했습니다. ‘SEED’라는 이름에서 알 수 있듯, 이 모델은 한국 AI 생태계에 뿌려진 작은 씨앗과 같은 존재입니다. 누구나 접근 가능하도록 상업적 사용이 가능한 오픈소스로 공개되어, 국내 기업과 개발자들이 자사 서비스에 맞게 모델을 튜닝하여 활용할 수 있습니다. 총 3가지 모델(3B, 1.5B, 0.5B)로 구성되어 있으며, 각 모델은 텍스트 생성부터 이미지 이해까지 다양한 분야에 맞춤형 성능을 제공합니다.HyperCLOVA X SEED 3B가장 큰 규모를 자랑하는 3B 모델은 텍스트와 이미지를 동시에 이해하는 멀티모달 AI로, 특히 한국어 및 한국 문화 맥락의.. 2025. 5. 1. 이전 1 2 다음 728x90 반응형
