a16z · Y Combinator · Lenny's Podcast · First Round 등 세계 창업가·투자자의 강연과 글을 한국어로 정리한 브리핑. 원문 링크를 함께 둡니다.
Andrej Karpathy — AI 연구자, OpenAI 공동창립자·전 테슬라 AI 책임자 안드레이 카파시. 자세히
안드레이 카파시는 LLM을 맥락 창과 외부 도구가 결합된 시스템으로 설명한다. 검색, 문서 읽기, 코딩, 음성 활용 사례와 결과를 검증해야 하는 이유를 정리했다.
안드레이 카파시는 언어모델의 사전학습, 대화 학습, 강화학습을 따라가며 환각과 계산 오류가 생기는 이유, 도구 사용의 역할, 추론 모델의 한계를 설명한다.
안드레이 카파시는 GPT-2 구조를 직접 구현하고 학습 속도를 개선한 뒤, 공개된 모델과 검증 손실 및 HellaSwag 성능을 비교했다.
