심층 분석 · 오픈소스오늘의 AI 브리핑 2/5

3위안·2시간, 64M LLM을 직접 만든다 MiniMind

LLM이 만들어지는 전 과정을 직접 따라가 보고 싶다면?

이미지: GitHub
01정체

초소형 LLM을 처음부터

약 64M 파라미터 언어모델을 처음부터 학습하는 프로젝트예요. 핵심 알고리즘을 외부 프레임워크 없이 PyTorch로 직접 구현했어요.

2시간RTX 3090 1장, SFT 1에폭 기준 GPU 대여비 약 3위안
이미지: GitHub jingyaogong/minimind
02구조

Qwen3와 맞춘 모델 구조

이미지: GitHub jingyaogong/minimind
03학습 과정

사전학습부터 에이전트 RL까지

이미지: GitHub jingyaogong/minimind
04결과물

도구 호출까지 하는 작은 모델

학습한 모델이 계산·시간 조회 같은 도구를 호출하며 대화하는 웹 UI 데모를 제공해요. Apache 2.0으로 완전 무료예요.

이미지: GitHub jingyaogong/minimind

한눈에 정리

  1. 64M 초소형 LLM을 처음부터 학습하는 교육용 프로젝트
  2. RTX 3090 1장·약 2시간·약 3위안이면 SFT 재현
  3. 사전학습~에이전트 RL까지 전 과정을 직접 구현
출처 · GitHub jingyaogong/minimind — 원문 보기
카드뉴스로 보기
← 2026년 11월 20일 (금) AI 브리핑으로