Stanford CS229 I Machine Learning I Building Large Language Models (LLMs)

For more information about Stanford’s Artificial Intelligence programs visit: https://stanford.io/ai

This lecture provides a concise overview of building a ChatGPT-like model, covering both pretraining (language modeling) and post-training (SFT/RLHF). For each component, it explores common practices in data collection, algorithms, and evaluation methods. This guest lecture was delivered by Yann Dubois in Stanford’s CS229: Machine Learning course, in Summer 2024.

Yann Dubois
PhD Student at Stanford
https://yanndubs.github.io/

About the speaker: Yann Dubois is a fourth-year CS PhD student advised by Percy Liang and Tatsu Hashimoto. His research focuses on improving the effectiveness of AI when resources are scarce. Most recently, he has been part of the Alpaca team, working on training and evaluating language models more efficiently using other LLMs.

To view all online courses and programs offered by Stanford, visit: http://online.stanford.edu

Chapters:
00:00 – Introduction
00:10 – Recap on LLMs
00:16 – Definition of LLMs
00:19 – Examples of LLMs
01:16 – Importance of Data
01:20 – Evaluation Metrics
01:33 – Systems Component
01:41 – Importance of Systems
01:47 – LLMs Based on Transformers
01:57 – Focus on Key Topics
02:00 – Transition to Pretraining
03:02 – Overview of Language Modeling
04:17 – Generative Models Explained
05:15 – Autoregressive Models Definition
06:36 – Autoregressive Task Explanation
07:49 – Training Overview
08:48 – Tokenization Importance
10:50 – Tokenization Process
13:30 – Example of Tokenization
16:00 – Evaluation with Perplexity
20:50 – Current Evaluation Methods
24:30 – Academic Benchmark: MMLU

source

Categories: Blog

Tags: StanfordStanford Online

48 Comments

@sayeedahmed1232 · October 24, 2026 at 11:26 am

The content is amazing I will come back to watch it again.

@BeechupalliNaidu-t1f · October 24, 2026 at 11:26 am

Your explanation is exactly what I needed It deserves more views.

@subusu1554 · October 24, 2026 at 11:26 am

The content is exactly what I needed This deserves recognition.

@AnupamKasyap-q9e · October 24, 2026 at 11:26 am

I can t wait for the next upload.

@DipakSolnki-f1y · October 24, 2026 at 11:26 am

Keep shining

@RinaSharma-m6b · October 24, 2026 at 11:26 am

Big respect

@MaheshMeena-p8r · October 24, 2026 at 11:26 am

I came, I watched, I subscribed.

@SokveearKumsr · October 24, 2026 at 11:26 am

This is pure gold.

@Sabnam-d9u · October 24, 2026 at 11:26 am

I learned something new today.

@PriyankaDevi-d9z1i · October 24, 2026 at 11:26 am

Fantastic content as always.

@Gopal-i3f8u · October 24, 2026 at 11:26 am

Excellent job.

@HiteshMeena-s2m · October 24, 2026 at 11:26 am

Amazing from start to finish.

@GuadalupeRangel-v3d · October 24, 2026 at 11:26 am

If quality had a face, it would be this video.

@vijaybgood · October 24, 2026 at 11:26 am

Thank You Sir…

@जयश्रीराम-ढ4घ · October 24, 2026 at 11:26 am

The replay button is getting tired.

@MahinooriM · October 24, 2026 at 11:26 am

Everything about this video is enjoyable.

@avinashdhiwar2948 · October 24, 2026 at 11:26 am

I learned something new today.

@Sasikala-c6k4g · October 24, 2026 at 11:26 am

This should be illegal… it s too good

@rinkusing486 · October 24, 2026 at 11:26 am

This made my day.

@ionutboss1266 · October 24, 2026 at 11:26 am

18:45 gpt4 primul model care are tokeni, scrierea de cod de informatică si cifrele sunt greu de scris ca token, de obicei literele și cuvintele sunt scrise cu tokenuri

28:00 contaminare egal când datele pe care antrenezi modelul sunt deja raspunsurile din niște teste/benchmark uri pe care vrei să i le dai după aceea și spune că dacă vrei să crești performanța modelelor ca și companie privată, nu contează treaba asta, în schimb dacă ești în zona academică facultate și vrei să testezi valoarea unui model a i conteaza să verifici că modelul nu a fost antrenat deja cu răspunsurile și întrebările din textul pe care urmează să i le dai. A zis că sunt niște metode prin care poți să verifici dacă a fost contaminat sau nu modelul când a fost trainuit

29:00 the Internet is very dirty and we don't want that :))
Pe ce antrenezi modele de ai

29:40 Zice descarci tot internetul prin crawlers, commun crawl e model cunoscut care înseamnă 250 de miliarde de pagini online și asta înseamnă în Gb un pentalion de giga
Adica super mare dimensiune
Și da exemplu de o pagină web care efectiv avea propozitiile scrise greșit Nici măcar nu aveau sens și nu erau terminate și de asta zice că nu este un data training set bun, cred că unele bune sunt cărțile scrise de oameni
Random internet nu e bun 30:12

30:58 pasi pt extras date si antrenat model
PII stands for Personally Identifiable Information si nu e bun ca data, există niște site uri banate pe care nu le scanează

32:20 interesant practic omul aici Descrie cum organizeaza internetul după ce l ai descărcat trebuie să cureți acele date ca să fie folosibile, ștergi duplicatele șterge datele care nu sunt utile, muncești mult la curățarea datelor
34:10 linkurile care vin de pe Wikipedia sunt considerate mult mai valoroase pentru că se presupune că cineva le a verificat și sunt de calitate cu pagini web reale nu random internet

35:00 zice că în faza de pre training a modelului atunci când scanează internetul și organizează datele trebuie să clasifice site urile în funcție de niște categorii principale și să le dea note să le prioritizeze sau să le traga în spate, și da exemplu ca de obicei cărțile și codul de programe sunt apreciate pentru că sunt calitative și ajută modelul să devină mai deștept să se exprime mai bine să gândească mai bine, categoria de entertainment este deprioritizata, adică e lăsată în urmă, pentru că nu e calitativă
și asta este foarte amuzant comparativ cu ce fel de conținut CONSUMA oamenii in GENERAL că de obicei consumă entertainment care pentru calculatoare e considerat pierdere de timp dar pentru oameni creează plăcere nu utilitate și dezvoltare

37:45 Cică în echipa lama de la Facebook lucrează 70 de oameni din care 15 sunt pentru procesarea datelor după ce au fost filtrate automat și zice că acolo e printre cele mai mari echipe pentru că la ceilalți pași nu ai nevoie de mulți oameni, ai nevoie de multă putere de procesare și calculatoare
39:30 800gb la nush cate miliarde de gb
2 trilioane de tokens si 15 trilioane

41:00 zice că la large language model cu cât antrenezi pe un set de date mai mare și mai calitativ cu atât este mai bun și mai deștept modelul

46:00 Cum faci planul ca management în ce ordine și cum trainuiesti modelele, zice că dacă ai avea 30 de plăci grafice pentru o lună în ce ordine și cum ai antrenat modelele pe care le ai?
De obicei era un model o zi și foloseai ultimul model care era cel mai bun, doar că era antrenat o singură zi și acum el recomandă un alt pipeline, cu o altă ordine respectiv la început testezi cât mai mulți parametri pe modele mici ca să identifici niște chestii de bază și de abia după aceea insiști pe chestiile pe care le ai descoperit anterior
Zice că antrenezi mai multe modele mici și apoi le testezi să îți dai seama care dintre acele modele are șanse să devină mai bun și mai performant și doar pe ăla investești după aceea 27 de zile ca să îl crești dar tu îl testezi când el e încă mic fără să investești foarte multe resurse în el

49:10 el zice aici că foarte mulți oameni pierd prea mult timp pe arhitectură și că nu e neapărat util pentru că diferențele sunt mici și chiar dacă chiar model puțin mai ineficient îl mai antrenez 10 ore în plus sau apare un model de calculator mai puternic care îl ajută să recupereze pentru că diferențe sunt foarte mici
~~~ și mi se pare foarte interesantă chestia asta legată de in ce aloci să investești timp și merită să își păstreze valoarea în timp versus în chestii care își pierd valoarea în timp și nu merită să petreci foarte mult timp pe ele ~~~~
49:25 Contează mult mai mult, aproape cel mai mult contează datele pe care antrenezi modelul, nu arhitectura modelului
54:43 si aici zice la fel compute power mereu o sa creasca, conteaza sistemele si data
55:04 ~~~don't spend time overcomplicating, do the simple ones do them well and see all of them, asta e folozofia celor de la open ai~~

49:41 o întrebare dilemă interesantă zice cum ar fi mai bine să antrenezi un model mai mic pe mai multe data, daca am aflat că data foarte importante sau să antrenezi un model mai mare care din start e mai bun dar pe data mai puține și zice că asta este un studiu făcut care verifică acest echilibru dintre cele două
Chinchilla paper study
Care a analizat mai multe modele de llm-uri si a făcut un grafic în care a tras o medie între Valoarea totală a datelor și dimensiunea modelului în tokeni și practic pe acel grafic poți foarte ușor în funcție de cât de mare vrei să fie să afli cât de date ai nevoie ca să fie bun
E fix ca la formulele de fizica

57:30 prețuri și costuri făcute de lama Meta ca să antreneze modelul Open source de ai 75 mil euro 70de zile
S a produs CO2 cât pentru 2000 de bilete de avion din Jfk NYC până în Londra adică transatlantic, zice că momentan încă nu este o problemă dar la noi modele de GPT6 când o să fie x 100 Atunci o să fie o problemă cu poluarea

1:06:00 ~~~~~ aici zice de antrenarea unui model cu date sintetice care sunt generate de un alt ai pe baza unor date reale și zice că tu numai trebuie să trainuiesti modelul nou cu date și îi spui ce să aleagă din datele pe care, deja le are pentru că deja știe cinci șase tipologii de oameni cum ar scrie și cum ar vorbi el acum trebuie să aleagă pe care să le muleze mai mult nu să învețe cum să facă asta că deja știe și știe mai multe tipologii diferența este pe care o alegi să o folosești Care e cea mai bună și de ce?
. 1:07:29 funny că profesorul răspunde la o întrebare din public fix cu ce am spus eu mai devreme. Spune că Varianta cea mai bună este datele care sunt generate de calculator și după aceea sunt editate de un om pentru că e mult mai ușor să editezi decât să generezi text de la 0, Plus că nu e o întrebare de ori, e cum le faci să lucreze împreună calculatorul și omul? și spune că e nevoie de om ca să aleagă textele care sunt bune din cele generate de ai
Deci selectia datelor este mai importantă decât cum sunt generate datele ~~~~

1:10:00 zice că în procesul de antrenare al 1 llm se încearcă practic clonarea comportamentului oamenilor problema este că oamenii sunt limitați dacă îi clonezi unul la unul nu e bine pentru că este un model mai prost :))) trebuie să sune ca un om normal doar că trebuie să gândească mult mai deștept si mai eficient, adica ca un calculator
Oamenii nu știu să genereze cel mai bun rezultat autocam posibil ei știu să genereze chestii care sunt plăcute subiectiv pentru ei de exemplu că dacă îi zic Scrie o carte unui om o să scrie o carte pe care o vrea el nu neapărat cea mai bună carte pe care o poate scrie

Oamenii sunt mai buni la a și da seama distinguish dacă o chestie mai bună sau mai slabă, to observe dar nu sunt buni la a face ceva mai bun sau mai slab

1:12:30 ~~~~~ zice că e foarte scump ca un model să dea răspunsuri exacte și că ei au făcut tranziția de la a încercat să cloneze comportamentul uman, la a încerca să răspundă în modul în care ar fi cel mai preferat de catre un om, adică ce răspuns ar prefera oamenii să primească nu care e cel mai bun răspuns
Human preference ~~~~~

1:16:01 mi se pare interesant că băiatul ăsta Cred că înțelege foarte bine conceptele teoretice dar mai poate îmbunătăți zona de a le explica și a livra, nu explică suficient de simplu anumite chestii inclusiv el se mai încurcă în ele
~~~~~Și aici este amuzant că zice că antrenează un robot să înțeleagă și să voteze ca un om și în funcție de preferințele umane iar robotul ăsta îi dă o notă unui alt robot daca a regenerat un răspuns pe care oamenii l ar prefera, Dar de fapt alegerea asta o zice un robot, nu o zice un om.
Este proiecția unui robot, despre ce ar zice un om, referitor la un rezultat generat de un alt robot :)))

1:25:10 ce tipologie de om vrem să Reprezentăm prin acest model de ai? ~~~~~

1:25:54 putin ADHD omul în mijlocul unei propoziții întrerupe si zice că și a dat seama că slider Nu este perfect aliniat pe centru :))

~~~~~1:26:30 in procesul de labeling zice că oamenii sunt scumpi nu au acuritate mare, de obicei obțin cam 66% cad de acord pentru că au foarte multe variabile în cap oamenii.
Ai urile și roboții, dacă pun ele labels, sunt mult mai ieftini și mai rapizi și ,au acuritate puțin de tot mai bună pentru că nu atât de multe variabile chiar dacă sunt predispuse la Bias
1:27:37 sunt de 50 de ori mai ieftini decat oamenii si ajung la un agreament mai mare
Asta este foarte interesant și legat de comportamentul uman De ce oamenilor le este greu să ajungă de comun acord pe ceva~~~~~

@DharmendraKumar-me5mm · October 24, 2026 at 11:26 am

Absolutely worth watching.

@gopirammeena9170 · October 24, 2026 at 11:26 am

I clicked out of curiosity and stayed because it was awesome.

@SamiMalik-f5w · October 24, 2026 at 11:26 am

Keep them coming

@SajanRawatpk · October 24, 2026 at 11:26 am

Every minute was worth watching.

@basavarajacbk8505 · October 24, 2026 at 11:26 am

You have an incredible style.

@Razia786-e4b · October 24, 2026 at 11:26 am

Here is simple explanation:
1. What is a Large Language Model (LLM)?
Imagine a giant robot brain that loves playing a game called "Guess the Next Word" [00:10].
If you say, "The cat sat on the…", the robot guesses the next word is probably "mat" or "couch", not "refrigerator" [06:37]. AI tools like ChatGPT or Gemini are built using this exact guessing game!
2. Word "LEGO Bricks" (Tokenization)
Computers cannot read entire words like humans do. Instead, they chop words and sentences into tiny puzzle pieces called tokens [10:52].
A token is usually 3 to 4 letters long [12:24].
For example, the word "tokenizer" gets split into two building blocks: "token" and "izer" [14:08].
Every little block gets a secret number tag so the computer can understand it like math [07:01].
3. Step 1: Pre-Training (Reading the Entire Internet!)
To get good at guessing words, the robot brain has to read billions of web pages, books, and articles [03:01].
Cleaning the Messy Internet: The internet is full of broken text, spam, and bad stuff [29:02]. Engineers must wash and filter the data to remove harmful things and keep only high-quality information (like Wikipedia or books) [30:49].
The Magic Rule (Scaling Laws): Researchers discovered that if you give the computer more books to read, a bigger brain, and more time to practice, it predictably gets smarter every single time [41:07].
4. Step 2: Post-Training (Teaching the Robot Manners)
Just reading the internet isn't enough! If you asked a raw internet robot, "Can you explain the moon landing to a kid?", it might just guess the next words from a random quiz sheet rather than answering you [01:00:25]. It needs to learn how to be a helpful, polite assistant [01:00:50].
Supervised Fine-Tuning (SFT): Teachers (humans) give the robot thousands of examples of great questions and great answers so it learns how to chat like a helpful helper [01:02:26].
Reward & Thumbs Up (RLHF / DPO): The robot generates two different answers to a prompt, and humans (or other smart AI models) pick the better one with a thumbs-up [01:12:42]. The robot gets rewarded for giving clear, safe, and helpful answers and discouraged from saying mean or false things [01:20:07].
5. The Super-Fast Engines (GPUs)
Training these gigantic brains requires thousands of supercomputer chips called GPUs working together day and night [56:55].
Because these computers move massive amounts of numbers every millisecond, engineers use clever tricks like low-precision math [01:40:07] and operator fusion (doing many math steps in one go without moving data back and forth) to make training super speedy [01:42:26].