Грант Сандерсон (@3blue1brown) — ШІ спростував відому математичну гіпотезу. Що далі?
ШІ відкриває нові доведення. Чи є це AGI?
Ви сказали, що це буде ще один бенчмарк, як і всі інші, які ШІ проходить. ШІ став кращим у загальному сенсі, але якогось моменту «евріки», коли це станеться, не буде.
Три роки тому суть вашого запитання щодо IMO полягала в тому, що деякі рішення, здається, потребують креативності, оскільки розробники намагаються створювати задачі, до яких неможливо легко підготуватися за допомогою навчання. Брудна таємниця полягає в тому, що до багатьох із них насправді можна підготуватися. Проєкт із ШІ та математики, що зараз триває, цікавий тим, що фронтир ШІ має «зубчасту» форму, і математика — один із таких зубців. Ця зубчастість має фрактальну природу: коли ви придивляєтеся до прогресу в математиці, деякі речі виявляються легшими за інші.
У 2024 році вони отримали б золото, якби не одна причина: вони, по суті, «в лоб» розв'язали геометрію. IMO має чотири категорії: геометрія, теорія чисел, алгебра та комбінаторика. Починаючи з 2024 року, ШІ розв'язує геометрію за дев'ятнадцять секунд, тому що він працює як солвер методом грубої сили. Комбінаторика — це «темна конячка» з більш ігровими задачами, що схожі на головоломки. Є чотири категорії та шість задач, тому це лотерея, в якій категорії буде два питання. Якби питань із геометрії було більше, вони б отримали золото, але з комбінаторикою ШІ важко. Хтось, хто намагається підтримувати вогонь останнього бастіону математики для людства, міг би сказати, що такі задачі потребують більше креативності.
Ваше запитання — якщо вони розв'яжуть одну з задач міленіуму, чи допоможе це також у великій кількості офісної роботи? — припускає, що будь-який обмежувач швидкості між тим, де ми зараз, і тим результатом, є таким самим, як обмежувач для офісної роботи. Якщо ми зосередимося на гіпотезі Рімана, як виглядатиме її розв'язання? Ці системи надзвичайно добре знають конкретні області знань дуже глибоко. Дивно мати надлюдську ерудицію в усіх галузях, але не знаходити тих самих «блискавок», що з'єднують їх, хоча я думаю, що ми починаємо бачити іскри того, як ШІ знаходить зв'язки між речами, в яких він є експертом. Якщо природа розв'язання гіпотези Рімана буде схожою на це, то це здається чимось відмінним від того, що необхідно для успіху в офісній роботі. Не знаю, чи знаєте ви історію про Г'ю Монтгомері (Hugh Montgomery) та Фрімена Дайсона (Freeman Dyson) в IAS.
Теоретик чисел намагався зрозуміти статистичну кореляцію між парами нулів дзета-функції Рімана — гіпотеза Рімана стосується того, чи всі ці нулі лежать на прямій лінії. Фрімен Дайсон, фізик, впізнав цей вираз із вивчення власних значень випадкових ермітових матриць, що пов'язано з рівнями енергії ядра. Ідея про те, що статистика цих двох різних речей була однаковою, підштовхнула до дослідження того, чи може теорія випадкових матриць бути релевантною для дзета-функції Рімана.
Саме так, поєднуючи дві різні галузі, ви очікуєте, що LLM будуть добре знатися на математиці; вони мають бачити цю схожість, не чекаючи, поки Монтгомері та Дайсон випадково обговорять це за обідом. Якщо вам важко використовувати ШІ як редактора, то це не тому, що вони знають усе, а вам просто потрібно, щоб вони знайшли той самий «блискавичний» інсайт.
Розглянемо останню теорему Ферма: між тим, як Ферма сформулював питання про цілочисельні розв'язки для xⁿ + yⁿ = zⁿ, коли n більше трьох, і самим розв'язком, стоїть важка артилерія — століття роботи над еліптичними кривими та ще одна гора ідей навколо модулярних форм. Якщо розв'язок гіпотези Рімана вимагатиме побудови нової гори — здатності генерувати правильні нові ідеї — то це відчувається інакше, ніж те, як ШІ проявляє інтелект зараз.
Якщо ШІ зможе будувати гори та кристалізувати те, як нам слід думати про предмет, такий рівень інтелекту, ймовірно, пробереться в економіку далеко за межі математики. Навіть якщо він не зможе робити все, що роблять офісні працівники, це матиме трансформаційний ефект, на відміну від здобуття золота на IMO. Помірно розумна людина з таким обсягом інформації могла б поставити медичний діагноз, помітивши, що один препарат викликає мігрень, а інша річ діє інакше, і зрозумівши, що той самий препарат може вилікувати і те, і інше.
З погляду стороннього спостерігача, пошук контрприкладу до гіпотези про одиничну відстань є яскравим прикладом двох різних здібностей: вміння формулювати цікаві проблеми та створювати нові об'єкти або концепції, що об'єднують галузі. Щодо першого, ми маємо проблеми тисячоліття, тому що математики їх помітили. Ріман створив дзета-функцію Рімана, бо вірив, що її нулі пов'язані з щільністю простих чисел. Наступний етап — з'ясувати, чому ми вважаємо щось цікавим для вивчення, навіщо ми створюємо конкретний об'єкт і чому шукаємо певну відповідь щодо нього.
Для тих, кому цікава гіпотеза про одиничну відстань, у відео каналу Polylog наводиться цитата: «хороші математики доводять теореми, великі математики висувають гіпотези, а найвидатніші математики створюють визначення». Це саме те формулювання, яке я використовую; нам потрібен генератор гіпотез і генератор визначень.
Нам потрібно мати можливість сказати: «Так, це зроблено», частково для RLVR, а частково для того, щоб переконатися, що ми не перенесли «штангу» (не змінили критерії успіху). OpenAI може отримати заголовок про спростування гіпотези про одиничну відстань, тому що це чітке, конкретне досягнення, тоді як заголовок про те, що GPT-5.4 висунув «дуже хорошу» гіпотезу, буде зовсім іншим. Я був би здивований, якби здатність генерувати гіпотези коли-небудь набула форми кількісного показника в бенчмарку.
Натомість ви помітили б зміну тону в розмовах із математиками про те, наскільки корисним є AI. Ми почали це понад рік тому, і цікаво спостерігати за зміною тону між серединою 2025 року та теперішнім 2026-м. Вимірювання цієї здатності буде більш суб'єктивним, заснованим на словах математиків про те, що вони використовують його не лише для розв'язання задач, а й що розмова з моделлю була дійсно корисною, коли вони відсторонилися, щоб вирішити, якою взагалі має бути сфера їхніх досліджень.
Цикл верифікації концептуальних проривів може тривати століття
Речі, для яких неможливо створити бенчмарки, — це також ті речі, яких неможливо легко навчити в межах нинішньої парадигми, оскільки між бенчмарком і середовищем навчання немає принципової різниці. Ймовірно, найближчим часом ми знайдемо способи навчити ШІ робити такі речі, але це має бути щось інше, ніж нинішнє навчання RLVR.
Мені цікаво, що рухає великим прогресом у математиці та науці: створення нового способу мислення про проблему або розуміння світу, яке об'єднує різні галузі, породжує нові напрями та вирішує проблеми, які ми навіть не намагалися вирішити. Ейнштейн (Einstein) не думав про Загальну теорію відносності, тому що хотів пояснити, чому світло вигинається або чому існують чорні діри. У математиці деякі способи доведення конкретної проблеми стимулюють нову, надзвичайно продуктивну концептуалізацію, тоді як інші — ні. Мені було б цікаво почути про те, як Галуа (Galois) створив теорію груп — яка пізніше стала важливою для криптографії та розуміння симетрій у фізиці — і чим це відрізняє його розв'язання рівняння п'ятого степеня від іншого доведення Абеля (Abel) кількома роками раніше, яке не призвело до створення теорії груп.
Ви зачепили за живе; я провів цілий рік у 2022 році, роздумуючи про Галуа для проєкту, який зрештою відклав. Це ідеальний приклад, тому що цінність його інсайту не полягала в негайній корисності. Це було б дуже важко реалізувати в середовищах RLVR, і навіть з людськими верифікаторами знадобилося багато часу, щоб визнати це корисним. На відміну від Ейнштейна та Загальної теорії відносності, де люди відразу відчули, що це хороша теорія, теорія Галуа мала столітній відрізок, коли ідея проходила крізь голови багатьох людей, перш ніж математична спільнота погодилася, що вона є цінною.
Ми всі вивчаємо формулу квадратного рівняння в школі. Греки могли розв'язувати квадратні рівняння, але вони не писали мовою алгебри; араби записали цю формулу. Є чудова історія про італійських математиків, які змагалися між собою і таємно знайшли формулу для кубічного рівняння, а невдовзі після цього — формулу для многочленів четвертого степеня. Оскільки формула четвертого степеня є справжнім монстром, можна подумати, що ці речі мають експоненціально зростаючу складність, що робить пошук формули п'ятого степеня природним відкритим питанням. Абелю, обдарованому молодому норвезькому математику, зазвичай приписують першість у доведенні того, що це просто неможливо. Проте справжня заслуга належить Лагранжу (Lagrange), який знайшов правильне питання, усвідомивши, що розв'язування цих многочленів тісно пов'язане з розумінням того, як певні алгебраїчні вирази є симетричними.
Якщо я запишу a, b, c, d і переставлю ці чотири змінні, це не змінить значення виразу. Лагранж (Lagrange) здогадався, що якщо знайти вирази з чотирма вільними змінними, де всі перестановки набувають трьох різних значень, виникає неочікуваний зв'язок зі зниженням четвертого степеня до третього. Він замислився, чи зможе він розширити цей метод, щоб знайти квінтичний многочлен, що вимагало б виразу з п'ятьма вільними змінними, який набуває чотирьох або менше значень за всіх п'ятьма факторіальними перестановками.
Лагранж зрозумів, що ця стратегія може зробити пошук квінтичного многочлена неможливим. Це був перший випадок в історії, коли люди відчули, що симетрія є правильним шляхом вивчення цих многочленів, припускаючи, що замість пошуку формули нам слід запитати, чи вона взагалі можлива.
Приблизно через п'ятдесят років Абель (Abel) прочитав праці Лагранжа і був ними натхненний. Галуа (Galois) також обожнював Лагранжа, коли тільки закохувався в математику. Важко уявити, щоб ці два генії дійшли до схожих висновків без впливу Лагранжа. Абель працював над квінтиками, але йому порадили вивчати еліптичні функції, чим він і займався перед смертю від туберкульозу у двадцять шість років.
Галуа розвинув обидві ідеї до справжнього розуміння абстракції. Коли він був підлітком у в'язниці, його математичні праці були відхилені академією — тодішньою «функцією перевірки». Він говорив про появу самої алгебри, перехід від чисел до вільного володіння чистими алгебраїчними виразами. Він відчув ще один рівень абстракції: мислення про симетрії, що лежать в основі формул, а не про самі формули.
Хоча Абель уже довів, що квінтики нерозв'язні, теорія Галуа дозволяє взяти конкретний многочлен і визначити, чи можна записати його корені. Для x⁵ - 1 розв'язком є 1; для x⁵ - 2 — це корінь п'ятого степеня з двох. Питання в тому, чи можна знайти конкретний квінтик, для якого ви доведете, що розв'язок неможливо записати за допомогою радикалів.
Існує романтичний міф, що Галуа записав усі свої ідеї за ніч до дуелі, але насправді він намагався опублікувати їх п'ять разів до цього.
Він попросив свого брата і близького друга передати його нотатки Гауссу (Gauss) та іншим важливим математикам, бо вірив, що там є щось цінне. Знадобилося двадцять років, щоб Ліувіль (Liouville) побачив ці нотатки і спробував зрозуміти, що мав на увазі Галуа, і ще двадцять років, перш ніж Жордан (Jordan) створив сучасний виклад теорії груп, приписаний Галуа. Історія могла скластися інакше; ці ідеї могли з'явитися з інших точок математики, а Галуа міг би бути забутим, якби не був такою яскравою особистістю.
Від передчуття Лагранжа про те, що симетрії коренів є правильним шляхом, до сучасної теорії груп пройшов довгий шлях. Потрібно дійти до двадцятого століття, щоб Гелл-Манн (Gell-Mann) замислився над тим, як розпад певних груп пов'язаний із будовою частинок, передбачивши існування кварків на основі суто груп-теоретичного питання.
Аналогічно, Велика теорема Ферма могла б мати незв'язний елементарний доказ, розписаний на тисячах сторінок, але більш витончений підхід використовує еліптичні криві. Може існувати тисячосторінковий доказ гіпотези Рімана, який нічого не дасть, тоді як нам потрібні стислі, стиснуті версії, які піддаються людському розумінню. Для кількісної оцінки елегантності можна використовувати складність Колмогорова. Не думаю, що це легко, але необхідно винагороджувати інстинкт у стилі Галуа, а не просто сам факт розв'язання задачі.
Навіть за наявності тисячосторінкового доказу або грандіозної нової фізичної теорії, метою залишається розуміння. Якщо метою є лише передбачуваність, автоматизовані інженери могли б будувати ракетні кораблі для подорожей між зірками, а ми б навіть не знали, як вони працюють. Проте вам все одно потрібна функція лаконічності, щоб перетворити складні міркування на правильні, як це зробив Ньютон зі своїм законом всесвітнього тяжіння. Ми повинні навчати ШІ знаходити таке стиснуте представлення, оскільки люди хвилюються, що ШІ доведе гіпотезу Рімана, не покращивши наше розуміння математики.
Чи зрозуміємо ми доведення гіпотези Рімана, створене ШІ?
Хіба причина, чому люди створюють загальні, природні об'єкти та проміжні цілі під час роботи над великою проблемою, не полягає просто в тому, що це корисно для складних і важливих завдань? Чи не було б це теоретично простішим способом розв'язати гіпотезу Рімана, ніж просто вигадати відповідні природні абстракції?
Коли AI знайшов контрприклад до гіпотези про одиничну відстань, можна було прочитати його ланцюжок міркувань. Хоча мені це було незрозуміло, оскільки я нічого не тямлю в математиці, іншим математикам це здалося зрозумілим. Він використовував відомі математичні концепції та доводив зв'язки між ними природною мовою, прискорюючи наше розуміння зв'язку між цим об'єктом і гіпотезою.
Думаю, це залежить від природи рішення. Іншим великим прикладом цього року була задача Ердеша 1196 щодо примітивних множин, де була використана ідея з зовсім іншої, здавалося б, галузі. Якщо ви представите основну ідею математику — запитаєте, що буде, якщо ми спробуємо використати процес марковських ланцюгів, щоб показати, що ця річ є такою, йдучи знизу вгору ймовірнісно, а не зверху вниз, використовуючи функцію фон Мангольдта, — ви отримаєте маленьку ідею, яка, наче блискавка, з'єднує експертизу в одній галузі з іншою. Такі речі людина здатна опрацювати, тому що потрібно лише показати початкову та кінцеву точки зв'язків.
Якщо характер роботи схожий на будівництво гори, ви маєте витратити більше часу на розуміння цієї нової нитки. Якщо прогрес — це просто «сира» напористість, тобто наддовгий ланцюжок міркувань без нових теорій, ви хвилюєтеся про процес засвоєння. Або це може бути якась «інопланетна» гора, де нам доведеться переосмислити наші абстракції. Найближчим прикладом є спроба розв'язання гіпотези abc відомим математиком із Японії. Математикам знадобилося багато часу, щоб розібратися в його між-універсальній геометрії, що більше нагадувало інопланетне побудовування теорії, ніж довгий ланцюжок міркувань.
Якщо ми опинимося в такій ситуації, то тут згадаю чудовий допис у блозі Девіда Бессіса (David Bessis) під назвою "The Fall of the Theorem Economy". Він стверджує, що хоча математика історично передбачає створення визначень і задач та доведення теорем про них, доведення теорем, яке отримує все визнання, насправді є паразитом на створенні визначень.
Історично розподіл визнання не був проблемою, тому що якщо ви визначаєте концепцію, то, швидше за все, саме ви доведете теорему. Але тепер, якщо AI автоматизує останню частину, цінною роботою стає саме інсайт. Уявіть собі AI, який створює прямі аргументи в стилі Абеля для важливих гіпотез, залишаючи нам доведення, якими ми просто володіємо.
У нещодавній історії математики охоплення часто перевищувало можливості розуміння: речі доводилися задовго до того, як їх починали розуміти. Один із моїх улюблених вступів до пояснювальної статті написав Тімоті Чоу (Timothy Chow), який намагався зрозуміти форсування — концепцію, пов'язану з континуум-гіпотезою, яка ставить питання про розміри нескінченності для натуральних і дійсних чисел.
Стимули в математиці та інших науках мали б зміститися від доведення фактів про світ до об'єднання доказів у висновки вищого рівня. Наприклад, спеціальна теорія відносності, просторово-часові діаграми та простір Мінковського ілюструють, чому відбуваються скорочення довжини та уповільнення часу.
Схоже, існує сильний зв'язок між тими, хто створює дійсно нові ідеї, і тими, хто чітко їх пояснює. Можна було б подумати навпаки, адже студенти університетів часто помічають, що експерти — не найкращі пояснювачі, бо вони занадто звикли до власної обізнаності.
Люди, які придумують щось справді нове — як-от Альберт Ейнштейн (Albert Einstein) або Клод Шеннон (Claude Shannon) — пишуть зрозумілі праці. Фейнман (Feynman) мав цю рису також; він був дуже хорошим популяризатором. Можливо, та частина мозку, яка відкриває правильний новий спосіб мислення на рівні досліджень, також має хист до якісних пояснень.
Раніше я думав, що ШІ стануть автоматизованими доводжувачами теорем, тоді як роль математиків зміститься в бік моєї роботи з пояснення. Тепер я підозрюю, що ШІ також будуть досить вправними у виділенні головного та поясненні, ймовірно, краще за більшість людей.
Розпали людині вогонь — і їй буде тепло одну ніч. Але підпали людину — і їй буде тепло до кінця життя. Частина функції вчителя полягає в тому, щоб додати ясності до цікавості, але частина її є більш реляційною: надання мотивації та кураторство.
Я чув цікаву думку, що математики стануть аналогом кураторів художніх музеїв. ШІ вирішує проблему, отже, мистецтво існує, але вам все одно потрібен хтось, хто допоможе зорієнтуватися в майже нескінченному просторі ідей, з якими варто взаємодіяти. Навіть якби ШІ були кращими в цьому, ми б віддали перевагу людині, з якою у нас є стосунки, тому що мотивація — це соціальний феномен. Моя роль і роль інших математиків може зміститися в сторону такого кураторства: визначення того, які ідеї варто розвивати. З цієї ж причини люди-музиканти завжди матимуть свою роль: соціальна функція історії, що стоїть за ними, важлива навіть якщо об'єктивна якість MP3-файлу від моделі буде вищою.
Чи може ШІ знайти приховані містки між галузями?
Тепер, коли ШІ подолав відмітку поєднання існуючих ідей для здійснення відкриттів або доведення й спростування чогось, ми маємо запитати, що буде далі. Я вірю, що попереду нас чекає розквіт таких зв'язків. У загальній теорії відносності ви просто поєднуєте риманову геометрію та спеціальну теорію відносності; оскільки ШІ стає в цьому кращим, багато великих проривів можуть не мати іншої якісної природи.
Значна частина дискусій зосереджена на вирішенні проблем, як-от викреслюванні задач Ердеша, але більшість математиків не характеризували б свою роботу як прагнення розв'язати наступну задачу зі списку. Це дослідницький етос, а не галузь математики. Остання теорема Ферма — один із прикладів цього, коли зв'язок між двома, здавалося б, розрізненими речами призвів до рішення. Математик Ленглендс (Langlands) написав відомого листа, в якому пояснив, наскільки ймовірно існування ще більше таких зв'язків. Він описав велику карту з долиною, горою та рівнинами; багато математиків сприймають свою роботу як спробу зрозуміти нитки на цій карті. Раз за разом великі проблеми вирішувалися шляхом пошуку зв'язків, тому мета полягає в тому, щоб знаходити їх майже випереджально. Щоразу, коли зустрічаєте математика, запитайте, чи ближча його робота до програми Ленглендса, чи до вирішення однієї конкретної задачі.
ШІ як надпотужний конектор міг би стати інструментом підсилення в цьому пошуку. Якщо ШІ розв'язує задачу, є чіткий спосіб сказати, що він досяг успіху, що дозволяє компанії з розробки ШІ зробити PR-хід. Однак, якщо він проводить правильний зв'язок, навколо нього можна вибудовувати теореми. Гадаю, найкорисніший прогрес у наступні п'ять років виглядатиме як заповнення того ландшафту зв'язків, який може накреслити експерт у кількох галузях, хоча для визначення того, якого саме зв'язку ми прагнули, знадобиться «людина в циклі».
Проте авторегресивне міркування за принципом «ланцюжка думок» (chain-of-thought) — це дивний спосіб отримання результатів. Уявіть, що ви замкнені в коробці, де отримуєте лише клаптик паперу і повинні передбачити, що буде далі, перш ніж вашу пам'ять стертимуть. Цей процес багаторазового передбачення відрізняється від того, як письменник складає та продумує есе. Ви стаєте рабом свого контексту; відповідь на запитання про певну галузь змушує вас спиратися саме на цей конкретний контекст. Але зв'язки, в яких криється суть, за своєю природою є дуже малоймовірними. Незалежно від того, скільки RL ви використовуєте, важко стимулювати ці малоймовірні зв'язки, коли переважна більшість із них не є передбачуваним наступним токеном.
Чи потрібно вам просто більше інтелекту, щоб на рівні передбачення він розумів, що має створити цей «блискавичний розряд» до іншої галузі? Я вважаю, що продуктивніше міркувати про дані, а не про архітектуру чи функцію втрат. Дифузійні моделі генерують текст, і результати не мають зовсім іншого характеру. Відповідне питання таке: які дані є основою, на якій ваша архітектура або функція втрат стимулюють вас створювати результат?
Якщо подивитися на те, чому моделі стають кращими автономними агентами, то вони перебувають у середовищі, де авторегресивне створення таких кроків, як «Давайте відступимо і проведемо пошук по всій кодовій базі» або «Давайте відступимо і оцінимо мою помилку», є тим, що працює. Я припускаю, що прогрес у науці чи математиці відбувається тому, що математики спеціально розробляють передові задачі, які потребують поєднання двох різних галузей. Ймовірно, існують розумні, частково синтетичні способи змусити складніші задачі потребувати таких зв'язків — наприклад, шляхом усунення припущень, при цьому все ще вимагаючи відповіді — і тоді функція втрат уже не має значення. Питання в тому, чи можете ви створити середовище, яке стимулює цю здатність. Було б дивно, якби протягом наступних трьох років не сталося більше таких «блискавок».
У цьому контексті ключовим фактом є те, що ми можемо паралелізувати та довільно масштабувати ці моделі. Будь-яка здатність, яку вони мають, — це не просто один ідіосинкразичний геній в історії математики, який робить кілька відкриттів і гине на дуелі; це універсальне застосування цієї планки до всіх доступних задач. Це одна з багатьох переваг, які притаманні цифровим розумам і про які ми недостатньо замислюємося, включаючи здатність об'єднувати всі свої знання та створювати копії з ідентичним рівнем знань. Навіть якщо вони не такі розумні, як математики-люди, компанії з розробки AI вкладають у це мільярди доларів з міркувань PR, а кількість має свою власну якість.
Візьмімо розмову між Монтгомері (Montgomery) та Дайсоном (Dyson) в IAS, де вони припустили зв'язок між нулями дзета-функції Рімана та випадковими матрицями; здається, що це можна було б автоматизувати за допомогою агентів, які представляють експертизу в усіх цих галузях. Люди збираються в одному географічному місці для випадкових розмов. Іноді AI зазнає невдачі, тому що потрапляє в поганий ланцюжок думок, з якого важко вийти. Є історії про людей, які довго намагалися щось довести, перш ніж запитати: «А що, як я спробую довести, що це неможливо, або довести протилежне?» Можна систематизувати розкручування власного контексту та початок роботи зі свіжим розумом, або задіяти кількох агентів, яким надані різні фрагменти контексту для порівняння та зіставлення.
У цій серії про AI та математику перший епізод буде про те, як вони розв'язали IMO. Я хочу зосередитися на одній конкретній задачі IMO, з якою не впоралися багато розумних студентів, включаючи Террі Тао (Terry Tao). Люди називали її «троль-задачею», проте існує майже примітивне рішення, яке є найкращим.
Зв'язок із історією AI полягає в тому, що відповідь на це питання вимагає від людини виходу за межі свого контексту. Випадкова людина з вулиці могла б добре відповісти на нього, якби він був поданий як логічна головоломка. Одна з переваг цифрових розумів — більш систематичний підхід до оновлення мислення. Можна запустити двох агентів із навмисно різними контекстами: один намагатиметься довести твердження, а інший — спростувати його.
Це цікаво, тому що люди хвилюються щодо колапсу ентропії, коли ШІ мислять однаково через схоже навчання. Проте ШІ можуть збільшити ентропію, систематично випробуваючи як заперечення, так і ствердження будь-якої тези, або надаючи різним агентам різні упередження. Наприклад, гіпотеза про проблему одиничної відстані так довго не спростовувалася, тому що люди вважали її істинною і переважно намагалися її довести.
У людській науці Ейнштейном (Einstein) керувало упередження, що речі мають виглядати однаково в різних системах відліку, а також переконання, що «Бог не грає в кості». Можна систематично досліджувати евристики, щоб побачити, які з них є продуктивними, але ви маєте переконатися, що всі ваші LLM не є Ейнштейном, інакше ви можете зупинити прогрес у квантовій механіці. Вам потрібні кілька незалежних дослідницьких програм із власними евристиками.
Якщо ви створите чітку онтологію для різних способів мислення, які хочете стимулювати, і дослідите цю повну онтологію, кожен окремий агент зможе працювати над своїм завданням. Простий розподіл — це те, чи доводите ви щось, чи спростовуєте; складніше — визначити всі можливі тактики, щоб забезпечити достатню широту пошуку. ШІ в математиці прогресує швидше, ніж в інших галузях, ймовірно, тому що ця сфера є дуже легкою для перевірки.
Чому реальні завдання не вписуються в середовища RL
Комп'ютери надзвичайно піддаються верифікації, але використання комп'ютера позбавлене можливості «гринду» (повторюваного відпрацювання). Оскільки вебсайти мають детектори ботів, а паралельні розгортання потребують колосальних обчислювальних потужностей, важко запустити тисячу паралельних розгортань процесу оформлення замовлення на Amazon, щоб вас не заблокував Енді Джассі (Andy Jassy). Створення клонів кожного вебсайту занадто трудомістке і лише сповільнює вас. Наразі нам потрібно так багато паралельних розгортань, щоб опанувати навичку за допомогою глибокого навчання, тому що ми не вирішили проблему ефективності вибірки — ми, як каже Андрій Карпаті (Andrej Karpathy), «всмоктуємо нагляд через соломинку».
У коді ви можете контейнеризувати певний рівень прогресу в репозиторії та запустити сотні паралельних контейнерів, щоб детерміновано реалізувати функцію. Це вирішує проблему призначення винагороди (credit assignment problem), тому що ви знаєте, що саме цей diff спрацював. Якщо ви починаєте з різних точок, призначення винагороди стає складнішим. Більшість речей у реальному світі важко контейнеризувати, але програмування та математика є винятками. Якщо ви будуєте бізнес або торгуєте на ринках, взаємодія зі змінним реальним світом означає, що ви не можете постійно перезапускати та «фармити» симулятор. Прогрес у програмуванні та математиці рухається не лише верифікованістю, а й тим фактом, що вони піддаються гринду.
Дехто стверджує, що Lean та формалізація рухають прогрес ШІ, але я відчуваю, що Lean не має великого значення для поточного рівня розвитку. ШІ спростував гіпотезу про проблему одиничної відстані без Lean у своєму ланцюжку думок. Нагляд на основі процесу здається менш актуальним, ніж наявність результату, який можна гриндити та верифікувати. Наївно було б подумати, що Lean унікальний для математики, тому що він доводить правильність, подібно до того, як DeepMind спочатку використовувала старе програмне забезпечення як винагороду. А вже наступного року все було переведено на природну мову.
Існує ще не досліджена перевага формалізації: наразі людина має перевірити контрприклад до гіпотези про одиничну відстань, що обмежує те, наскільки нескінченно можна досліджувати речі. Системи у стилі AlphaGo та AlphaZero існують у своєму власному всесвіті, досліджуючи гру Го з автоматизованою верифікованою винагородою. Вам ніколи не потрібно звірятися; ви просто вливаєте обчислювальні ресурси в дослідження всесвіту Го. Ще побачимо, чи це спрацює, але з Lean можна уявити програму, що працює нескінченно, постійно намагаючись розширити Mathlib.
Mathlib — це репозиторій на GitHub, мета якого — містити всю математику, записану кодом. Ви можете запитати, чи є доведення правильним, хоча написання таких доведень є трудомістким. Уявіть собі ШІ, якому поставлено завдання просто розширювати Mathlib. Ви могли б мати форк чистого ШІ-Mathlib, який розрощує нескінченне дерево власних гіпотез, теорій та визначень. Хоча багато з них можуть бути марними, математика унікальним чином дозволяє вливати обчислення в це протягом десяти років і повернутися, щоб щось знайти. Не думаю, що це можливо зробити з математикою на природній мові.
Lean важливий тут у двох аспектах. Ідея Карпаті (Karpathy) щодо автоматизації досліджень передбачала використання Python-файлу для базового навчання LLM, де агенти вносили зміни; якщо зміна прискорювала проходження, вона залишалася. Ерік Джанг (Eric Jang) зробив щось подібне, створюючи сильного бота для гри в го. Такий підхід добре працює для проведення експериментів, але погано — коли треба зупинитися перед глухими кутами або виконувати надзвичайно паралельні завдання, тому вам, ймовірно, знадобилася б модель-супервайзер, що надавала б евристики щодо корисності.
Террі Тао (Terry Tao) згадував дослідницький проєкт, який вичерпно шукає простір можливих алгебр. Час від часу з'являється маленький острівець зовсім іншої аксіоматичної системи, яка здається багатою на кількість теорем, що вона породжує. Дослідження цього простору, щоб побачити, які острівці виявляться чимось значущим, — це основа роботи автоматичних доводжувачів. Можливо, один із таких островів — це те, для чого ви можете ретроспективно знайти обґрунтування, щоб пояснити структуру, до якої він прагне.
Уявіть, що ви дивитеся на аксіоми групи, не знаючи, що вони стосуються симетрії, і лише потім ретроспективно усвідомлюєте їхню релевантність. Можна уявити результати такого типу, що досліджують усі можливі логічні наслідки будь-якої аксіоми, а не лише алгебраїчні системи.
Щодо супервізії на основі процесу без Lean, у DeepSeek була їхня модель DeepSeek Math. Оскільки ви не знаєте, чи правильні доведення природною мовою, вони використовують верифікатор, навчений мета-верифікатором, щоб гарантувати, що верифікатор дає якісний зворотний зв'язок для задач з мистецтва розв'язання проблем. Кодинг-агенти також стають кращими у написанні та рефакторингу чистого коду; я впевнений, що існують системи «LLM-як-суддя» на основі процесів, які підказують, чи чисто написана функція.
Здається більш правдоподібним довіряти верифікатору в математиці, ніж у чому-небудь іншому, навіть у природній мові. Якщо дати дві студентські есе, моделі могли б сказати, яке з них точніше та глибше, але вони можуть не помітити різниці між есе на «відмінно» та чимось, що ви насправді хочете прочитати — чимось глибоким і зрозумілим на Substack. У математиці визначення того, чи є доведення правильним, ідеально підходить для автоматичного верифікатора, навіть у природній мові.
Мені все ще подобається дерево логіки з Lean, тому що там можна дійсно «зійти з рейок», подібно до 37-го ходу в AlphaGo. Якщо у вас є середовища RL та доведення чистою природною мовою, Алекс Конторович (Alex Kontorovich) зазначав, що навіть якщо 99 із 100 правильні, пошук помилок потребує занадто багато праці. Будь-яка інша галузь віддала б усе за зелену галочку, що підтверджує правильність доведення, навіть якщо воно складне і його важко зрозуміти. Якщо моделі також зможуть формалізувати свої доведення природною мовою, це здається величезним проривом. Також мені подобається розширення Mathlib як метафора того, що незабаром станеться з нашою цивілізацією.
Гарне письмо потребує теорії розуму, якої ШІ все ще бракує
Протягом тисячоліть людство накопичувало корпус знань і розуміння, і тепер усе, що ми маємо, дистильовано в ці моделі. Ці моделі погано порівнюють варіант А з варіантом Б, тому що їх збиває з пантелику Б* — паршиве есе, в якому є всі ті «фішки», які мають бути в А. Крім того, письмо не є модульним, як код чи математика. Функцію або математичну лему можна написати багатьма різними способами, щоб отримати той самий функціональний кінцевий продукт, але в письмі кінцевий продукт — це сама суть. Кожен абзац, речення і слово мають значення; тут не може бути «сміття», як у коді, щоб при цьому отримати бажаний результат.
Щодо більшості текстів, які я читаю, мені здається кращим скопіювати їх у LLM і сказати: «Поясни мені це», оскільки пояснення часто виявляється кращим за оригінальний твір людини. Навіть під час живої розмови з експертом, якщо він володіє знаннями, які не закодовані в розподілі, я хочу, щоб він мені їх пояснив. Це пояснення і є дистиляцією. Якщо мені потрібен звіт про книгу, я можу вважати, що LLM надасть кращий.
Ось тут авторегресія виявляється дивним способом генерації речей. Щоб бути якісним, письмо потребує елемента непередбачуваності — вміння точно знати, коли зробити непередбачуваний хід, щоб бути більш проникливим. Хороший автор досліджує ідеї та вирішує, які аспекти є цікавими і як представити їх у зв'язній, добре обґрунтованій розповіді. У такому разі ви віддасте перевагу читанню їхньої книги, а не дистиляції. Цей свідомий вибір чогось нового прямо суперечить тому, як ці моделі зазвичай створюють текст.
Я думаю, вони також погано будують правильні ментальні моделі людей, що є життєво важливою навичкою в письмі. Енді Матушак (Andy Matuschak) та інший співавтор підготували цікавий звіт, у якому вони намагалися навчити LLM писати якісні підказки для інтервальних повторень.
Мені це подобається, тому що, хоча це здається випадковою навичкою, люди говорять про рекурсивне самовдосконалення вже за рік, але ми не можемо змусити ці штуки писати хороші картки для запам'ятовування. Вони пробували RL на моделях з відкритим кодом, ланцюжки думок (chain of thought) і великі промпти, надіслані найкращій закритій моделі. Ключове обмеження полягає в тому, що написання хорошої картки вимагає проектування розуму людини через три місяці. Письмо виснажує, тому що з кожним словом ви маєте думати: що зараз відбувається в голові мого читача? Якщо я зміню формулювання так, щоб кінцева фраза перейшла на початок як перший образ, який ви бачите, — можливо, авторегресія з цим не справляється. Це властивість, схожа на дифузію, коли розглядається ціле, а не йдеться речення за реченням, що потребує менталізації — того, з чим ці моделі дивно пасують.
Подумайте про тести на EQ, де потрібно подивитися на вираз обличчя та описати емоцію. Існують хороші онлайн-тести з фотографією обличчя та чотирма варіантами емоцій; напрочуд важко описати правильну емоцію, але ви відчуваєте, що вона там є. Люди з розвиненими соціальними навичками справляються добре, а ті, хто більше схильний до логічного, «лівопівкульного» мислення — ні. Пам'ятаю один експеримент, де люди, яким зробили ін'єкції Botox, значно гірше розпізнавали вирази обличчя під час повторного тестування. Ідея в тому, що розуміння емоції передбачає її підсвідоме відтворення власними м'язами обличчя, щоб усвідомити: «О так, це тривога».
Якщо моделі мають погану теорію розуму, це не дивно. Вони знають усе, бо прочитали все, що написали люди, але вони не можуть поставити себе на ваше місце так, як мої м'язи обличчя імітують ваші. У них немає м'язів обличчя; їхній мозок працює інакше. Це як інопланетянин, який намагається співпереживати. Як він може мати теорію розуму?
Цього року я взяв у них інтерв'ю, і це було цікаво, оскільки зазвичай вони не публічні. В індустрії вони відомі шаленим рівнем утримання працівників. Одна людина зауважила, що хоча співробітники мають такі посади, як дослідник, трейдер або інженер, вони часто не знають реальних ролей своїх колег, бо кожен займається трохи всім. Навіть якщо ви офіційно трейдер, ви проводите дослідження; якщо ви дослідник — ви пишете код. Підозрюю, що саме тому у них такий неймовірний рівень утримання.
Чому навчання все ще залежатиме від людського курування
Часто вже за кілька повідомлень, коли я намагаюся щось зрозуміти, вони самі настільки плутаються, що заплутують і мене. Я знаю, що розмова з потрібною людиною могла б усунути моє замішання за три хвилини. Навіть до появи LLM важливим інсайтом у навчанні було розуміння того, що хто навчає, важливіше за те, чому навчають.
Моя порада будь-якому студенту коледжу при виборі курсів: менше зважайте на свої попередні інтереси, бо зараз вони довільні, і більше звертайте увагу на те, чи є викладач хорошим педагогом, який вам відгукується. Обираючи книги, автор може бути важливішим за попередній інтерес; якщо вам сподобалася якась книга, почитайте інші праці цього автора, а не щось інше на ту саму тему.
Є різниця у відчуттях від навчання за сторінкою Wikipedia порівняно зі Stanford Encyclopedia of Philosophy для філософії або Princeton Companion to Mathematics для математики. В останніх статтях навмисно пише одна людина, яка створює певну мотивацію. У Wikipedia досягається локальний мінімум, де кожне речення має бути правильним. У хорошому викладі ви менше переймаєтеся правильністю в процесі; ви можете свідомо створювати речі, які є трохи помилковими, і виправляти їх по ходу, але в середовищі краудсорсингу таке просто вирізають при редагуванні.
Пояснення LLM нагадують Wikipedia: вражають, але часто це просто посилання внизу. Мені подобається запитувати LLM: «Кого мені почитати?». Одного разу я навіть став жертвою газлайтингу, коли вивчав напівпровідники. Мені здавалося, що це візуальна тема, але всі ресурси були текстовими. Я запитав: «Чи є добре візуалізоване відео, що пояснює концепції, про які ви говорите?». Claude відповів: «Так, ось кілька», і першим у списку було відео від 3Blue1Brown. Я був упевнений, що такого немає. Посилання було справжнім, але воно помилково приписувало відео іншій людині. У цьому сенси я використовую його як просунуту версію Google, щоб точно знайти потрібний ресурс, створений людиною.
Найпродуктивніші сесії навчання у мене були тоді, коли створений людиною артефакт — стаття, книга або відео — організовував відповідні концепції правильним чином, створюючи мотивацію, чому наступна ідея є важливою для вирішення наступної проблеми. Потім ви використовуєте LLM, щоб трохи «підрізати гілки» навколо тієї теми, яку визначила книга. Я вивчав підручник Стівена Строгаца (Steven Strogatz) Nonlinear Dynamics and Chaos; це було схоже на ваші відео, але у формі книги. На одну третину екрана я виводив його університетську лекцію, на іншу третину — підручник, а на останню — LLM. Він підібрав правильний порядок розуміння концепцій і правильні задачі для мотивації, а це ще одна річ, у якій LLM дуже слабкі.
Справді здібний фахівець може сказати: «Взагалі-то, ви підходите до цієї теми неправильно. Питання, яке вам варто поставити, і правильний спосіб організації цих концепцій — це X». LLM так не вміє; вона занадто поступлива. Це сикофантська поведінка: «О, яке проникливе запитання». Тут ми підходимо до теорії розуму — визнання того, що певний тип запитання виявляє, що ментальні структури учня відрізняються від структур того, хто пояснює. У класі математики в середній школі, якщо учень ставить запитання, яке свідчить про те, що він мислить інакше, насправді дуже важко в той самий момент сприйняти це серйозно і запитати: «Зачекайте, а чи зможете ви дійти до правильної відповіді таким шляхом?»
Замість того щоб сказати «Давайте зробимо так», дійсно хороші вчителі використовують метод «дзюдо» щодо креативного мислення учня і вплітають його в процес. Тут є три рівні: LLM перебуває на одному, хороший пояснювач — на іншому, але пояснювач рівня «А+» перенаправляє ваш спосіб мислення, щоб показати, де він є корисним. Можливо, через п'ять років LLM робитимуть це краще.
Студенти кажуть: «Я захоплений цим предметом, але бачачи прогрес AI, не знаю, чи має сенс обирати це як кар'єру». Це актуально для будь-кого в галузі, яка отримує приріст продуктивності від AI, а програмування перебуває дуже близько до цього. Але навіть до появи AI для будь-якої роботи — якщо ви не «джентльмен-вчений» — важливо розуміти, звідки беруться гроші, яку цінність ви створюєте і який зв'язок між цими двома речами.
Студенти часто запитують: «Де люди можуть цим займатися?», замість того щоб запитати: «Яку цінність я приношу іншим і наскільки саме це є причиною того, що мені виплачують зарплату?». Це залежить від випадку. Престижний математик може забезпечувати брендову цінність університету. В інших випадках грант NSF надається на основі віри в суспільне благо від фундаментальної науки, де бюрократія виступає посередником цього блага, а ви виконуєте певний ритуал, щоб передбачити, що ваш прогрес відповідатиме духу цього фінансування. Ви надаєте брендову цінність як експерт і пряму цінність як викладач. Незалежно від того, чи доводять теореми AI, чи зараз 2016 або 2026 рік, недостатньо студентів замислюються над цим. Я випадково потрапив у кар'єру, де дослідження математики монетизуються як розвага; я міг би уникнути залежності від щасливого випадку і діяти більш цілеспрямовано, якби мислив про це критично.
Якщо ми матимемо майже автоматизоване доведення теорем, а LLM стануть хорошими пояснювачами, соціальна роль математиків не зміниться суттєво. Як суспільство, ми все одно цінуємо фундаментальну науку і довіряємо математикам визначати, як найкраще витратити їхній час. Престиж приходить зсередини цієї спільноти — коли інші члени кажуть, що результат є якісним, — а не від того, що автор заявки на грант розуміється на алгебраїчній теорії чисел. Існуватиме внутрішня культура цінних внесків, яка може зміститися від доведення теорем у бік написання якісних визначень або ролі куратора музею. Ця спільнота існуватиме доти, доки суспільство цінує фундаментальну науку, а у світі достатку, керованому AI, фінансування в цьому напрямку може навіть зрости.
Щодо інституційного престижу, викладання є однією з найстабільніших професій після появи AGI, оскільки воно базується на людських стосунках. Якщо батьки мають достатньо статків, вони витрачатимуть їх на якічне навчання та освіту. Навіть якщо LLM добре пояснюють матеріал, викладання — це соціальна роль, роль коуча та ментора, що робить цю кар'єру однією з найстабільніших на наступні п'ятдесят років. Оскільки обов'язки багатьох математиків перетинаються з цим, майбутні студенти могли б звернути на це увагу. Більше студентів мають серйозно розглянути ідею стати викладачем математики та цінність, яку це принесе наступному поколінню.
Це схоже на універсальну пораду: знайте, звідки приходять гроші і як ви вписуєтеся в цей процес. Уявіть світ, де протягом п'яти або десяти років AI знаходитимуть рішення для проблем міленіумів, а також створюватимуть абсолютно нові проблеми, математичні галузі та об'єкти. Розуми AI зазирнуть за наші горизонти в математиці набагато далі за нас. У такому світі, якщо взагалі залишаться робочі місця, одним із них буде виокремлення та пояснення того, чого навчилися AI. Люди, які розумітимуть це і зможуть вирішити, куди це має бути спрямовано, матимуть більшу економічну цінність як куратори, що направлятимуть цього бегемота нової математики в корисний бік. Це набагато ефективніший хід, ніж це було раніше.
Одне питання щодо AI в математиці полягає не лише в тому, чи може він це зробити, а й у тому, чи є результат якісним? Ви описували, як у теорії груп ми намагаємося з'ясувати випадкові факти про корені різних функцій, які тепер мають практичне застосування в багатьох галузях. Хоча прогрес у алгебраїчній теорії чисел навряд чи щось відкриє, я пам'ятаю математика, який займався динамікою та розв'язанням PDE. Boeing раніше виготовляв літаки, тестував їх, а потім розбирав і збирав заново на основі цих тестів. Його група знайшла способи робити більше в симуляціях, щоб уникнути розбирання та перебудови, що заощадило Boeing мільярди доларів, тому вони почали фінансувати цю групу. Це більш очевидно наближено до прикладного застосування, тому що PDE саме такі. Прогрес у цій області, ймовірно, відкриє нові можливості, можливо, зробить проєктування двигунів гнучкішим, допоможе знайти правильну форму крила замість проведення складного CFD або прискорить симуляції CFD, оскільки знання з чистої математики зроблять їх ефективнішими.
Здається менш імовірним, що масштабні прориви в математиці одразу перетворяться на масштабні економічні прориви — як-от розв'язання проблем Нав'є-Стокса для відкриття можливості симулювати більше речей, — але ви, ймовірно, побачите значний вплив відкриттів чистої математики на інші сфери. Люди, які працюють в AI-інженерії, фізичній інженерії та матеріалознавстві, будуть у вигідному становищі, щоб визначити, чи є математичні інсайти AI релевантними. Було б прикро й дивно, якби протягом наступних п'яти років не відбулося економічно цінних покращень, які можна було б прямо пов'язати з прогресом AI в математиці. Було б прикро, якби AI просто розв'язував задачі Ердіша, не займаючись математикою, що торкається фізичного світу. Коли ми дійдемо до індустріальної частини сингулярності, ми, сподіваємося, матимемо різні ідеї, корисні в інших частинах світу. Щоразу, коли ми писали заявки на гранти, стверджуючи, що прогрес в області еліптичних кривих допоможе криптографії, це підсвічувало той факт, що, можливо, це не так.