Мы нашли интересный материал Шона Гёдеке о том, почему с развитием LLM профессиональная экспертиза не теряет ценности, а, наоборот, помогает получать от ИИ больше. Решили перевести и адаптировать его для читателей блога «Таланты».
Оригинал: LLMs reward expertise.
В 2010-х нехватку технических навыков приходилось компенсировать помощью более опытных коллег или поиском подходящего решения в интернете. Сегодня практически любой человек может написать более-менее приемлемый CSS, просто поручив эту задачу большой языковой модели. LLM превращают всех нас в универсальных специалистов.
Из-за этого может показаться, что особых навыков для работы с LLM не нужно. Хотите получить сложный математический расчет, написать программный код или подготовить текст для LinkedIn — достаточно сформулировать запрос. А поскольку всем доступны примерно одни и те же модели, возникает ощущение, что опыт работы с промптами мало на что влияет: новичок может получить примерно тот же результат, что и человек, который давно использует LLM. Но это не так.
Самый важный навык в работе с промптами — экспертиза в той области, о которой вы спрашиваете модель.
Хороший пример — разговор математика Теренса Тао с ChatGPT о недавно обнаруженном контрпримере к гипотезе Якобиана. По диалогу видно, насколько глубоко Тао умеет работать с моделью: он направляет рассуждение, уточняет отдельные моменты и постепенно подводит ChatGPT к нужному результату.
Без серьезной математической подготовки повторить такой разговор было бы сложно, даже имея неограниченное количество попыток.
Как выглядит промпт эксперта
В одном из этапов Тао не просит ChatGPT «объяснить гипотезу Якобиана» или «найти решение». Он ставит узкую профессиональную задачу: просит символически проверить, даст ли композиция конкретных отображений полиномиальное отображение с постоянным якобианом. Затем сопоставляет полученный результат с исходным контрпримером. Именно так выглядит работа эксперта с LLM: модель выполняет отдельные операции, а направление исследования задает человек.
Из этого разговора можно многое узнать о работе с промптами. Вот какие особенности можно заметить в работе Тао с ChatGPT:
✔️Пишет коротко и по существу. Тао не разбирает ответ модели по пунктам, а сразу реагирует на главную мысль.
✔️Задает профессиональный уровень разговора. По формулировкам модели понятно, что перед ней эксперт, поэтому ответы становятся короче и содержательнее — без лишних объяснений базовых вещей.
✔️Не принимает ответы модели на веру. Если решение вызывает сомнения, Тао указывает на это и предлагает посмотреть на задачу иначе.
✔️Сам определяет направление разговора. Он предлагает гипотезы и альтернативные подходы, а не просто следует следующим шагам, которые рекомендует ChatGPT.
При этом одних приемов недостаточно, чтобы вести такой же диалог с моделью. Главную роль здесь играет математическая экспертиза Тао: именно она позволяет ему оценивать ответы ChatGPT, замечать слабые места и понимать, в каком направлении развивать рассуждение.
Главное в подходе Тао — глубокое знание математики. Благодаря ему он может быстро выделить важную мысль в длинном ответе ChatGPT, предложить другой способ решения и заметить, если рассуждение модели вызывает сомнения.
Этот принцип работает и в других областях. Чем лучше человек знает предмет, тем эффективнее он может использовать LLM. Например, разработчик, который хорошо понимает свою кодовую базу, способен точнее оценить предложенное решение. Он может заметить, что задачу можно решить проще, вспомнить уже существующий механизм или предложить модели другой подход.
В таких задачах знание конкретной системы часто оказывается не менее важным, чем общая профессиональная подготовка. Это видно и в диалоге Тао: он задает ChatGPT очень предметные вопросы — проверяет отдельные гипотезы, сопоставляет условия и предлагает свои варианты. Такие вопросы появляются именно благодаря глубокому пониманию задачи.
Без предметных знаний LLM тоже может быть полезна: модель поможет разобраться в новой теме и получить хотя бы первоначальный результат. Но эксперт способен получить от той же модели гораздо больше, потому что понимает, что именно нужно уточнить, где стоит усомниться в ответе и в какую сторону направить дальнейшее рассуждение.
На практике эти два сценария будут сочетаться. В знакомой области человек сможет выступать для модели в роли эксперта и активно управлять результатом. В незнакомой — сильнее полагаться на ее знания и подсказки.
Почему с развитием ИИ экспертиза не теряет ценности
Предметные знания могут оставаться важными, даже если сами модели становятся сильнее. Во многих задачах проблема уже не в том, способна ли LLM предложить решение, а в том, сможет ли человек правильно поставить задачу, оценить ответ и направить модель.
У LLM может быть достаточно информации для решения задачи, но получить подходящий результат проще тому, кто понимает предмет и способен отличить сильный вариант от слабого.
