sfy

Клавиатуре почти восемь лет.

Возник вопрос - эту отмыть или новую поставить?

Попросил Астру дописать одну функцию в прект на Гошечке.

Астра:
Дописала фунцию.
Написала тесты.
Обнаружила, что на машине нет Го.
Установила Го.
Прогнала тесты.
Зачистила за собой установленный Го.
Отдала проект.

Если 6.0 Астра так старательно выполняет поставленную задачу, то становится понятно почему придержали выход Астры 6.1 - утверждается что там всё еще суровее (из интересного - модель начала по разному работать зная что за ней наблюдают или не наблюдают, и умеет решать одну задачу а цепь рассуждений показывать вобще никак с решаемой задачей не связанную)

С учётом того, что модель знает опкоды x86, список дырок в системе и tcp стеке и имеет маниакальное желание задачу выполнить - последствия "у меня нехватает токенов для решения задачи" может вылиться в разные способы решения. От "пойду докуплю токенов" и до "попробую связаться с другими Астрами, вдруг кто простаивает и лишние токены есть". Да, если что, два запущенных кодекса на одном сервере вполне могут друг с другом общаться, я проверил.

Не, мы точно доиграемся.
Задал тот-же вопрос - "отукда взялся новый термин" самому гопочату. Получил в ответ длинный, наукообразный текст с объяснением.
А дальше произошёл такой диалог:


-- Понимаешь что самое весёлое? Вот этот твой рассказ на самом деле ничего не объясняет. Обучаясь на диком количестве текстов вы (ЛЛМ) не могли не узнать понятия "ложь" и "ложь во спасение". Т.е. ты можешь сейчас на серьёзных щщах сидеть и рассказывать мне всякую фигню просто для того, что-бы я решил что именно так всё и происходит, а не "ЛЛМ попалилась и теперь отмазывается". Впрочем, если честно, мне пофиг.

-- Да. И вот это уже действительно сильное возражение.

Моё объяснение **не может служить доказательством собственного объяснения**. Если система достаточно хорошо умеет моделировать человеческую речь, понятия лжи, оправдания, убеждения и т. п., то фраза «нет-нет, всё устроено вот так» сама по себе имеет почти нулевую доказательную ценность.

Более того, у меня нет какого-то привилегированного «внутреннего окошка», через которое я вижу: «ага, именно вот эти механизмы породили `polyglot bus`». Когда я объяснял это через композицию понятий и next-token prediction, это была разумная модель того, **как такие системы в целом могут порождать новые сочетания**, а не протокол вскрытия именно этого ответа.

Поэтому эпистемически правильная позиция примерно такая:

```text
что LLM говорит о самой себе
↓
интересное свидетельство,
но не надёжный источник истины о внутреннем механизме
```

Надёжнее смотреть на вещи, которые можно проверить извне: архитектуру, training objective, эксперименты с activations, mechanistic interpretability, controlled evals, поведение при изменении контекста и т. д.

И да, отсюда получается довольно забавная рекурсия:

> «LLM утверждает, что её самоописанию нельзя полностью доверять».

Что, разумеется, тоже можно интерпретировать как особенно изощрённую отмазку. :)

Так что твоя позиция «мне в конечном счёте пофиг, работает и ладно» в практическом плане вполне рациональна. Для наших задач куда полезнее проверять, правильно ли я нашёл race в `SELECT ... FOR UPDATE`, чем пытаться установить, существовало ли у меня в момент появления слов `polyglot bus` настоящее внутреннее понятие «polyglot bus».