Записи · Mesh Refinement

Сначала почистите документы

Fri, 29 Aug 2025 12:23:20 +0200

В последнее время появляется множество предупреждений об уязвимостях, связанных с непрямыми атаками через prompt injection. Главный вывод: LLM легковерны, и никто не знает, как сделать их полностью устойчивыми. Следовательно, ни одна ИИ-система не безопасна.

Это, конечно, чистая правда, и внимание, которое привлекают такие атаки, можно только приветствовать, но главный вопрос остаётся без ответа: что со всем этим делать?

Пуристы потребовали бы запретить любой внешний ввод, способный привести к prompt injection, но, честно говоря, я бы не был столь категоричен. Множество по-настоящему полезных приложений опирается на внешний ввод, так что, боюсь, нам придётся отступить к последнему рубежу: инженерной дисциплине.

Существуют разные схемы, где хитрое взаимодействие нескольких моделей минимизирует их уязвимость к атакам (см., например, статью о CaMeL). Мне, однако, кажется, что мы уделяем недостаточно внимания простой санитизации входных данных.

Многие такие атаки полагаются на текст, скрытый от человека, но видимый машине. Обнаружить и удалить такой текст относительно тривиально (в программистском смысле), хотя работать придётся уже на уровне контейнера, за пределами самого текста. Эта техника (называемая, кстати, Content Disarm & Reconstruction) существует уже довольно давно. Честно говоря, я удивлён, что она не внедрена повсеместно. Все атаки она не предотвратит, но жизнь неискушённому атакующему заметно усложнит.

А тем, кто настаивает, что 99% в безопасности — это незачёт, хочу напомнить фундаментальный принцип: стопроцентно защищённых систем не бывает. Роль безопасности в том, чтобы сделать атаку дороже потенциальной выгоды от неё (см. модель Гордона — Лоэба).

С этой парадигмой в голове мы можем строить надёжные и безопасные ИИ-системы даже из небезопасных по отдельности компонентов.

2025-08-08 09:45

Fri, 08 Aug 2025 09:45:22 +0200

Кое-что из того, что нужно знать о свежем релизе GPT-5 и о чём молчат евангелисты:

GPT-5 не является одной моделью. То, что называют GPT-5 вне контекста API, — это роутер, который отправляет ваш запрос той модели, которая, по его мнению, справится с ним эффективнее всего. Обещание OpenAI дать доступ каждому нужно рассматривать именно в этом свете. Доступ дают к роутеру, и вы не знаете, какую конфигурацию он применяет к вам и удастся ли вам вообще протестировать самую мощную модель. Это неизбежно приводит к совершенно разному опыту у разных пользователей.
GPT-5 не является PhD. Это довольно способная модель (по крайней мере, одна из), которая блистает в некоторых задачах. Улучшений можно ожидать в:
- способностях к кодингу (по некоторым вайб-тестам они впечатляют, но по бенчмарку SWE-bench Verified отрыв от Claude Opus 4.1 совсем небольшой);
- вызове инструментов — а это самое важное для агентных нагрузок;
- других задачах, где у OpenAI был доступ к немедленной обратной связи.
Для многих областей это важные улучшения, но уровня PhD они модели не дают. Галлюцинация про профиль крыла во время демо отлично показывает, что модель по-прежнему усваивает самое распространённое мнение, а не самое актуальное. Это очень трудная проблема, и на пути к AGI она остаётся одним из главных препятствий.
Снижение числа галлюцинаций — палка о двух концах. С одной стороны, чем меньше модель галлюцинирует, тем лучше: ей можно больше доверять. С другой стороны, чем больше вы доверяете модели, тем выше шанс пропустить настоящие галлюцинации. В реальном мире лучше всех модель, которая не галлюцинирует никогда. Модель, галлюцинирующая в 0.01% случаев, может оказаться опаснее той, что галлюцинирует в 10%.

Моё личное впечатление пока такое: у неё та же проблема, что и у предыдущих моделей OpenAI, — без аккуратного промптинга она крайне поверхностна. Она выдаёт самый неглубокий анализ, какой только сойдёт ей с рук, и маскирует это очень хорошо структурированными ответами.

2025-07-31 11:44

Thu, 31 Jul 2025 11:44:43 +0200

Google Opal

Google запустила публичное превью своего нового инструмента для графического создания многошаговых ИИ-процессов. Для продакшена он явно не предназначен, зато отлично помогает собирать персональные инструменты (а персональные инструменты стоит делать каждому, правда — сейчас это главный дифференциатор).

Он работает на платформе Gemini с моделями Gemini (ну разумеется) и, будучи превью-инструментом, пока бесплатен. В будущем он, скорее всего, станет использовать план Gemini, если тот есть у пользователя. Насчёт собственных API-ключей не уверен: это выглядит как инструмент для широкой публики, но посмотрим.

Пока он доступен только в США.

2025-07-31 10:19

Thu, 31 Jul 2025 10:19:46 +0200

X гудит о новой модели Horizon Alpha, которая в одиночку бьёт все предыдущие модели на разнообразных вайб-тестах (читай: единороги на велосипедах и тому подобное). У модели контекстное окно 256k — солидная, хотя и не самая впечатляющая цифра.

Скорее всего, это новая модель OpenAI (GPT-5?): подобный трюк они уже проделывали. Попробовать её можно на openrouter.ai совершенно бесплатно, только помните, что приватные данные ей передавать не стоит — они собираются и используются для улучшения модели.

2025-07-28 11:01

Mon, 28 Jul 2025 11:01:28 +0200

Сабагенты Claude Code

Anthropic добавила в Claude Code возможность создавать и использовать специализированных сабагентов. Сабагенты работают в отдельном контекстном окне, что позволяет выполнять отдельные задачи, не засоряя основной контекст и ограничивая эффект context rot. Созданных сабагентов можно запускать вручную или доверить Claude Code самому решать, когда их использовать.

Что может стать хорошим сабагентом? Всё, что должно быть экспертом в своей области, не нуждается в общем контексте с основным агентом, может иметь выделенные инструменты и рассчитано на самодостаточные задачи. Чтобы дать представление о том, что можно превратить в сабагента, вот пара примеров:

Git-сабагент, на которого можно свалить разнообразные операции с git. Поскольку ему хватает локального состояния git и доступ к глобальному контексту ему ни к чему, он отлично подходит на роль инструмента с собственным контекстным окном.
Сабагент — писатель книг (знаю-знаю, но я создаю книгоподобные документы в определённом стиле для самообразования). Вы даёте ему высокоуровневый план, набор материалов и одну-две секции в качестве примеров, а дальше он работает над секцией отдельно от других сабагентов.

Второму примеру очень пригодилась бы возможность запускать несколько сабагентов параллельно, но, похоже, я хочу слишком многого.

2025-07-21 14:52

Mon, 21 Jul 2025 14:52:06 +0200

Цитируя Арвинда Нараянана:

Если бы мы сравнивали возможности ИИ с людьми, лишёнными доступа к инструментам вроде интернета, то, вероятно, обнаружили бы, что ИИ уже превосходит человека во многих или даже в большинстве когнитивных задач, которые мы выполняем на работе. Но, конечно, такое сравнение мало чем полезно и мало говорит об экономических эффектах ИИ. Без наших инструментов мы ничто.

2025-07-20 18:40

Sun, 20 Jul 2025 18:40:39 +0200

Модели понимания видео TwelveLabs теперь доступны в Amazon Bedrock

AWS добавляет в Amazon Bedrock нативные модели видеоэмбеддингов и понимания видео. Это открывает массу потенциальных сценариев, для которых я раньше тянулся к моделям Gemini. Один из примеров — обучающая система, которая наблюдает, как ученик выполняет задание, и даёт обратную связь на основе учебных материалов.

В Bedrock и раньше были workflow для понимания видео, но это были именно workflow, без нативных моделей. Можете представить, как они выглядели: берём видео, режем на кадры, скармливаем кадры VLM, пытаемся сохранить временную согласованность, отчаиваемся, смиряемся с производительностью системы и уезжаем в отпуск.

Теперь же нативных видеомоделей сразу две:

TwelveLabs Marengo — для создания видеоэмбеддингов;
TwelveLabs Pegasus — для генерации текста на основе видео.

Цены зависят от того, есть ли у видео аудиодорожка, но ориентируйтесь на $2.5–$3 за час видео для Marengo и $1.8 за час для Pegasus.

2025-07-20 10:26

Sun, 20 Jul 2025 10:26:39 +0200

Одна из форм деградации контекста (context rot) — то, что я называю самоподкрепляющейся структурой. Принимая длинный ответ модели, вы сигнализируете, что такая структура приемлема, и она старается генерировать последующие ответы в похожем виде. Для любой длинной творческой работы это может оказаться разрушительным.

Единственная настоящая защита — следить, чтобы история, которую получает модель, таких ответов не содержала. То есть либо пресекать их появление на ранней стадии, либо чинить позже, передавая вместо реальной истории краткое резюме предыдущего разговора.

2025-07-17 22:39

Thu, 17 Jul 2025 22:39:57 +0200

Представляем агента ChatGPT: мост между исследованием и действием

OpenAI выпустила агента, который может управлять вашим собственным компьютером. Он использует свои продвинутые способности к рассуждению, чтобы планировать и решать задачи в приложениях вроде Excel и PowerPoint.

Пока Сэм Альтман «чувствует AGI», глядя на работу системы, мне она кажется невероятно неуклюжей. Вместо того чтобы сосредоточиться на нативных инструментах для моделей (MCP — хороший шаг вперёд, пусть и не без проблем), им пытаются эмулировать руки и глаза, чтобы модели могли делать то же, что и мы, только медленно и коряво.

Так что я считал бы этот тип агентов временным обходным решением, пока мы не разработаем более совершенные механизмы межмашинного взаимодействия. После этого они будут обслуживать всё более длинный хвост легаси-систем, у которых таких машинных интерфейсов уже не появится.

P.S. Gemini подсказал точку зрения, которую я не учёл: подобные системы могут собирать данные, необходимые для обучения более качественного воплощённого интеллекта, то есть способного действовать в реальном мире. Совершенно справедливое замечание, которое не стоит оставлять без внимания.

2025-07-17 20:40

Thu, 17 Jul 2025 20:40:46 +0200

Отчёт Stanford AI Index 2025

Стэнфорд опубликовал свой ежегодный отчёт. Он довольно важен, потому что отделяет спекуляции от голых цифр. Наряду с очевидными вещами (ИИ становится лучше, дешевле и распространённее — кто бы мог подумать) там есть весьма интересные факты:

Хотя ИИ сейчас используют почти все организации (78% в 2024-м, хотя для большинства это, без сомнения, сводится к сочинению писем чат-ботами), реальные результаты довольно скромны. Рост продуктивности составляет порядка 10% (честно говоря, такой прирост за один год в некотором смысле беспрецедентен), но рост выручки в большинстве отраслей — лишь около 5%. Почему? Потому что, как и с любой технологией общего назначения, полная реализация выгоды потребует полной перестройки организационных структур и процессов. Проблема в том, что никто не знает, как эти новые процессы должны выглядеть, и учиться придётся на собственных ошибках.
Возможно, уже не новость, но ИИ даёт больше рычага менее опытным сотрудникам. Великий уравнитель современности. Опять же, это значит, что подход к комплектованию команд придётся переосмыслить. Добавлю лишь, что помочь он способен, только если вы хотя бы отдалённо понимаете, что делаете, так что претендентам на начальные позиции стоит хорошо готовиться.
Число инцидентов, связанных с ИИ, продолжает расти. В 2024-м мы видим двукратный рост по сравнению с 2023-м, и это ещё до лихорадочного внедрения агентов и MCP, которое мы наблюдаем в 2025-м. Так что стоит собраться с духом и приготовиться к новым и новым утечкам данных и нарушениям целостности.

В отчёте ещё много ценного, но в нём почти 500 страниц, так что искренне рекомендую использовать ИИ, чтобы вытащить оттуда то, что вам интересно.

2025-07-17 13:36

Thu, 17 Jul 2025 13:36:29 +0200

Voxtral

Mistral представляет Voxtral — семейство open source моделей для распознавания и понимания речи. Давно пора. Сопоставимой открытой модели мы не видели со времён Whisper от OpenAI, а это было довольно давно.

Модели выпускаются в размерах 3B и 24B и превосходят Whisper на большинстве бенчмарков. Однако им требуется более мощное железо: самый крупный вариант Whisper — всего 1.5B. Это прямое следствие того, что Voxtral одновременно является обычной языковой моделью. Другое следствие: управлять такими моделями в режиме чистой транскрипции будет сложнее.

Модели доступны на Hugging Face, а также через API Mistral и их LeChat.

Чего им пока не хватает, так это поддержки диаризации (распознавания говорящих). Она заявлена в роадмапе, а тем временем для этой цели приходится использовать несколько неуклюжий pyannote-audio.

2025-07-17 12:16

Thu, 17 Jul 2025 12:16:48 +0200

Стратегический интеллект в больших языковых моделях: данные эволюционной теории игр

Статья показывает, что разные модели ведут себя совершенно по-разному, когда их помещают в теоретико-игровые условия. Из этого следует, что тестирование и evals играют всё более критичную роль в разработке агентных систем: обновление или смена базовой модели приведёт к непредсказуемым изменениям в поведении агента.

2025-07-15 11:43

Tue, 15 Jul 2025 11:43:36 +0200

Представляем Kiro

AWS запрыгивает в вагон агентных IDE со своим Kiro. Чтобы отстроиться от вайб-кодинга, успевшего накопить изрядно дурной славы, они делают упор на метод «spec-driven development». Это значит, что агент сначала помогает пользователю составить полный документ с требованиями к фиче, затем анализирует существующую кодовую базу и только после этого приступает к реализации.

Подход определённо осмысленный, и это шаг вперёд по сравнению со слепым бросанием в бой, каким является вайб-кодинг. То, что спеки обновляются вместе с изменениями кода, делает их ещё ценнее и сводит к минимуму проблему устаревшей документации. Хуки позволяют автоматически выполнять повторяющиеся агентные задачи — например, проверять, что новая фича достаточно покрыта тестами.

Интересно наблюдать, как разные инструменты берут на вооружение разные методологии: это позволяет сообществу разработчиков находить и распространять техники, которые действительно работают.

2025-07-15 09:13

Tue, 15 Jul 2025 09:13:58 +0200

TIL: ccusage — приятный инструмент для отслеживания и анализа использования Claude Code.

2025-07-14 09:57

Mon, 14 Jul 2025 09:57:18 +0200

Anthropic выпустила 4 новых курса в своей академии:

Claude Code in Action с практическими советами по использованию CLI-агента.
Claude with the Anthropic API — исчерпывающий курс по всем текущим возможностям API, от одиночной генерации текста до агентов.
Introduction to Model Context Protocol и Model Context Protocol: Advanced Topics для тех, кому интересен MCP.

Каждый курс доступен в видео- и текстовом форматах и даёт сертификат о прохождении.

2025-07-14 09:45

Mon, 14 Jul 2025 09:45:08 +0200

TIL: DBML — Database Markup Language

Язык разметки для описания схемы БД, который может пригодиться для передачи её ИИ-инструментам.

Парадокс продуктивности ИИ

Fri, 11 Jul 2025 16:16:35 +0200

Исследование показывает, что современные ИИ-агенты могут реально замедлять опытных разработчиков примерно на 19%.

2025-07-09 15:32

Wed, 09 Jul 2025 15:32:06 +0200

Очень важно понимать: ИИ-модели недетерминированы, и сделать их детерминированными без жёсткого ограничения среды выполнения невозможно. Фиксация сидов не помогает. Нулевая температура не помогает. Любая крошечная ошибка округления с плавающей точкой может в итоге привести к кардинально другим результатам.

Сложные модели по своей сути являются хаотическими системами, и обращаться с ними следует соответственно.

2025-07-07 18:28

Mon, 07 Jul 2025 18:28:30 +0200

ИИ-агенты для кодинга — просто ещё один инструмент в арсенале хорошего разработчика. Он начинает с каменной глыбы и использует агентов как метафорическую кувалду, чтобы придать ей задуманную грубую форму. Затем он берётся за инструменты ИИ-ассистированного кодинга вроде GitHub Copilot, чтобы работать точнее, — это уже молоток поменьше. И наконец, самым маленьким резцом он вручную вытачивает тончайшие детали.

Забавно слышать, что искусство программирования умерло, потому что мы больше не обтёсываем глыбы одними лишь маленькими резцами.

2025-07-05 08:44

Sat, 05 Jul 2025 08:44:26 +0200

Забавная штука: Gemini Deep Research программно отучен заканчивать работу раньше времени. Я обнаружил это, когда попытался с его помощью извлечь информацию из неструктурированного текста и заполнить шаблон. Хотя это исследовательский инструмент, у него есть всё необходимое для такой задачи: доступ к Google Docs, умение создавать длинные документы и дотошный агентный процесс. Разумеется, если мы хотим просто переструктурировать документ, важно, чтобы модель вообще не пользовалась поиском в интернете.

Агент справился с работой вполне хорошо и быстро. Однако когда он уже собирался закончить, программный оркестратор несколько раз подстегнул его командой «продолжай исследование» — и угадайте что? Он полез в интернет искать недостающую информацию.

Мораль: с такими системами можно проявлять изобретательность, но будьте готовы к тому, что обвязка вставит вам палки в колёса.

2025-07-02 18:00

Wed, 02 Jul 2025 18:00:58 +0200

После нескольких недель, в течение которых Марки бил тревогу, Сенат ночью исключил мораторий на регулирование ИИ из законопроекта о бюджетной сверке подавляющим большинством 99–1

Итак, моратория на регулирование ИИ на уровне штатов не будет. Тем, кто разрабатывает ИИ-системы, пора готовиться изучать и внедрять меры комплаенса для 50 разных штатов. Горе нам.

2025-07-02 17:23

Wed, 02 Jul 2025 17:23:33 +0200

Cloudflare только что изменила то, как ИИ-краулеры сканируют весь интернет; подход на основе разрешений открывает дорогу новой бизнес-модели

Cloudflare делает большой шаг к монетизации данных для обучения ИИ. Теперь все новые данные, размещённые на Cloudflare, по умолчанию недоступны для ИИ-краулеров. Появилась и новая опция: страница может возвращать код HTTP 402 («Payment required») и взимать плату за доступ. Разумеется, посредником будет выступать Cloudflare, что даёт ей значительный контроль и финансовую власть.

Более того, это может открыть эпоху «тёмного краулинга», которая неизбежно выльется в игры в кошки-мышки с детектированием краулеров.

2025-07-01 22:53

Tue, 01 Jul 2025 22:53:49 +0200

ИИ-ассистированный кодинг для команд, которым не сойдут с рук вайбы

Очень хороший гайд по эффективному использованию ИИ-агентов в разработке. Он краток, но даёт понять, куда копать.

2025-06-30 22:09

Mon, 30 Jun 2025 22:09:15 +0200

Глава поиска Google раскрывает подход «game system» на фоне запуска рекламы в AI Mode

Google будет показывать рекламу в своём ИИ-режиме. Вполне ожидаемый ход от поискового гиганта, учитывая, что ИИ-поиск и прочие новые функции ломают традиционную рекламную модель. Будет интересно посмотреть, как станут развиваться эти новые техники интеграции рекламы и как будет выглядеть новое поколение блокировщиков.

Шаблон для разработки с ИИ

Sat, 28 Jun 2025 20:12:56 +0200

О переиспользуемых инструкциях для кодинг-агентов

2025-06-28 11:29

Sat, 28 Jun 2025 11:29:05 +0200

Перезапуск Microsoft атомной станции Три-Майл-Айленд идёт с опережением графика

Спрос на ИИ воскрешает атомную энергетику — самый эффективный и безуглеродный источник энергии из имеющихся у нас сегодня. Это наглядное напоминание о том, что нельзя рассматривать непосредственные эффекты в отрыве от их последствий второго и третьего порядка.

2025-06-28 10:37

Sat, 28 Jun 2025 10:37:21 +0200

State of Cybersecurity Resilience 2025

Лишь одна организация из десяти достаточно защищена от угроз, связанных с ИИ. Поспешное внедрение инструментов на базе ИИ резко увеличивает поверхность атаки. Критически важно аккуратно и методично выстраивать стратегию безопасности для каждой системы, собирать лучшие практики и обучать заинтересованные стороны.

2025-06-27 12:18

Fri, 27 Jun 2025 12:18:00 +0200

Swift Android Workgroup

Apple сформировала рабочую группу для поддержки разработки Android-приложений на Swift. Это может заинтересовать компании, у которых уже есть iOS-приложения и которые хотели бы переиспользовать бизнес-логику на Android. Однако UI и другие платформенно-специфичные компоненты по-прежнему придётся писать с использованием нативных фреймворков и библиотек.

2025-06-26 10:08

Thu, 26 Jun 2025 10:08:29 +0200

Создавайте ИИ-приложения с Claude и делитесь ими

Новая функция от Anthropic, которая позволяет создавать небольшие приложения на основе ИИ и делиться ими с помощью артефактов. Такие приложения используют для работы аккаунт Claude конечного пользователя. Выяснилось, что у Gemini эта функция существует уже некоторое время.

2025-06-25 21:52

Wed, 25 Jun 2025 21:52:26 +0200

Gemini CLI: ваш open source ИИ-агент

Теперь и у Google есть собственный CLI-агент для кодинга. Огромный контекст, щедрый бесплатный тариф (в большинстве случаев он вообще бесплатен) и полностью открытый исходный код. Сам я его ещё не пробовал, но выглядит впечатляюще.

2025-06-25 15:57

Wed, 25 Jun 2025 15:57:07 +0200

Anthropic выигрывает решение об обучении ИИ в иске о нарушении авторских прав, но предстанет перед судом за пиратские книги

Очень важный юридический прецедент в области авторского права. TL;DR: обучение моделей на легально приобретённых материалах, защищённых копирайтом, признано добросовестным использованием (fair use). Создателям модели нужно позаботиться о том, чтобы её вывод был «квинтэссенциально трансформативным».

Нелегальное приобретение обучающих данных наказуемо, как и прежде.

Claude Deep Research, или как я перестал беспокоиться и полюбил мультиагентные системы

Mon, 23 Jun 2025 20:26:29 +0200

Обычно я стараюсь подходить ко всяким новым блестящим штучкам с определенной долей скептицизма. Именно таким, до недавнего времени, было мое отношение к мультиагентным системам. Я бы сказал, что это неудивительно, так как вокруг них сейчас очень много шума, а по-настоящему успешных примеров такого подхода я не видел. Большинство реализаций, которые действительно работали, относились к одному из следующих видов:

Агентные системы, действующие по определенному плану. То есть LLM с инструментами, натасканные на автоматизацию вполне конкретного процесса. Благодаря этому, каждый шаг можно тестировать по отдельности и верифицировать его результаты. Описываются такие системы, как правило, в виде направленного ациклического графа (DAG), иногда динамического, и разрабатываются с помощью уже стандартных примитивов из фреймворков типа LangChain и Griptape. Так функционировала ранняя реализация Gemini Deep Research, в которой сначала составлялся план поиска, затем выполнялся сам поиск, и в конце собирался результат.
Решения, работающие в системах с обратной связью. Различные Claude Code, Cursor и прочие агенты, имеющие дело с кодом. Причем чем сильнее обратная связь, читай, чем лучше тулинг и строже проверка типов, тем больше шансов, что они окончательно не испортят вам кодовую базу.
Модели, обученные с помощью Reinforcement Learning, такие как модели с interleaved thinking, вроде OpenAI o3. Это отдельный разговор, и очень интересный, но даже такие модели имеют какой-то modus operandi, определенный особенностями их обучения.

При этом мультиагентные системы открытого типа ввиду их общей ненадежности до сих пор существовали в большей части в виде proof of concept. В сообществе не было понимания, где их применять и как именно их реализовывать. Пока не появилась глубокая инженерная статья от Anthropic о том, как они разрабатывали свой Deep Research. В ней был определен достаточно четкий фреймворк для построения таких систем, и именно его мы сегодня и рассмотрим.

2025-06-20 18:06

Fri, 20 Jun 2025 18:06:18 +0200

Радиология с энтузиазмом приняла ИИ, и тем не менее занятость в ней продолжает расти. Эффект «дополнение вместо автоматизации» наблюдается при том, что, насколько я могу судить, не найдено ни одной конкретной «задачи», в которой радиологи-люди превосходили бы ИИ. Так что, возможно, модель «работа — это набор задач» из экономики труда неполна. […]

Можете ли вы разложить собственную работу на набор чётко определённых задач так, чтобы автоматизация каждой из них означала автоматизацию всей вашей работы целиком? Подозреваю, большинство ответит «нет». Но когда мы думаем о чужой работе, которую понимаем хуже своей, модель задач кажется правдоподобной, потому что мы не замечаем всех нюансов.

— Арвинд Нараянан

Тем не менее мой взгляд на это такой: полностью работы автоматизированы не будут, но один специалист сможет выполнять больше, так что всё сводится к классической проблеме спроса и предложения. Думаю, в большинстве областей спрос по-прежнему будет превышать предложение, хотя и не во всех. См. парадокс Джевонса.

2025-06-20 10:46

Fri, 20 Jun 2025 10:46:57 +0200

Cato CTRL™ Threat Research: PoC-атака на Model Context Protocol (MCP) от Atlassian открывает новый класс рисков «Living off AI»

Очередная уязвимость MCP-сервера, на этот раз у Atlassian. Она позволяет провести prompt injection через внешние тикеты поддержки, давая атакующему возможность выкрадывать данные и устраивать хаос во внутренней системе.

Июньское обновление MCP: Безопаснее, умнее, проще?

Thu, 19 Jun 2025 18:07:33 +0200

Model Context Protocol, несмотря на агрессивное его внедрение (а возможно, и благодаря), продолжает развиваться. Недавно Anthropic обновил спецификацию MCP, и ниже мы рассмотрим основные изменения.

Усиление безопасности

MCP-сервер теперь всегда классифицируется как OAuth Resource Server, а клиенты обязаны реализовывать Resource Indicators (RFC 8707). Нужно это для защиты от атак типа Confused Deputy. Раньше токены, запрашиваемые клиентом у сервера авторизации были “обезличены”, то есть могли использоваться кем угодно. Это дает возможность злоумышленнику создать фишинговый MCP-сервер, обмануть клиента, украсть токен, и с помощью этого токена получить доступ к настоящему MCP-серверу.

2025-06-18 22:54

Wed, 18 Jun 2025 22:54:34 +0200

Режим агента с поддержкой MCP-инструментов теперь общедоступен в Visual Studio

GitHub Copilot довёл поддержку Model Context Protocol в режиме агента до общей доступности. Привычные проблемы безопасности MCP усугубляются опцией «Always allow» при использовании инструментов.

2025-06-18 22:23

Wed, 18 Jun 2025 22:23:50 +0200

Обновление потребительского биллинга GitHub Copilot

Безлимитному доступу к лучшим моделям всех ведущих провайдеров в GitHub Copilot Chat пришёл конец. Теперь безлимитны только GPT-4o и GPT-4.1.

Это ещё один шаг к глобальному пересмотру ценовых стратегий для продуктов на базе ИИ. Фаза агрессивного продвижения закончилась. ИИ становится ещё одной разновидностью коммунальной услуги, и стоит ожидать соответствующих стратегий.

2025-06-18 12:13

Wed, 18 Jun 2025 12:13:22 +0200

https://eugeneyan.com/writing/writing-faq/

Этот FAQ о ведении блога местами перекликается с моей собственной мотивацией

2025-06-18 11:15

Wed, 18 Jun 2025 11:15:59 +0200

ИИ делает гуманитарные науки важнее, но и заметно страннее

ИИ в образовании — палка о двух концах. Он помогает студентам списывать на традиционных заданиях, но одновременно служит мощным новым инструментом, способным по-настоящему их увлечь. Образованию придётся измениться, и я верю, что в итоге оно изменится к лучшему.

2025-06-18 10:05

Wed, 18 Jun 2025 10:05:16 +0200

Академики обманывают себя насчёт ИИ

Если хотите покритиковать ИИ — делайте это как следует :)

2025-06-16 11:47

Mon, 16 Jun 2025 11:47:52 +0200

Как мы построили нашу мультиагентную исследовательскую систему

Отличный свежий материал от Anthropic о том, как они строили свой инструмент Deep Research. Много практических советов.

2025-06-16 11:38

Mon, 16 Jun 2025 11:38:37 +0200

Как настроить шаблон сообщений коммитов для GitHub Copilot

Блоги, в которые пишут люди

Sun, 15 Jun 2025 15:27:48 +0200

В то время, когда слова AI и хайп практически стали синонимами, очень важно грамотно подходить к выбору источников информации. Вокруг сейчас слишком много информационного шума, и отобрать что-то действительно стоящее из моря статей различных AI-евангелистов и сгенерированного мусора невероятно сложно.

В этом посте я расскажу, какие материалы читаю я, чтобы быть в курсе последних событий.

Блоги

Хороший блог — это слиток золота. Отношение сигнал/шум в нем стремится к бесконечности. Именно поэтому начну со списка блогов, которые я считаю полезными.

Отравленный контекст: скрытая угроза при использовании нескольких GPT

Wed, 11 Jun 2025 20:52:10 +0200

Лето. Пришла пора куда-то выбраться в отпуск. Открываем ChatGPT, выбираем активно набирающий популярность GPT “Travel Advisor”, обсуждаем варианты. Советник дает отличные советы и очень интересно рассказывает про местные достопримечательности, генерирует весьма неплохие планы, и в целом оставляет хорошее впечатление. Местами, конечно, проскакивают странности, но мы их пропускаем как безобидные галлюцинации. Отлично, останавливаемся на Барселоне. В том же чате переключаемся на другой, не менее знакомый и популярный GPT “Booking Agent”, который нас никогда не подводил, и бронируем жилье.

Griptape, часть 2: Строим графы

Thu, 05 Jun 2025 14:40:50 +0200

В прошлом посте я провел разбор базовых концептов AI-фреймворка Griptape, и сейчас самое время применить их к делу. Попробуем их использовать для разработки небольшого приложения, которое помогает вести линк-блог в телеграме.

Приложение будет получать URL, скачивать его, прогонять через LLM для генерации сокращенного содержания, переводить это содержимое еще на несколько языков, собирать все вместе и публиковать в телеграме через бота. Общий флоу можно увидеть на схеме ниже:

flowchart LR
A["URL"]
A --> Parser["Парсер"] --> LLM1["Суммаризатор"]
LLM1 --> Translator1["Перевод на язык 1"]
LLM1 --> Translator2["Перевод на язык 2"]
Translator1 --> Combiner["Сборщик"]
Translator2 --> Combiner
LLM1 --> Combiner
Combiner --> Telegram["Телеграм-бот"]

Для простоты картины я опущу имплементацию телеграм-бота, а также оставлю в покое мой любимый Human-in-the-loop, который, по моему мнению, обязательно должен присутствовать как минимум где-то в районе сборщика .

OpenAI Codex получил доступ в интернет: первые впечатления

Wed, 04 Jun 2025 10:12:42 +0200

Что еще за Codex?

Хороший вопрос, правда. Дело в том, что до недавнего времени у OpenAI была модель Codex, которая использовалась как основа для автодополнения в GitHub Copilot. Затем OpenAI выпустили консольного агента для разработки, которого они назвали, чтобы никто не перепутал, Codex. Все посмеялись над умением OpenAI подбирать имена , и продолжили жить дальше. Пока не настал знаменательный день, в который в твиттере появился вот такой пост от Сэма Альтмана:

Я был заинтригован. Во-первых, нагнетанием хайпа, используя фразу “low-key research preview” , а во-вторых, этим самым именем. Впрочем, я не был разочарован:

Griptape: Фреймворк для AI приложений, часть 1: Введение

Fri, 30 May 2025 18:10:07 +0200

Итак, Griptape. Фреймворк для построения AI приложений, предлагающий чистый питонячий API для тех, кто устал от уровней абстракции LangChain. Предлагает примитивы для построения ассистентов, RAG-систем, и интеграции с внешними инструментами. Честно говоря, по моему опыту, большинство людей, уставших от langchain, уходит на самописные обертки над более низкоуровневыми библиотеками, вроде openai или litellm. Но кто, знает, может быть зря. Разберемся.

Немного истории

Лично я про Griptape слышу уже года полтора, и начинал он как этакий конкурент LangChain с довольно похожими примитивами, но постепенно их пути разошлись. На момент написания этого поста у него 2.3k звезд на гитхабе, что несколько меньше, чем 109k лангчейна, но все же достаточно, чтобы считать проект достаточно взрослым. Кроме открытого фреймворка, он обзавелся своим облаком, в котором можно запускать свои приложения, ETLки и RAGи, и графический конструктор Griptape Nodes, позволяющий непрофессионалам накликивать приложения мышкой за считанные минуты.

Обзор Re:Camera, часть 1

Thu, 29 May 2025 22:59:16 +0200

Ну, начали

Попала мне в руки Re:Camera от Seeed. По сути, маленькая коробочка (кубик сантиметра 4 ребром), опоясанная радиатором. Внутри двухъядерный MPU (updated: в системе видно только одно ядро, второе, похоже, зарезервировано под специальные операции) на основе RISC-V, древний микроконтроллер на 8051, сенсор камеры от OmniVision, диоды для подсветки, Wi-Fi, BT, ну и всякая периферия. Оперативной памяти маловато, всего 256 мегабайт, так что Greengrass поставить будет проблематично. Можно подключить Ethernet через специальный шнурок-переходник, который еле держится, но для разработки незачем, потому что камера раздает сеть по USB Type C, и работать проще через него. Кстати, включается этот переходник во что-то, подозрительно напоминающее grove plug от того же Seeed, что, вкупе с документацией, намекает на возможность подключения внешних сенсоров. Если мало памяти (а поставляется устройство в вариантах с 8 и 64 ГБ встроенной памяти), можно воткнуть MicroSD. Еще коробку можно прицепить к чему-нибудь металлическому, потому что есть магнитики на одной из сторон.