📈 Создание изображений по тексту без предобучения текста Авторы проверяли, ...

Дата публикации: 20-10-2026 17:33:15

📈 Создание изображений по тексту без предобучения текста
Авторы проверяли, можно ли обойтись без предобучения языковых моделей для генерации картинок по запросам. Предложили Halcyon — модель, обучавшуюся с нуля на 100 млн пар изображений и текстов. Она обгоняет конкуренты в 275 раз быстрее по затратам вычислительных мощностей.
---
Модель Halcyon-1.6B набрала 35.3 по метрике gFD, а лучшие решения с предобучением текста — 41.0. Также она обучает генерацию описаний изображений без потери качества.
#cs_LG #Наука #Технологии #Исследования #МашинноеОбучение #ML
📄 Конспект:
▸ Создание моделей генеративного синтеза текст-в-изображение без предварительной подготовки языковых данных
Авторы предлагают альтернативу стандартным системам генерации изображений по тексту, которые обычно требуют предварительной обучения на гигантских языковых моделях. Их метод Halcyon обучается с нуля на мультимодальных авторегрессивных моделях с ранним объединением данных и достигает лучших результатов по метрике gFD, потратив в 275 раз меньше вычислительных ресурсов на предобучение, чем конкуренты. Оказалось, что предобучение только на тексте не улучшает качество генерации, а модель даже сама обучается генерировать описания изображений, если заменить стандартный dropout на супервизорное обучение "изображение-текст". В итоге показано, что мощные системы генерации можно создать без предварительной обработки гигантских языковых корпусов.
▸ Введение
Введение статьи показывает, что современные системы генерации изображений по тексту (T2I) почти полностью зависят от предобувченных языковых моделей на огромных текстах без сопутствующих изображений. Это достигается двумя подходами: late fusion, где текст и картинки обрабатываются отдельными моделями, и early fusion, где все вместе обучается на смешанных данных с текстом в качестве условия. При этом до 80% вычислительных затрат уходит на предобучение текста, а его роль в генерации не измерена точно. Авторы предлагают Halcyon — семейство моделей early fusion, которые обучаются напрямую на парах изображений и текстов без предобучения на чистом тексте. В экспериментах показано, что без него можно добиться хорошего качества генерации, при этом Halcyon-0.52Б обгоняет базовые системы по метрике gFD и потребляет в 18 раз меньше вычислительных ресурсов. Также эксперименты демонстрируют, что добавление текста в обучение не улучшает результаты — ключевой трюк в Halcyon заключается в замене…
▸ Подход
В современных системах текст-в-изображение (T2I) используется масштабная предобученность языковых моделей двумя основными способами: в позднем и раннем слиянии. В первом случае модель сначала обучается на тексте отдельно, а её эмбеддинги управляют генератором изображений — так работают Imagen, Fluid или PixArt-α. Во втором случае текстовый энкодер убирают, а предобученность на тексте интегрируют в мультимодальное обучение, как в Chameleon или Tuna-2. Однако роль предобученности языковых моделей остаётся спорной: некоторые исследования показывают, что она даёт преимущества, другие — что её эффект минимален. Тем не менее, большинство современных систем всё равно используют предобученные языковые модели, хотя эксперименты демонстрируют, что модели, обучающиеся с нуля без предобученности на тексте, могут обогнать базовые решения с предобученностью.
▸ Токенизация
Эксперимент с системой Halcyon показывает, что она использует декодер Transformer без кодировщика, объединяя текст и изображение в одну последовательность токенов. Вместо раздельного обучения отдельных токеноверов для текста и картинок, здесь все компоненты — от токенизаторов до генеративного модельного блока — обучаются с нуля, а ключевой тренировочный сигнал — предсказание следующего токена в смешанной последовательности. Метод работает по принципу раннего слияния (early-fusion), где текст и изображение представлены в единой структуре, что позволяет модели учитывать взаимосвязи между ними сразу на уровне токенов. При этом схема обучения и состав данных подбираются так, чтобы эффективно задействовать как текстовые, так и визуальные признаки.
▸ Формат последовательностей и целевая функция обучения
Авторы тренируют дискретный токенизатор изображений на основе архитектуры энкодер-декодер, но с квантованием по конечным скалярам (FSQ), который сжимает картинки в 8 раз по каждой пространственной оси. Каждое изображение 256×256 разбивается на 1024 токена, соответствующих 32×32 сетке, а текстовые аннотации токенизируются с нуля с помощью байт-уровневого BPE и словарём из 16 384 символов. Объединённый словарь объединяет текстовые, визуальные и специальные токены (всего 80 640) в одной таблице вложений, а модель использует общие веса для обоих типов данных. Для разметки границ последовательностей применяются специальные метки: `[SOV]` и `[EOV]` для начала/конца изображения, `[EOS]` для конца текста и `[PAD]` для выравнивания.
▸ Состав и планирование данных для предварительной подготовки
В этой части описывается, как организованы последовательности для предобучения и как учится модель. Для текста используют плотную упаковку, а для изображений с текстом — фиксированную длину с добавлением специальных токенов [PAD]. При этом пары изображение-описание не объединяют в одну последовательность. В случае только изображений модель предсказывает токены из [SOV] до [EOV], а для изображения-к тексту сначала генерируются визуальные токены, затем текстовые на основе изображения. При обучении для генерации текста по изображению (T2I) случайно удаляют часть описаний, чтобы тренировать некондиционную ветвь — метод называется classifier-free guidance. При этом последовательности для изображения-к тексту и изображения используют общий начальный визуальный фрагмент, что позволяет обучать и некондиционную ветвь. Общая потери рассчитываются как взвешенная сумма потерь текста и изображения с коэффициентом 0.5 для последнего, чтобы избежать доминирования визуальных данных. Токены [PAD] не…
▸ Экспериментальная установка
Эксперимент проверяет, как состав и порядок обучающих примеров влияют на предобучение модели для генерации изображений по тексту. Авторы тестируют пять схем: чистое обучение на парах текст-изображение, двухэтапное предобучение сначала на тексте, а потом на парах, а также варианты с чередованием пар текст-изображение и изображение-текст с разными пропорциями. В некоторых случаях используют расширенный подход — продолжают обучение большого языкового модели с интернет-данными, добавляя к его словарю токены изображений. Для сравнения также применяют базовую линию без "выпадения" подписей к изображениям, чтобы сохранить баланс между условными и неусловными примерами.
▸ Результаты: сравнение с методами генерации текст-изображение с поздним объединением
Метод обучается на наборе GPIC с 100 миллионами пар изображений и текста при разрешении 256×256, используя схему обучения с постепенным нагревом и стабилизацией скорости обучения. Для токенизации изображений применяется архитектура с расширенным декодером (ширина 192 вместо 128) и adversarial loss, что даёт лучшие результаты по сравнению с Cosmos-DI-8x8, хотя уступает в детализации мелких текстов. Текстовый токенизатор показывает сопоставимую с Qwen3 эффективность сжатия (4.774 байт/символ) и даже лучше по сравнению с FLAN-T5 (4.152 байт/символ), хотя его словарь в 9.3 раза меньше. В экспериментах с late-fusion используются два семейства систем: LlamaGen (авторегрессивный генератор с FLAN-T5 и дискретным токенизатором) и JiT-T2I (различные архитектуры для обработки изображений и текста), чтобы изучить влияние предобучения на текст и визуальные данные. В эксперименте меняли параметры для изучения влияния архитектуры и деталей на качество генерации изображений. Сначала тестировали…
▸ Результаты: влияние предварительной подготовки на языке на генерацию текст-изображение
Система Halcyon без предобучения текстовой модели обгоняет стандартные late-fusion-методы по качеству генерации изображений: её версии с 0,52 млрд и 1,6 млрд параметров показывают лучшие метрики gFD (48 и 35 против 63–41 у конкурентов). Замена токенизатора или добавление перцептуального надзора (LPIPS) у соперников улучшает результаты, но Halcyon всё равно остаётся эффективнее, даже при меньшем объёме визуальных параметров (72 млн против 136 млн). Эксперимент показывает, что без предобучения текстовой модели можно добиться сопоставимого качества, а увеличение размера языкового энкодера даёт лишь небольшой прирост — например, уменьшение gFD с 63 до 67 при сокращении параметров в 13 раз. Это подтверждает, что ключевой вклад в результат вносит не объём предобучения, а архитектурные улучшения в системе. Модель Halcyon (0,52 млрд параметров), обучавшаяся с нуля на мультимодальных данных, показала лучший результат по метрике gFD (48,0) по сравнению с LlamaGen-XL/8 (63,3) и почти догнала…
▸ Результаты: влияние надзора изображение-в-текст на генерацию текст-изображение
Эксперимент показал, что предварительная обработка текста не улучшает качество генерации изображений из текста. При ограниченном бюджете для обучения, когда часть ресурсов отводится только на текстовое предобучение, показатель gFD ухудшается — от 48 до 51,6, 52,8 и 65,1 при разных пропорциях распределения вычислительных мощностей. Даже после полного цикла обучения для генерации текста-изображения с сохранением вычислительных затрат результат не улучшается. Кроме того, переобучение от уже предобученной модели Qwen3-0.6B-Base (с 36 триллионами токенов) не даёт выгоды по сравнению с нулевым началом — показатели gFD остаются примерно на уровне 47–48. Изменение пикового шага обучения тоже не помогло улучшить качество генерации.
▸ Обсуждение и выводы
Эксперимент показывает, что добавление задачи обучения по изображениям к тексту (I2T) как отдельной задачи не улучшает генерацию изображений по тексту (T2I), даже если распределять бюджет обучения по разным схемам. Однако при замене части примеров с отброшенными подписями на I2T-обучение модель начинает генерировать текстовые описания изображений без ухудшения качества T2I: метрика NLL для текста падает в десятки раз, а метрики качества изображений остаются на уровне базовой модели. При этом смешанное обучение лучше улучшает качество подписей, чем поэтапное, но и в этом случае T2I не выигрывает — только при замене примеров с отброшенными подписями на I2T модель одновременно учится и генерации, и описанию изображений.
▸ Заявление об использовании ИИ
Метод Halcyon показывает, что рост модели от 0,1 млрд до 4 млрд параметров ведёт к стабильному снижению ошибки распределения (NLL) как для изображений, так и текста — большие модели просто моделируют данные лучше. При этом оптимальный масштаб направляющей генерации (guidance scale) уменьшается с увеличением размера: от 7,5 до 4,5, а качество генерации улучшается в 5 раз, причём даже без дополнительной настройки. Кроме того, результаты показывают, что более длинные описания улучшают качество генерации текста-изображения, но не всегда дают преимущество по сравнению с средними по длине — особенно в больших моделях. Наконец, эксперименты с Qwen3 и FLAN-T5 демонстрируют, что обучение с подкреплением для совместной генерации изображений и текста (late-fusion) работает лучше, чем раздельное обучение только языковых моделей, даже при их больших размерах. В этой работе показано, что масштабное языковое предобучение не обязательно для сильных систем текста-в-изображение. Авторы предложили…
▸ Этическое заявление
В работе использовали генеративный ИИ только для технических задач: написания и правки кода, поиска литературы и черновой редактуры текста. Гипотезы, методологию, анализ данных и интерпретацию результатов разрабатывали без его помощи — ни один из ключевых этапов не зависел от автоматически сгенерированных данных, моделей или выводов. Все AI-помощники проверяли: код тестировали на корректность, цитаты сверяли с оригиналами, а за окончательный текст, код и выводы отвечаем мы. Ответственность за достоверность и качество полностью лежит на авторах.
▸ Заявление о воспроизводимости
Этот метод снижает стоимость обучения сильных моделей генерации изображений из текста, что делает их доступнее для разработчиков — в том числе и для потенциально вредочных применений. При этом базовые модели и наша версия, обученные на базе данных GPIC, могут унаследовать её предвзятости и ограничения, связанные с тем, как представлены в ней изображения и описания. Мы не обнаружили новых этических рисков, специфичных для нашего подхода, кроме общих проблем с моделями генерации визуального контента. В работе не использовались исследования с участием людей или сбор новых данных.
▸ Reproducibility Statement
Авторы подробно описывают все ключевые параметры модели — её архитектуру, метод токенизации, целевую функцию обучения, состав и порядок подачи данных, а также изменения в базовых моделях и протокол оценки. Все детали оптимизации, архитектуры и процесса выборки примеров приведены в приложении, чтобы упростить воспроизведение экспериментов. Данные для обучения (набор GPIC) и бенчмарки доступны публично, как и сохранённые версии моделей, что позволяет другим исследователям легко повторить результаты.
🔗 Оригинал статьи: https://arxiv.org/abs/2610.26863

Схожие новости

#	Наименование новости	Тональность	Информативность	Дата публикации
1	Пост №6386285	0	8.12	21-09-2026
2	[Перевод] Языковая Модель без магии: Крошечная Language Model на чистом Node.js	0	8.77	27-07-2026
3	Как я ловлю галлюцинации LLM в коде: пайплайн проверок в CI	0	7.74	19-10-2026
4	Как развернуть модель для генерации видео LTX-2 на сервере	0	5	15-07-2026
5	Как желание быстрее читать чужой код превратилось в войну с недетерминизмом LLM	0	5	28-06-2026
6	Нейросеть для генерации изображений: ТОП-7 ИИ генераторов картинок в 2026	0	7	03-07-2026
7	Как мы построили ИИ‑аналитику, которая не галлюцинирует	0	7.86	04-08-2026
8	Книга: «Анализ данных с LLM. Текст, таблицы, изображения и аудио»	0	7.03	23-06-2026
9	Книга: «LLM на практике. Большие языковые модели от идеи до внедрения»	0	8.01	18-08-2026

Классификация: Наука. Схожих патентов: 0. Схожих новостей: 9. Тональность: 0. Информативность: 9.73. Источник: vk.com.