TimeCapsule LLM

Языковая модель, обученная с нуля исключительно на данных из определённых мест и временных периодов, чтобы снизить влияние современных предубеждений и воссоздать стиль, лексику и мировоззрение соответствующей эпохи.

Представьте, если бы ИИ-модель не просто притворялась исторической, а действительно была таковой.

v0 и v0.5 построены на nanoGPT Андрея Карпаты. Основные скрипты обучения и архитектура модели — его работа.

v1 построена на Phi 1.5 от Microsoft

v2 построена на llamaforcausallm

Ссылка на Hugging Face

Статус исследований

Этот проект был инициирован и разработан независимо.

В настоящее время работа проводится под академическим руководством, в рамках исследовательского сотрудничества с Muhlenberg College и Georgia State University.

Цитирование

Если вы используете этот набор данных или модель в академических работах, пожалуйста, цитируйте:

@misc{london_llm_1800,
  author = {Grigorian, Hayk and Yaghoobian, Hamed},
  title = {Historic London English (1800–1875)},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/datasets/postgrammar/london-llm-1800}}
}

Присоединяйтесь к Discord Vintage LLM

Если вас интересуют исторические языковые модели, датасеты по эпохам или будущее таких проектов, как TimeCapsuleLLM, Violet-1.4B, Mr. Chatterbox, присоединяйтесь к нашему сообществу.

Мы используем сервер для обсуждения идей, обмена прогрессом и общения с другими разработчиками в этой области.

Присоединиться к Discord

Спонсоры

Благодарим DolOffer за поддержку этого проекта!

DolOffer — это платформа, ориентированная на рекомендации цифровых продуктов и обмен скидками, помогающая пользователям быстро находить полезные инструменты, сервисы и выгодные предложения. Платформа предлагает различные популярные подписки, включая YouTube Premium, Claude, ChatGPT Plus, Spotify и Apple Music, по цене до 30% от официальной или даже ниже.

Зарегистрируйтесь сейчас по эксклюзивной ссылке doloffer и введите промокод AI8888 при пополнении счета, чтобы получить дополнительную скидку 10%.

Поведение модели и ограничения

v0

Ранние запросы показывают, что модель отвечает на языке и с поведением 1800-х годов. Пример: Запрос: "Who art Henry?" и ответ: "I know that man, I have did not a black, the storm."

• Нет упоминаний современных понятий
• В основном лексика, соответствующая эпохе
• Предложения в основном несвязные (ожидаемо при размере обучающей выборки ~187МБ)

v0.5-london

Значительное улучшение по сравнению с v0.

• Викторианский стиль письма, правильная пунктуация, в основном грамматически правильные предложения
• Все еще высокий уровень фактических галлюцинаций
• Шум OCR («Оцифровано Google») все еще присутствует в выводе

v1-london

Первая модель, которая вспоминает и связывает реальное историческое событие с фактической фигурой из датасета.

Пример: Запрос: "Был год Господа нашего 1834"

Вывод: "Был год Господа нашего 1834, и улицы Лондона были наполнены протестами и петициями. Причина, как многие пересказывали, не была связана с частным порядком, а возникла в тот же день во имя лорда Пальмерстона, и общественность получит короткое заявление о трудностях, с которыми столкнулся закон. Это предмет глубокого сожаления, что нынешние события в истории мира ясны и, следовательно, будут известны. Неправда, что именно те люди, которые впервые основали Евангелие в Иерусалиме, должны были иметь столь обширные и интересные записи процветания и процветания"

Сначала я предположил, что протест действительно мог произойти в тот же год, но взгляните на это:

v2mini-eval1-london

Обучена на 15 ГБ выборке из 90 ГБ датасета v2. Модель обучена только до 10K шагов.

Возникла проблема с токенизацией, из-за которой вывод выглядит так:

ЗАПРОС: Кто такой Чарльз Диккенс?

W ho is Charles D ic ens ? D oes that work more of h ise x cell ent st ir ring , in his pl ays , int he G reat C omp any 's f arm ? What I have y et to qu ote from J ack P ick ett ? D oy oun ot know th att hey were as pe cies of g all oping , ors aw ing oft heir bre asts , or what w ast ob ed one about the t im ew hen J acks on was looking ont hew ind ow ? What ist hes uccess of an English man , and which h isson has not be end is cover ing t ome , where by to acc omp lish such a we ight ? D idy ou ever m ake ap ass age int othe old road way , ort o an anch or - b ree ze att he foot of our boat , which you m ust le ave us ? The fact is , that whe ther the wind would rise up from the pl ain on S atur day night orn o ont ide , ort ill then orth , or other wise , wes hall be com pelled t od esc ribe af orm idable bar rier , with t hes ame e ffect s ast he p resent . In th iss itu ation , at le ast , itis not to omuch t os ay that we have le ft that room . I bel ieve there are three c op ies int he " F ive H undred - fold ," to bere fer red to , ast he first n umber of our read ers wh ow is ht Исправлено:

«Кто такой Чарльз Диккенс? Является ли эта работа примером его выдающегося волнения — в его пьесах, на ферме Великой Компании? Что мне еще привести из Джека Пикетта? Разве вы не знаете, что они были разновидностью скачки или рубки по своим грудям, или что нужно было сделать примерно в то время, когда Джексон смотрел в окно? В чем успех англичанина, и что его сын еще не открыл мне, чтобы достичь столь значительного результата? Совершали ли вы когда-нибудь переход по старой дороге или к якорной отмели у подножия нашей лодки, которую вы должны покинуть? Дело в том, что независимо от того, поднимется ли ветер с равнины в субботу ночью или в полдень, или подует с севера, или как-то иначе, нам придется описать грозный барьер с теми же последствиями, что и сейчас. В этой ситуации, по крайней мере, не будет преувеличением сказать, что мы покинули ту комнату. Я полагаю, что в «Пятистах экземплярах» есть три копии, к которым можно обратиться, как к первым номерам наших читателей, желающих...[ ]...»

v2mini-eval2-london

Обучена на том же 15ГБ примере, что и eval1. Модель снова обучалась только до 10 тыс. шагов.

ПОДСКАЗКА: Чарльз Дарвин

Чарльз ДарвинЭКЦЕМАЦИЯ. Сэр, — Следующий случай показался мне интересным: — Я находился в Лондоне две недели и сильно пострадал от приступа ревматизма. Первый приступ ревматизма был за неделю до встречи с вами, второй — когда я увидел вас, третий — когда я увидел вас, и третий — в то же время. Второй приступ подагры, однако, не сопровождался лихорадкой, но сопровождался увеличением потока мочи и более обильным выделением. Третий приступ наступил через час после встречи с вами и сопровождался возвращением приступа подагры и более быстрым рецидивом. Четвертый приступ тоже сопровождался лихорадкой, но не всегда с лихорадочными симптомами. Третий приступ подагры был через две недели после вашего заболевания, а четвертый сопровождался приступом подагры. Четвертый приступ был через две недели после вашего заболевания и сопровождался ощущением

v2-london

Обучена на датасете 90 ГБ (112 ГБ в токенизированном виде) Обучение до 182 тыс. шагов

Что дальше?

• Начата разработка TimeCapsuleLLM v3
• Увеличение объема датасета и географического охвата
• Выход за пределы Лондона в другие города

Работа ведется в сотрудничестве с исследователями из колледжа Мюленберга и Университета штата Джорджия.

Датасеты

v2

• 90ГБ (сырых) текстов Лондона 1800-1875 гг.
• 136 344 документа
• Полный токенизированный датасет доступен здесь: https://huggingface.co/datasets/postgrammar/london-llm-1800

### Статистика предвзятости

См. отчёт о предвзятости v2 для получения дополнительной информации.

Как использовать

Этот проект в основном посвящён сбору исторических данных, их подготовке к обучению и созданию токенизатора. Я не буду рассматривать полный процесс обучения LLM, для этого обратитесь к nanoGPT Андрея Карпаты.

Шаг 1: Сбор и подготовка исторических текстов

• Соберите .txt-файлы книг, документов и т.д. из общественного достояния выбранного вами периода (например, Лондон 1800–1875)
• Держите их в рамках выбранного временного/географического окна
• Очистите текстовые файлы с помощью скрипта или вручную удалите заголовки/подвалы с Project Gutenberg, современные аннотации или такие вещи, как ошибки OCR.

Шаг 2: Создание пользовательского токенизатора

• Запустите train_tokenizer.py или train_tokenizer_hf.py на очищенных данных.
• Это даст вам vocab.json и merges.txt
• Эти файлы определяют словарь и правила объединения для вашей модели

Шаг 3: Обучение вашей модели

• Для процесса обучения обратитесь к nanoGPT от Андрея Карпаты или к документации выбранной вами архитектуры.

FAQ

Что такое выборочное временное обучение?

Выборочное временное обучение (Selective Temporal Training, STT) — это методика машинного обучения, при которой все данные для обучения специально отбираются так, чтобы соответствовать определённому историческому периоду. Это делается для моделирования языка и знаний той эпохи без влияния современных концепций. Например, текущая модель (v0.5) обучена только на данных 1800–1875 годов, она не дообучалась, а обучена с нуля, что приводит к результатам, отражающим языковой стиль и исторический контекст того времени.

Почему бы просто не использовать дообучение или LoRA?

Для этого проекта я пытаюсь создать языковую модель, свободную от современных предубеждений. Если я дообучу что-то вроде GPT-2, она уже предварительно обучена, и эта информация никуда не денется. Если я обучаю модель с нуля, она не будет притворяться старой, она просто будет таковой. Цель этого проекта сейчас — создать что-то, что способно рассуждать исключительно на основе знаний из лондонских книг, опубликованных между 1800 и 1875 годами.

Какой тип данных вы использовали для обучения?

Я использую книги, юридические документы, газеты и другие произведения Лондона 1800–1875 годов. Список, который я привёл (для v0), содержит около 200 документов, но для первого обучения я использовал только 50 файлов примерно на ~187 МБ. Вы можете посмотреть список документов: https://github.com/haykgrigo3/TimeCapsuleLLM/blob/main/Copy%20of%20London%20Documents%20for%20Time%20Capsule%20LLM.txt

Размеры датасетов:

• v0: ~187МБ
• v0.5: ~435МБ
• v1: ~6,25ГБ
• v2mini-eval1: 15ГБ (выборка из 90ГБ v2)
• v2: 90ГБ

Насколько большие модели?

v0: 16М параметров

v0.5: 123М параметров

v1: 700М параметров

v2mini-eval1: 300М параметров

v2mini-eval2: 200М параметров

v2: 1,2B параметров

Характеристики обучения?

v0/v0.5

GPU: Geforce rtx 4060 CPU: i5-13400F Оперативная память: 16ГБ DDR5.

v1

GPU: A100 SXM арендованный

v2mini-eval1/eval2

GPU: A100 SXM арендован

v2

GPU: H100 SXM арендован

Связанные работы

• talkie-1930-13b
• LLM с 13B параметрами, обученная на 260B токенах текста до 1930 года с Q&A. Также есть базовая версия.
• Violet 1.4B
• LLM с 1.4B параметрами, обученная на текстах 1800-1899 годов с Q&A. Также доступна 160M версия.
• Mr. Chatterbox
• LLM с 340M параметрами, обученная на более чем 28 000 текстах 1837-1899 годов с Q&A.
• Ranke-4B
• семейство LLM с 4B параметрами на архитектуре Qwen3, обученных с нуля на 80B токенах исторических данных до срезов знаний 1913,1929,1933,1939,1946.
• TypewriterLM
• языковая модель (LM) History с 7.24B параметрами, предварительно обученная только на английских текстах до 1913 года. Создана исследователями из Университета Ватерлоо, Университета Аделаиды, Оксфордского университета и Университетского колледжа Лондона. Ссылка на статью
• MondadGPT
• MonadGPT — дообученная версия Mistral-Hermes 2 на 11 000 ранних новоевропейских текстах на английском, французском и латинском языках, в основном из EEBO и Gallica.

Благодарности

Я хотел бы поблагодарить д-ра Хамеда Ягхубиана за академическое руководство, помощь в формулировке исследования и оценке, а также за содействие в обучении токенизатора и подготовке датасета для релиза v2. Его отзывы и опыт сыграли важную роль в совершенствовании презентации данной работы.

--- Tranlated By Open Ai Tx | Last indexed: 2026-07-08 ---