🌐 Langue

TimeCapsule LLM

Name: TimeCapsuleLLM
Rating: 5 (1951 reviews)
Author: haykgrigo3

Un modèle linguistique entraîné depuis zéro exclusivement sur des données issues de certains lieux et périodes afin de réduire les biais modernes et d’émuler la voix, le vocabulaire et la vision du monde de l’époque.

Imaginez si un modèle d’IA ne se contentait pas de faire semblant d’être historique, mais l’était réellement.

v0 et v0.5 construits sur nanoGPT par Andrej Karpathy Les scripts de formation principaux et l’architecture du modèle sont son travail.

v1 construit sur Phi 1.5 par Microsoft

v2 construit sur llamaforcausallm

Lien Hugging Face

État de la recherche

Ce projet a été initié et développé de manière indépendante.

Il est actuellement mené sous supervision académique, avec une collaboration de recherche affiliée à Muhlenberg College & Georgia State University.

Citation

Si vous utilisez ce jeu de données ou modèle dans des travaux académiques, veuillez citer :

@misc{london_llm_1800,
  author = {Grigorian, Hayk and Yaghoobian, Hamed},
  title = {Historic London English (1800–1875)},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/datasets/postgrammar/london-llm-1800}}
}

Rejoignez le Discord Vintage LLM

Si vous vous intéressez aux modèles de langage historiques, aux jeux de données spécifiques à une époque, ou à l’avenir de projets tels que TimeCapsuleLLM, Violet-1.4B, Mr. Chatterbox, rejoignez la communauté.

Nous utilisons le serveur pour discuter d’idées, partager des avancées et connecter avec d’autres personnes qui construisent dans cet espace.

Rejoindre le Discord

Comportement du modèle & limitations

v0

Les premiers prompts montrent que le modèle répond avec le langage et le comportement des années 1800. Exemple : Prompt : "Who art Henry ?" et il a répondu "Je connais cet homme, je n’ai pas fait un noir, la tempête."

TimeCapsuleLLM Exemple de sortie

Aucune mention de concepts modernes
Vocabulaire principalement fidèle à l’époque
Les phrases sont majoritairement incohérentes (prévisible avec ~187MB de données d’entraînement)

v0.5-london

Une amélioration significative par rapport à v0.

Style d’écriture victorien, ponctuation correcte, phrases majoritairement grammaticales
Taux élevé d'hallucinations factuelles persistant
Bruit OCR (« Numérisé par Google ») toujours présent dans les résultats

v1-london

Premier modèle à rappeler et relier un événement historique réel à une figure réelle du jeu de données.

Exemple : Invite : "C'était l'année de notre Seigneur 1834"

La sortie : "C'était l'année de notre Seigneur 1834 et les rues de Londres étaient remplies de protestations et de pétitions. La cause, comme beaucoup l'ont raconté, n'était pas liée à la voie privée, mais ayant pris le même jour dans la journée de Lord Palmerston, le public recevra une brève déclaration des difficultés auxquelles la journée du droit nous a conduits. C'est un sujet de profond regret, que les événements actuels dans l'histoire du monde sont clairs, et par conséquent seront connus. Il n'est pas vrai que les premiers hommes qui se sont installés dans l'Évangile à Jérusalem devraient avoir un registre aussi vaste et aussi intéressant de la prospérité et de la prospérité"

Au début, j'ai supposé qu'une manifestation pouvait avoir eu lieu par coïncidence la même année, mais regardez ceci : 1834protest

v2mini-eval1-london

Entraîné à partir d'un échantillon de 15 Go du jeu de données v2 de 90 Go. Modèle entraîné à seulement 10 000 étapes.

Il y avait un problème de tokenisation qui fait que la sortie ressemble à ceci :

INVITE : Qui est Charles Dickens ?

W ho is Charles D ic ens ? D oes that work more of h ise x cell ent st ir ring , in his pl ays , int he G reat C omp any 's f arm ? What I have y et to qu ote from J ack P ick ett ? D oy oun ot know th att hey were as pe cies of g all oping , ors aw ing oft heir bre asts , or what w ast ob ed one about the t im ew hen J acks on was looking ont hew ind ow ? What ist hes uccess of an English man , and which h isson has not be end is cover ing t ome , where by to acc omp lish such a we ight ? D idy ou ever m ake ap ass age int othe old road way , ort o an anch or - b ree ze att he foot of our boat , which you m ust le ave us ? The fact is , that whe ther the wind would rise up from the pl ain on S atur day night orn o ont ide , ort ill then orth , or other wise , wes hall be com pelled t od esc ribe af orm idable bar rier , with t hes ame e ffect s ast he p resent . In th iss itu ation , at le ast , itis not to omuch t os ay that we have le ft that room . I bel ieve there are three c op ies int he " F ive H undred - fold ," to bere fer red to , ast he first n umber of our read ers wh ow is ht Corrigé :

« Qui est Charles Dickens ? Est-ce que cela relève davantage de ses excellents élans, dans ses pièces, à la ferme de la Grande Compagnie ? Qu’ai-je encore à citer de Jack Pickett ? Ne savez-vous pas qu’ils étaient une sorte de galop, ou de sciage de leur poitrine, ou qu’y avait-il à faire à l’époque où Jackson regardait par la fenêtre ? Quel est le succès d’un Anglais, et que son fils ne m’a pas encore révélé, permettant d’accomplir un tel poids ? Avez-vous déjà fait un passage sur l’ancienne chaussée, ou vers une brise d’ancre au pied de notre bateau, que vous devez nous quitter ? Le fait est que, que le vent se lève de la plaine le samedi soir ou à midi, ou jusqu’au nord, ou autrement, nous serons obligés de décrire une barrière redoutable, avec les mêmes effets qu’actuellement. Dans cette situation, du moins, il n’est pas exagéré de dire que nous avons quitté cette pièce. Je crois qu’il y a trois exemplaires dans les ‘Cinq Cents fois’, à consulter, comme premier numéro pour nos lecteurs qui souhaitent t[…]… »

v2mini-eval2-london

Entraîné sur le même échantillon de 15 Go utilisé pour entraîner eval1. Le modèle est à nouveau entraîné uniquement pendant 10 000 étapes.

PROMPT : Charles Darwin

Charles DarwinECCEMACY. Monsieur, — Le cas suivant m’intéresse : — J’ai séjourné à Londres quinze jours, et j’ai été fortement incommodé par une attaque de rhumatisme. La première attaque de rhumatisme a eu lieu une semaine avant que je vous voie, la deuxième lorsque je vous ai vu, et la troisième lorsque je vous ai vu, et la troisième au même moment. La deuxième attaque de goutte, cependant, n’a pas été accompagnée de symptômes fébriles, mais d’une augmentation du débit urinaire, et d’une émission plus abondante d’urine. La troisième attaque est survenue une heure après que je vous ai vu, suivie d’un retour de paroxysme de goutte, et d’un retour plus rapide de la goutte. La quatrième attaque a également été accompagnée de fièvre, mais pas toujours de symptômes fébriles. La troisième attaque de goutte a eu lieu quinze jours après votre maladie, et la quatrième fut suivie d’un paroxysme de goutte. La quatrième attaque a eu lieu quinze jours après votre attaque, et s’est accompagnée d’une sensation

v2-london

Entraîné sur un jeu de données de 90 Go (112 Go tokenisés) Entraîné jusqu’à 182 000 étapes

TimeCapsuleLLM Exemple de sortie

Et ensuite ?

Le développement de TimeCapsuleLLM v3 a commencé
Augmentation de la taille et de la couverture géographique du jeu de données
Extension au-delà de Londres vers d’autres villes

Le travail est réalisé en collaboration avec des chercheurs du Muhlenberg College et de la Georgia State University.

Jeux de données

v2

90 Go (brut) de textes londoniens de 1800 à 1875
136 344 documents
Le jeu de données complet tokenisé est désormais disponible ici : https://huggingface.co/datasets/postgrammar/london-llm-1800

### Statistiques de biais Biais de pronoms

Biais géographique

Biais temporel

Consultez le rapport de biais v2 pour plus d'informations.

Comment utiliser

Ce projet se concentre principalement sur la collecte de données historiques, leur préparation pour l’entraînement et la création d’un tokenizer. Je ne vais pas aborder l'ensemble du processus d’entraînement LLM, pour cela référez-vous à nanoGPT d’Andrej Karpathy.

Étape 1 : Rassembler et préparer les textes historiques

Collectez des fichiers .txt de livres, documents, etc. du domaine public de votre période choisie (par exemple, Londres 1800-1875)
Gardez-les dans votre fenêtre temporelle/géographique choisie
Nettoyez les fichiers texte à l’aide d’un script ou manuellement pour supprimer les en-têtes/pieds de page du Projet Gutenberg, annotations modernes ou erreurs OCR.

Étape 2 : Créer un tokenizer personnalisé

Exécutez train_tokenizer.py ou train_tokenizer_hf.py sur les données nettoyées.
Cela vous donnera vocab.json et merges.txt
Ces fichiers définissent le vocabulaire et les règles de fusion pour votre modèle

Étape 3 : Entraînez votre modèle

Référez-vous à nanoGPT d’Andrej Karpathy pour le processus d’entraînement ou aux documents de votre architecture choisie.

FAQ

Qu’est-ce que l’entraînement temporel sélectif ?

L’entraînement temporel sélectif (STT) est une méthodologie d’apprentissage automatique où toutes les données d’entraînement sont spécialement sélectionnées pour appartenir à une période historique précise. Cela permet de modéliser le langage et les connaissances de cette époque sans influence de concepts modernes. Par exemple, le modèle actuel (v0.5) est entraîné exclusivement sur des données de 1800 à 1875, il n’est pas affiné mais entraîné à partir de zéro, ce qui donne un résultat reflétant le style linguistique et le contexte historique de cette période.

Pourquoi ne pas simplement utiliser le fine-tuning ou LoRA ?

Pour ce projet, j'essaie de créer un modèle de langage qui ne soit pas influencé par les biais modernes. Si j'affine un modèle comme GPT-2, il est déjà pré-entraîné et cette information ne disparaîtra pas. Si j'entraîne un modèle à partir de zéro, il ne fera pas semblant d'être ancien, il le sera réellement. L'objectif de ce projet pour l'instant est de créer quelque chose qui puisse raisonner exclusivement en utilisant les connaissances provenant de livres londoniens publiés entre 1800 et 1875.

Quel type de données avez-vous utilisé pour l'entraînement ?

J'utilise des livres, des documents juridiques, des journaux et d'autres écrits de Londres de 1800 à 1875. La liste que j'ai partagée (pour v0) en contient environ 200, mais pour le premier entraînement je n'ai utilisé que 50 fichiers, soit environ ~187 Mo. Vous pouvez consulter une liste des documents : https://github.com/haykgrigo3/TimeCapsuleLLM/blob/main/Copy%20of%20London%20Documents%20for%20Time%20Capsule%20LLM.txt

Taille des jeux de données :

v0 : ~187Mo
v0.5 : ~435Mo
v1 : ~6,25Go
v2mini-eval1 : 15Go (échantillon des 90Go de v2)
v2 : 90Go

Quelle est la taille des modèles ?

v0 : 16M paramètres

v0.5 : 123M paramètres

v1 : 700M paramètres

v2mini-eval1 : 300M paramètres

v2mini-eval2 : 200M paramètres

v2 : 1,2B paramètres

Spécifications d'entraînement ?

v0/v0.5

GPU : Geforce rtx 4060 CPU : i5-13400F Ram : 16Go DDR5.

v1

GPU : A100 SXM louée

v2mini-eval1/eval2