🌐 언어

TimeCapsule LLM

Name: TimeCapsuleLLM
Rating: 5 (1951 reviews)
Author: haykgrigo3

특정 장소와 시간대의 데이터만을 사용하여 처음부터 학습된 언어 모델로, 현대적 편향을 줄이고 해당 시대의 목소리, 어휘, 세계관을 재현합니다.

AI 모델이 단순히 역사적인 척하는 것이 아니라 실제로 역사적이라면 어떨까요.

v0 및 v0.5는 Andrej Karpathy의 nanoGPT를 기반으로 구축되었습니다. 핵심 학습 스크립트와 모델 아키텍처는 그의 작업입니다.

v1은 Microsoft의 Phi 1.5를 기반으로 구축되었습니다.

v2는 llamaforcausallm을 기반으로 구축되었습니다.

허깅페이스 링크

연구 현황

이 프로젝트는 독립적으로 시작되고 개발되었습니다.

현재는 Muhlenberg College 및 Georgia State University와의 제휴 연구 협력을 통해 학문적 감독 하에 진행되고 있습니다.

인용

이 데이터셋이나 모델을 학술 연구에 사용하실 경우, 다음과 같이 인용해 주십시오:

@misc{london_llm_1800,
  author = {Grigorian, Hayk and Yaghoobian, Hamed},
  title = {Historic London English (1800–1875)},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/datasets/postgrammar/london-llm-1800}}
}

빈티지 LLM 디스코드에 참여하세요

역사적 언어 모델, 시대별 데이터셋, 또는 TimeCapsuleLLM, Violet-1.4B, Mr. Chatterbox와 같은 프로젝트의 미래에 관심이 있다면 커뮤니티에 참여해 보세요.

이 서버에서는 아이디어를 논의하고, 진행 상황을 공유하며, 이 분야에서 활동하는 다른 사람들과 교류할 수 있습니다.

디스코드 참여하기

후원사

이 프로젝트를 지원해주신 DolOffer에 감사드립니다!

DolOffer는 디지털 제품 추천 및 할인 공유에 중점을 둔 플랫폼으로, 사용자가 유용한 도구, 서비스, 한정 특가를 신속하게 발견할 수 있도록 돕습니다. 본 플랫폼은 YouTube Premium, Claude, ChatGPT Plus, Spotify, Apple Music 등 인기 구독 서비스를 공식 가격의 30% 혹은 그 이하로 제공하고 있습니다.

지금 이 특별 링크 doloffer로 가입하고, 충전 시 프로모션 코드 AI8888을 입력하면 추가 10% 할인을 받을 수 있습니다.

모델 동작 및 한계

v0

초기 프롬프트에서는 모델이 1800년대의 언어와 행동으로 응답했습니다. 예시: 프롬프트: "Who art Henry?"에 대한 답변: "I know that man, I have did not a black, the storm."

TimeCapsuleLLM 샘플 출력

현대 개념 언급 없음
대부분 시대에 맞는 어휘 사용
문장은 대부분 일관성이 없음 (~187MB 학습 데이터 기준, 예상된 결과)

v0.5-london

v0에 비해 큰 개선이 이루어짐

빅토리아 시대의 문체, 적절한 구두점, 대부분 문법적으로 올바른 문장
여전히 높은 사실적 환각률
OCR 노이즈(“Digitized by Google”)가 출력물에 여전히 존재함

v1-london

데이터셋에서 실제 인물과 실제 역사적 사건을 처음으로 회상하고 연결한 모델.

예시: 프롬프트: "It was the year of our Lord 1834"

출력: "It was the year of our Lord 1834 and the streets of London were filled with protest and petition. The cause, as many re counted, was not bound in the way of private, but having taken up the same day in the day of Lord Palmerston, the public will receive a short statement of the difficulties under which the day of law has reached us. It is a matter of deep regret, that the present events in the history of the world are clear, and consequently will be'known. It is not true that the very men who first settled in the Gospel at Jerusalem should have so extensive and so interesting a record of the prosperity and prosperity"

처음에는 우연히 그 해에 시위가 있었을 거라고 생각했지만, 다음을 참고하세요: 1834protest

v2mini-eval1-london

v2의 90GB 데이터셋에서 15GB 샘플을 사용해 학습됨. 모델은 10K 스텝만 학습됨.

토크나이즈 문제로 인해 출력이 다음과 같이 나타남:

프롬프트: 찰스 디킨스는 누구입니까?

W ho is Charles D ic ens ? D oes that work more of h ise x cell ent st ir ring , in his pl ays , int he G reat C omp any 's f arm ? What I have y et to qu ote from J ack P ick ett ? D oy oun ot know th att hey were as pe cies of g all oping , ors aw ing oft heir bre asts , or what w ast ob ed one about the t im ew hen J acks on was looking ont hew ind ow ? What ist hes uccess of an English man , and which h isson has not be end is cover ing t ome , where by to acc omp lish such a we ight ? D idy ou ever m ake ap ass age int othe old road way , ort o an anch or - b ree ze att he foot of our boat , which you m ust le ave us ? The fact is , that whe ther the wind would rise up from the pl ain on S atur day night orn o ont ide , ort ill then orth , or other wise , wes hall be com pelled t od esc ribe af orm idable bar rier , with t hes ame e ffect s ast he p resent . In th iss itu ation , at le ast , itis not to omuch t os ay that we have le ft that room . I bel ieve there are three c op ies int he " F ive H undred - fold ," to bere fer red to , ast he first n umber of our read ers wh ow is ht

수정됨:

"찰스 디킨스가 누구인가? 그의 훌륭하고 감동적인 작품들은 그의 연극이나, 그레이트 컴퍼니의 농장에서 더 많이 나타나는가? 내가 아직 인용하지 않은 잭 피켓의 말은 무엇인가? 그들이 일종의 질주, 혹은 가슴을 켜는 행동이었는지, 아니면 잭슨이 창문을 바라보고 있던 때에 무엇을 해야 했는지 모르겠는가? 영국인의 성공이란 무엇이며, 그의 아들이 나에게 발견하지 않은 것이 어떤 무게를 달성하기 위한 것인가? 옛 도로로 지나가 본 적이 있는가, 아니면 우리 보트의 발치에 닻바람을 맞으러 갔던 적이 있는가, 당신은 우리를 떠나야 했는가? 사실상, 토요일 밤이나 정오에 평지에서 바람이 불어오든, 북쪽에서 오든, 아니면 그렇지 않든, 우리는 현재와 같은 효과로 강력한 장벽을 묘사할 수밖에 없다. 이 상황에서는 적어도 우리는 그 방을 떠났다고 말해도 지나치지 않다. 나는 '오백 배'에 세 부가 있다는 것을 믿으며, 참고할 수 있고, 우리 독자들 중 첫 번째 번호를 원하는 이들에게..."

v2mini-eval2-london

eval1 훈련에 사용된 것과 동일한 15GB 샘플을 사용해 훈련됨. 모델은 다시 1만 스텝까지만 훈련됨.

프롬프트: 찰스 다윈

찰스 다윈ECCEMACY. 선생님, — 다음 사례는 저에게 흥미롭습니다 : — 저는 런던에 보름간 있었고, 류머티즘 발작으로 많이 고생했습니다. 첫 번째 류머티즘 발작은 선생님을 뵙기 일주일 전에 있었고, 두 번째는 선생님을 뵈었을 때, 그리고 세 번째는 같은 시기에 있었습니다. 그러나 두 번째 통풍 발작은 열성 증상 없이, 소변량의 증가와 더 많은 소변 배출을 동반했습니다. 세 번째 발작은 선생님을 뵌 지 한 시간 후에 있었고, 통풍의 재발과 더 빠른 통풍 재발이 뒤따랐습니다. 네 번째 발작은 역시 열을 동반했으나 항상 열성 증상이 있었던 것은 아니었습니다. 세 번째 통풍 발작은 선생님이 아프신 후 보름 만에 있었고, 네 번째는 통풍 발작이 뒤따랐습니다. 네 번째 발작은 선생님이 발병한 후 보름 만에 있었고, 일종의

v2-london

90GB(112GB 토크나이즈) 데이터셋으로 훈련됨 182,000 스텝까지 훈련됨

TimeCapsuleLLM 샘플 출력

다음 단계는?

TimeCapsuleLLM v3 개발 시작
데이터셋 크기 및 지리적 범위 확장
런던을 넘어 추가 도시로 확장

이 작업은 Muhlenberg College 및 Georgia State University 연구진과 협력하여 진행되고 있습니다.

데이터셋

v2

1800-1875년 런던 텍스트 90GB(원본)
136,344개 문서
전체 토크나이즈된 데이터셋은 여기에서 확인 가능: https://huggingface.co/datasets/postgrammar/london-llm-1800

편향 통계

지리적 편향

시간적 편향

자세한 내용은 v2 편향 보고서를 참고하세요.

사용 방법

이 프로젝트는 주로 역사적 데이터를 선별, 학습용으로 준비하고 토크나이저를 구축하는 데 중점을 둡니다. 전체 LLM 학습 과정을 다루지는 않으니, 그 부분은 Andrej Karpathy의 nanoGPT를 참고하세요.

1단계: 역사적 텍스트 수집 및 준비

선택한 시대(예: 런던 1800-1875)의 퍼블릭 도메인 서적, 문서 등의 .txt 파일을 수집합니다.
선택한 시간/장소 범위 내에서만 유지하세요.
스크립트 또는 수동으로 Project Gutenberg의 헤더/푸터, 현대 주석, OCR 오류 등 텍스트 파일을 정리하세요.

2단계: 커스텀 토크나이저 구축

정제된 데이터에 대해 train_tokenizer.py 또는 train_tokenizer_hf.py를 실행하세요.
그러면 vocab.json과 merges.txt가 생성됩니다.
이 파일들은 모델의 어휘 및 병합 규칙을 정의합니다.

3단계: 모델 학습

학습 과정이나 선택한 아키텍처의 문서는 Andrej Karpathy의 nanoGPT를 참고하세요.

자주 묻는 질문

선택적 시간 기반 학습(Selective Temporal Training)이란?

선택적 시간 기반 학습(STT)은 모든 학습 데이터를 특정 역사적 시기에 맞춰 엄선하는 머신러닝 방법론입니다. 이는 현대 개념의 영향을 받지 않고 해당 시대의 언어와 지식을 모델링하기 위함입니다. 예를 들어, 현재 제가 가지고 있는 모델(v0.5)은 1800-1875년의 데이터만으로 학습되었으며, 파인튜닝이 아닌 처음부터 학습하여 그 시대의 언어 스타일과 역사적 맥락이 반영된 출력을 보여줍니다.

파인튜닝이나 LoRA만 사용하지 않는 이유는 무엇인가요?

이 프로젝트에서 저는 현대적 편견에서 벗어난 언어 모델을 만들고자 합니다. GPT-2와 같은 모델을 파인튜닝하면 이미 사전학습된 정보가 남아있고, 그것은 사라지지 않습니다. 처음부터 학습시키면 언어 모델이 옛것인 척하지 않고 실제로 옛것이 됩니다. 이 프로젝트의 현재 목표는 1800년부터 1875년까지 런던에서 출판된 책의 지식만을 사용해 추론할 수 있는 모델을 만드는 것입니다.

어떤 데이터를 학습에 사용했나요?

1800–1875년 런던의 책, 법률 문서, 신문, 기타 문헌을 사용했습니다. 제가 링크한 목록(v0)은 약 200개 문서가 있지만, 첫 학습에서는 약 50개 파일, 총 ~187MB를 사용했습니다. 문서 목록은 다음에서 볼 수 있습니다: https://github.com/haykgrigo3/TimeCapsuleLLM/blob/main/Copy%20of%20London%20Documents%20for%20Time%20Capsule%20LLM.txt

데이터셋 크기:

v0: ~187MB
v0.5: ~435MB
v1: ~6.25GB
v2mini-eval1: 15GB(v2의 90GB에서 샘플)
v2: 90GB

모델 크기는 얼마나 되나요?

v0: 16M 파라미터

v0.5: 123M 파라미터

v1: 700M 파라미터

v2mini-eval1: 300M 파라미터

v2mini-eval2: 200M 파라미터

v2: 1.2B 파라미터

학습 사양은?

v0/v0.5

GPU: Geforce rtx 4060 CPU: i5-13400F Ram: 16GB DDR5.

v1

GPU: A100 SXM 임대

v2mini-eval1/eval2