TimeCapsule LLM
Một mô hình ngôn ngữ được huấn luyện từ đầu hoàn toàn trên dữ liệu từ những địa điểm và thời kỳ nhất định nhằm giảm thiên vị hiện đại và mô phỏng giọng nói, từ vựng, cũng như thế giới quan của thời đại đó.
Hãy tưởng tượng nếu một mô hình AI không chỉ giả vờ là lịch sử mà thực sự là như vậy.
v0 và v0.5 xây dựng dựa trên nanoGPT của Andrej Karpathy Các tập lệnh huấn luyện và kiến trúc mô hình là công trình của ông.
v1 xây dựng dựa trên Phi 1.5 của Microsoft
v2 xây dựng trên llamaforcausallm
Tình trạng nghiên cứu
Dự án này được khởi xướng và phát triển độc lập.Hiện tại dự án đang được thực hiện dưới sự giám sát học thuật, với sự hợp tác nghiên cứu liên kết tại Muhlenberg College & Georgia State University.
Trích dẫn
Nếu bạn sử dụng bộ dữ liệu hoặc mô hình này trong các công trình học thuật, vui lòng trích dẫn:
@misc{london_llm_1800,
author = {Grigorian, Hayk and Yaghoobian, Hamed},
title = {Historic London English (1800–1875)},
year = {2025},
publisher = {Hugging Face},
howpublished = {\url{https://huggingface.co/datasets/postgrammar/london-llm-1800}}
}Tham gia Discord Vintage LLM
Nếu bạn quan tâm đến mô hình ngôn ngữ lịch sử, bộ dữ liệu theo thời kỳ, hoặc tương lai của các dự án như TimeCapsuleLLM, Violet-1.4B, Mr. Chatterbox hãy tham gia cộng đồng với chúng tôi.
Chúng tôi sử dụng máy chủ này để thảo luận ý tưởng, chia sẻ tiến độ, và kết nối với những người khác cùng xây dựng trong lĩnh vực này.
Nhà tài trợ
Cảm ơn DolOffer đã hỗ trợ dự án này!
DolOffer là nền tảng tập trung vào đề xuất sản phẩm số và chia sẻ mã giảm giá, giúp người dùng nhanh chóng khám phá các công cụ, dịch vụ đáng giá và ưu đãi giới hạn. Nền tảng cung cấp nhiều dịch vụ thuê bao phổ biến như YouTube Premium, Claude, ChatGPT Plus, Spotify và Apple Music, với mức giá thấp đến 30% giá chính thức hoặc thậm chí thấp hơn.
Đăng ký ngay qua liên kết độc quyền này doloffer, và nhập mã khuyến mãi AI8888 khi nạp tiền để được giảm thêm 10%.
Hành vi & Hạn chế của Mô hình
v0
Những prompt ban đầu cho thấy mô hình phản hồi bằng ngôn ngữ và hành vi của những năm 1800. Ví dụ: Prompt: "Who art Henry?" và nó trả lời "I know that man, I have did not a black, the storm."
- Không đề cập đến các khái niệm hiện đại
- Chủ yếu sử dụng từ vựng đúng thời kỳ
- Câu thường không mạch lạc (dự kiến với dữ liệu huấn luyện ~187MB)
v0.5-london
Một cải tiến đáng kể so với v0.
- Phong cách viết thời Victoria, chấm câu chuẩn, câu phần lớn ngữ pháp chính xác
- Vẫn còn tỷ lệ ảo giác thực tế cao
- Nhiễu OCR (“Digitized by Google”) vẫn xuất hiện trong các đầu ra
v1-london
Mô hình đầu tiên nhớ lại và kết nối một sự kiện lịch sử thực với một nhân vật có thật trong bộ dữ liệu.
Ví dụ: Prompt: "Năm của Chúa chúng ta 1834"
Đầu ra: "Năm của Chúa chúng ta 1834 và các con phố ở London tràn ngập biểu tình và kiến nghị. Nguyên nhân, như nhiều người đã kể lại, không bị ràng buộc về mặt cá nhân, nhưng đã diễn ra trong cùng ngày dưới thời Lord Palmerston, công chúng sẽ nhận được một tuyên bố ngắn gọn về những khó khăn mà ngày pháp luật đã mang lại cho chúng ta. Đó là một điều vô cùng đáng tiếc, rằng các sự kiện hiện tại trong lịch sử thế giới đã rõ ràng, và do đó sẽ được biết đến. Không đúng rằng chính những người đầu tiên định cư theo Phúc Âm tại Jerusalem lại có một ghi chép rộng lớn và thú vị như vậy về sự thịnh vượng và phát đạt"
Ban đầu tôi cho rằng một cuộc biểu tình có thể đã tình cờ diễn ra trong cùng năm nhưng hãy xem điều này: 
v2mini-eval1-london
Được huấn luyện bằng mẫu 15GB từ bộ dữ liệu 90GB của v2. Mô hình chỉ được huấn luyện đến 10K bước.
Có một vấn đề với việc token hóa khiến đầu ra trông như sau:
PROMPT: Charles Dickens là ai?
W ho is Charles D ic ens ? D oes that work more of h ise x cell ent st ir ring , in his pl ays , int he G reat C omp any 's f arm ? What I have y et to qu ote from J ack P ick ett ? D oy oun ot know th att hey were as pe cies of g all oping , ors aw ing oft heir bre asts , or what w ast ob ed one about the t im ew hen J acks on was looking ont hew ind ow ? What ist hes uccess of an English man , and which h isson has not be end is cover ing t ome , where by to acc omp lish such a we ight ? D idy ou ever m ake ap ass age int othe old road way , ort o an anch or - b ree ze att he foot of our boat , which you m ust le ave us ? The fact is , that whe ther the wind would rise up from the pl ain on S atur day night orn o ont ide , ort ill then orth , or other wise , wes hall be com pelled t od esc ribe af orm idable bar rier , with t hes ame e ffect s ast he p resent . In th iss itu ation , at le ast , itis not to omuch t os ay that we have le ft that room . I bel ieve there are three c op ies int he " F ive H undred - fold ," to bere fer red to , ast he first n umber of our read ers wh ow is ht
Đã chỉnh sửa:
"Charles Dickens là ai? Liệu tác phẩm đó có khơi dậy nhiều cảm xúc tuyệt vời hơn nữa trong các vở kịch của ông, trên nông trại của Công ty Lớn? Tôi còn phải trích dẫn gì từ Jack Pickett? Bạn không biết rằng họ là một loại phi nước đại, hoặc cưa ngực họ, hoặc điều gì sẽ được làm vào thời điểm Jackson đang nhìn qua cửa sổ? Thành công của một người Anh là gì, và điều mà con trai ông ấy chưa khám phá ra cho tôi, qua đó đạt được một trọng lượng như vậy? Bạn đã từng đi qua con đường cũ, hoặc tới một cơn gió neo ở chân thuyền của chúng ta, nơi bạn phải rời xa chúng tôi chưa? Thực tế là, dù gió có nổi lên từ đồng bằng vào tối thứ Bảy hay giữa trưa, hoặc cho tới phương bắc, hoặc cách khác, chúng ta sẽ buộc phải mô tả một rào cản đáng gờm, với những hiệu ứng như hiện nay. Trong tình huống này, ít nhất có thể nói rằng chúng ta đã rời khỏi căn phòng đó. Tôi tin rằng có ba bản sao trong 'Năm Trăm lần,' để tham khảo, như số đầu tiên dành cho những độc giả muốn t[ới]..."
v2mini-eval2-london
Được huấn luyện bằng cùng mẫu 15GB đã dùng cho eval1. Mô hình cũng chỉ được huấn luyện tới 10K bước.
PROMPT:Charles Darwin
Charles DarwinECCEMACY. Thưa ông, — Trường hợp sau đây khiến tôi quan tâm: — Tôi ở London hai tuần, và bị ảnh hưởng nhiều bởi một cơn đau thấp khớp. Cơn đau thấp khớp đầu tiên xảy ra một tuần trước khi tôi gặp ông, cơn thứ hai xảy ra khi tôi gặp ông, và cơn thứ ba cũng khi tôi gặp ông, và cơn thứ ba xảy ra cùng thời điểm. Tuy nhiên, cơn đau gout thứ hai không đi kèm với triệu chứng sốt, nhưng lại kèm theo việc tiểu nhiều hơn, và lượng nước tiểu tiết ra nhiều hơn. Cơn đau thứ ba xảy ra một giờ sau khi tôi gặp ông, và tiếp theo là một cơn gout tái phát, và gout quay trở lại nhanh hơn. Cơn đau thứ tư cũng đi kèm với sốt, nhưng không phải lúc nào cũng có triệu chứng sốt. Cơn đau gout thứ ba là hai tuần sau khi ông bị bệnh, và cơn thứ tư tiếp theo là một cơn gout tái phát. Cơn đau thứ tư là hai tuần sau khi ông bị tấn công, và kèm theo cảm giác
v2-london
Được huấn luyện với bộ dữ liệu 90GB (112GB đã mã hóa token) Huấn luyện tới 182K bước
Tiếp theo là gì?
- Đã bắt đầu phát triển TimeCapsuleLLM v3
- Mở rộng kích thước bộ dữ liệu và phạm vi địa lý
- Mở rộng ra ngoài London đến các thành phố khác
Bộ dữ liệu
v2
- 90GB(thô) các văn bản London 1800-1875
- 136.344 tài liệu
- Bộ dữ liệu đã mã hóa token đầy đủ hiện có tại: https://huggingface.co/datasets/postgrammar/london-llm-1800
Thống Kê Độ Thiên Lệch
Tham khảo báo cáo độ thiên lệch v2 để biết thêm chi tiết.
-
Hướng Dẫn Sử Dụng
Dự án này tập trung chủ yếu vào việc sưu tầm dữ liệu lịch sử, chuẩn bị cho quá trình huấn luyện và xây dựng tokenizer. Tôi sẽ không đề cập đến toàn bộ quy trình huấn luyện LLM, hãy tham khảo nanoGPT của Andrej Karpathy để biết thêm chi tiết.
Bước 1: Thu Thập và Chuẩn Bị Văn Bản Lịch Sử
- Thu thập các file .txt của sách, tài liệu, v.v. thuộc phạm vi công cộng từ giai đoạn lịch sử bạn chọn (ví dụ: London 1800-1875)
- Đảm bảo chúng nằm trong khung thời gian/địa điểm bạn chọn
- Làm sạch các file văn bản bằng script hoặc thủ công, loại bỏ header/footer từ Project Gutenberg, chú thích hiện đại hoặc lỗi OCR.
Bước 2: Xây Dựng Tokenizer Tuỳ Chỉnh
- Chạy train_tokenizer.py hoặc train_tokenizer_hf.py trên dữ liệu đã làm sạch.
- Bạn sẽ nhận được vocab.json và merges.txt
- Các file này xác định từ vựng và quy tắc ghép cho mô hình của bạn
Bước 3: Huấn Luyện Mô Hình
- Tham khảo nanoGPT của Andrej Karpathy về quy trình huấn luyện hoặc tài liệu của kiến trúc bạn chọn.
FAQ
Huấn Luyện Thời Gian Có Chọn Lọc là gì?
Huấn Luyện Thời Gian Có Chọn Lọc (STT) là phương pháp học máy mà toàn bộ dữ liệu huấn luyện được tuyển chọn để nằm trong một giai đoạn lịch sử cụ thể. Điều này nhằm mô phỏng ngôn ngữ và kiến thức của thời kỳ đó mà không bị ảnh hưởng bởi các khái niệm hiện đại. Ví dụ, mô hình hiện tại của tôi (v0.5) được huấn luyện chỉ với dữ liệu từ 1800-1875, không tinh chỉnh mà huấn luyện từ đầu, dẫn đến kết quả phản ánh phong cách ngôn ngữ và bối cảnh lịch sử của thời kỳ đó.
Vì sao không chỉ dùng fine-tuning hoặc LoRA?
Đối với dự án này, tôi đang cố gắng tạo ra một mô hình ngôn ngữ không bị ảnh hưởng bởi các thành kiến hiện đại. Nếu tôi fine-tune một thứ như GPT-2, nó đã được huấn luyện trước và thông tin đó sẽ không biến mất. Nếu tôi huấn luyện từ đầu thì mô hình ngôn ngữ sẽ không giả vờ là cũ, mà nó thực sự sẽ như vậy. Mục tiêu hiện tại của dự án này là tạo ra một thứ có thể lập luận hoàn toàn dựa trên kiến thức từ các cuốn sách London xuất bản trong khoảng 1800 đến 1875.Bạn đã sử dụng loại dữ liệu nào để huấn luyện?
Tôi đang sử dụng sách, tài liệu pháp lý, báo chí và các bài viết khác từ London giai đoạn 1800–1875. Danh sách tôi đã liên kết (cho bản v0) có khoảng 200 nhưng cho lần huấn luyện đầu tiên, tôi chỉ sử dụng 50 tệp với dung lượng khoảng ~187 MB. Bạn có thể xem danh sách tài liệu tại: https://github.com/haykgrigo3/TimeCapsuleLLM/blob/main/Copy%20of%20London%20Documents%20for%20Time%20Capsule%20LLM.txt
Kích thước tập dữ liệu:
- v0: ~187MB
- v0.5: ~435MB
- v1: ~6.25GB
- v2mini-eval1: 15GB (lấy mẫu từ v2's 90GB)
- v2: 90GB
Các mô hình lớn cỡ nào?
v0: 16 triệu tham số
v0.5: 123 triệu tham số
v1: 700 triệu tham số
v2mini-eval1: 300 triệu tham số
v2mini-eval2: 200 triệu tham số
v2: 1,2 tỷ tham số
Thông số huấn luyện?
v0/v0.5
GPU: Geforce rtx 4060 CPU: i5-13400F Ram: 16GB DDR5.v1
GPU: A100 SXM thuêv2mini-eval1/eval2
GPU: A100 SXM cho thuê
v2
GPU: H100 SXM cho thuêCông Trình Liên Quan
- talkie-1930-13b
- LLM 13B tham số được huấn luyện trên 260 tỷ token văn bản trước năm 1930 với Q&A. Ngoài ra còn có phiên bản base.
- Violet 1.4B
- LLM 1,4 tỷ tham số được huấn luyện trên các văn bản 1800-1899 với Q&A. Ngoài ra còn có phiên bản 160M.
- Mr. Chatterbox
- LLM 340 triệu tham số được huấn luyện trên hơn 28.000 văn bản từ 1837-1899 với Q&A.
- Ranke-4B
- một họ các LLM 4 tỷ tham số dựa trên kiến trúc Qwen3, được huấn luyện từ đầu trên 80 tỷ token dữ liệu lịch sử với các mốc kiến thức 1913,1929,1933,1939,1946.
- TypewriterLM
- một mô hình ngôn ngữ lịch sử (LM) 7,24B được tiền huấn luyện chỉ trên văn bản tiếng Anh trước năm 1913. Tạo bởi các nhà nghiên cứu từ Đại học Waterloo, Đại học Adelaide, Đại học Oxford, và University College London. Liên kết bài báo
- MondadGPT
- MonadGPT là bản tinh chỉnh của Mistral-Hermes 2 trên 11.000 văn bản thời kỳ cận đại bằng tiếng Anh, Pháp và Latin, chủ yếu từ EEBO và Gallica.
Lời Cảm Ơn
Tôi xin cảm ơn TS. Hamed Yaghoobian vì đã giám sát học thuật, định hướng nghiên cứu, đánh giá, cũng như hỗ trợ huấn luyện tokenizer và chuẩn bị tập dữ liệu cho bản phát hành v2. Phản hồi và kinh nghiệm của ông đã đóng vai trò quan trọng trong việc hoàn thiện cách trình bày công trình này.
--- Tranlated By Open Ai Tx | Last indexed: 2026-07-08 ---