TimeCapsule LLM
โมเดลประมวลผลภาษาที่ได้รับการฝึกฝนตั้งแต่ต้นโดยใช้ข้อมูลเฉพาะจากสถานที่และช่วงเวลาบางช่วง เพื่อลดอคติสมัยใหม่และจำลองน้ำเสียง ศัพท์ และโลกทัศน์ในยุคนั้น
ลองจินตนาการว่าโมเดล AI ไม่ได้แค่แสร้งเป็นอดีต แต่แท้จริงแล้วคืออดีต
v0 และ v0.5 สร้างขึ้นบน nanoGPT โดย Andrej Karpathy สคริปต์ฝึกอบรมหลักและสถาปัตยกรรมโมเดลเป็นผลงานของเขา
v1 สร้างขึ้นบน Phi 1.5 โดย Microsoft
v2 สร้างขึ้นบน llamaforcausallm
สถานะการวิจัย
โครงการนี้เริ่มต้นและพัฒนาโดยอิสระขณะนี้อยู่ภายใต้การดูแลทางวิชาการ พร้อมความร่วมมือวิจัยกับ Muhlenberg College และ Georgia State University
การอ้างอิง
หากคุณใช้ชุดข้อมูลหรือโมเดลนี้ในงานวิชาการ กรุณาอ้างอิงดังนี้:
@misc{london_llm_1800,
author = {Grigorian, Hayk and Yaghoobian, Hamed},
title = {Historic London English (1800–1875)},
year = {2025},
publisher = {Hugging Face},
howpublished = {\url{https://huggingface.co/datasets/postgrammar/london-llm-1800}}
}เข้าร่วม Vintage LLM Discord
หากคุณสนใจใน โมเดลภาษาประวัติศาสตร์, ชุดข้อมูลเฉพาะช่วงเวลา หรืออนาคตของโปรเจกต์อย่าง TimeCapsuleLLM, Violet-1.4B, Mr. Chatterbox เชิญเข้าร่วมคอมมูนิตี้ของเราได้เลย
เราใช้เซิร์ฟเวอร์นี้เพื่อแลกเปลี่ยนแนวคิด แบ่งปันความคืบหน้า และเชื่อมต่อกับผู้ที่สร้างสรรค์สิ่งใหม่ในแวดวงนี้
ผู้สนับสนุน
ขอขอบคุณ DolOffer ที่สนับสนุนโปรเจกต์นี้!
DolOffer คือแพลตฟอร์มที่เน้นแนะนำผลิตภัณฑ์ดิจิทัลและแบ่งปันส่วนลด ช่วยให้ผู้ใช้ค้นหาเครื่องมือ บริการ และดีลจำกัดเวลาได้อย่างรวดเร็ว แพลตฟอร์มนี้มีบริการสมัครสมาชิกยอดนิยมมากมาย เช่น YouTube Premium, Claude, ChatGPT Plus, Spotify, และ Apple Music ในราคาต่ำสุดเพียง 30% ของราคาปกติหรือถูกกว่านั้น
สมัครสมาชิกตอนนี้ผ่านลิงก์พิเศษ doloffer และกรอกรหัสโปรโมชั่น AI8888 ขณะเติมเงินเพื่อรับส่วนลดเพิ่มอีก 10%
พฤติกรรมของโมเดล & ข้อจำกัด
v0
พรอมต์แรกเริ่มแสดงให้เห็นว่าโมเดลตอบสนองด้วยภาษาและพฤติกรรมของยุค 1800 ตัวอย่าง: พรอมต์: "Who art Henry?" และมันตอบว่า "I know that man, I have did not a black, the storm."
- ไม่มีการกล่าวถึงแนวคิดสมัยใหม่
- ใช้คำศัพท์ที่ตรงกับยุคนั้นเป็นส่วนใหญ่
- ประโยคส่วนใหญ่ไม่สมเหตุสมผล (เป็นสิ่งที่คาดไว้สำหรับข้อมูลฝึก 187MB)
v0.5-london
เป็นการพัฒนาขึ้นอย่างมีนัยสำคัญจาก v0
- สไตล์การเขียนแบบวิกตอเรียน, เครื่องหมายวรรคตอนถูกต้อง, ประโยคส่วนใหญ่ถูกหลักไวยากรณ์
- อัตราการเกิดข้อผิดพลาดเชิงข้อเท็จจริง (factual hallucination) ยังคงสูง
- เสียงรบกวนจาก OCR (“Digitized by Google”) ยังคงปรากฏในผลลัพธ์
v1-london
โมเดลแรกที่สามารถระลึกและเชื่อมโยงเหตุการณ์ทางประวัติศาสตร์จริงกับบุคคลจริงจากชุดข้อมูลได้
ตัวอย่าง: คำสั่ง: "It was the year of our Lord 1834"
ผลลัพธ์: "It was the year of our Lord 1834 and the streets of London were filled with protest and petition. The cause, as many re counted, was not bound in the way of private, but having taken up the same day in the day of Lord Palmerston, the public will receive a short statement of the difficulties under which the day of law has reached us. It is a matter of deep regret, that the present events in the history of the world are clear, and consequently will be'known. It is not true that the very men who first settled in the Gospel at Jerusalem should have so extensive and so interesting a record of the prosperity and prosperity"
ตอนแรกข้าพเจ้าสันนิษฐานว่าอาจมีการประท้วงเกิดขึ้นโดยบังเอิญในปีเดียวกัน แต่ลองดูนี่: 
v2mini-eval1-london
ฝึกโดยใช้ตัวอย่างขนาด 15GB จากชุดข้อมูล v2 ขนาด 90GB โมเดลได้รับการฝึกเพียง 10K สเต็ปเท่านั้น
เกิดปัญหาเกี่ยวกับ tokenization ทำให้ผลลัพธ์ออกมาดังนี้:
PROMPT: Who is Charles Dickens?
W ho is Charles D ic ens ? D oes that work more of h ise x cell ent st ir ring , in his pl ays , int he G reat C omp any 's f arm ? What I have y et to qu ote from J ack P ick ett ? D oy oun ot know th att hey were as pe cies of g all oping , ors aw ing oft heir bre asts , or what w ast ob ed one about the t im ew hen J acks on was looking ont hew ind ow ? What ist hes uccess of an English man , and which h isson has not be end is cover ing t ome , where by to acc omp lish such a we ight ? D idy ou ever m ake ap ass age int othe old road way , ort o an anch or - b ree ze att he foot of our boat , which you m ust le ave us ? The fact is , that whe ther the wind would rise up from the pl ain on S atur day night orn o ont ide , ort ill then orth , or other wise , wes hall be com pelled t od esc ribe af orm idable bar rier , with t hes ame e ffect s ast he p resent . In th iss itu ation , at le ast , itis not to omuch t os ay that we have le ft that room . I bel ieve there are three c op ies int he " F ive H undred - fold ," to bere fer red to , ast he first n umber of our read ers wh ow is ht
แก้ไขแล้ว:
"ใครคือชาร์ลส์ ดิกเกนส์? ผลงานของเขาที่น่าตื่นเต้นยิ่งกว่านั้นมีอยู่ในบทละครของเขา หรือในฟาร์มของ Great Company หรือไม่? ข้าพเจ้ายังไม่ได้อ้างอิงจากแจ็ค พิกเก็ตต์หรือ? ท่านไม่ทราบหรือว่าพวกเขาเป็นชนิดของการควบม้า หรือการเลื่อยอกของตนเอง หรือมีอะไรต้องทำในเวลาที่แจ็คสันกำลังมองออกไปนอกหน้าต่าง? ความสำเร็จของชาวอังกฤษคืออะไร และสิ่งที่บุตรชายของเขายังไม่ได้ค้นพบกับข้าพเจ้า ซึ่งจะช่วยให้สามารถแบกรับภาระเช่นนั้นได้? ท่านเคยเดินทางเข้าไปในถนนเก่าหรือไปยังลมสมอที่ปลายเรือของเรา ที่ท่านต้องจากพวกเราไปหรือไม่? ข้อเท็จจริงก็คือ ไม่ว่าลมจะพัดขึ้นมาจากที่ราบในคืนวันเสาร์หรือเที่ยงวัน หรือถึงทิศเหนือหรือทางอื่น เราก็จะถูกบังคับให้ต้องอธิบายอุปสรรคที่น่ากลัว พร้อมกับผลลัพธ์เดียวกันกับปัจจุบัน ในสถานการณ์นี้ อย่างน้อยก็ไม่มากไปกว่าการกล่าวว่าเราละทิ้งห้องนั้นแล้ว ข้าพเจ้าเชื่อว่ามีสำเนาสามฉบับใน 'Five Hundred-fold' ให้ใช้อ้างอิง ในฐานะหมายเลขแรกของผู้อ่านของเราที่ต้องการ...[.]"
v2mini-eval2-london
ฝึกโดยใช้ตัวอย่าง 15GB เดียวกับที่ใช้สำหรับฝึก eval1 โมเดลนี้ฝึกเพียง 10,000 สเต็ปเท่านั้น
PROMPT:Charles Darwin
ชาร์ลส์ ดาร์วินECCEMACY. ท่านครับ — กรณีต่อไปนี้น่าสนใจสำหรับข้าพเจ้า: — ข้าพเจ้าอยู่ที่ลอนดอนสองสัปดาห์ และได้รับผลกระทบอย่างมากจากอาการข้ออักเสบรูมาตอยด์ การโจมตีครั้งแรกของข้ออักเสบเกิดขึ้นหนึ่งสัปดาห์ก่อนที่ข้าพเจ้าจะพบท่าน และครั้งที่สองในวันที่ข้าพเจ้าพบท่าน และครั้งที่สามในเวลาเดียวกัน การโจมตีครั้งที่สองของเกาต์ อย่างไรก็ตาม ไม่ได้มาพร้อมกับอาการไข้ใดๆ แต่มีปัสสาวะออกมากขึ้น และมีการขับปัสสาวะมากกว่าปกติ การโจมตีครั้งที่สามเกิดขึ้นหนึ่งชั่วโมงหลังจากที่ข้าพเจ้าพบท่าน และตามมาด้วยอาการกำเริบของเกาต์และการกลับมาของเกาต์ที่รวดเร็วขึ้น การโจมตีครั้งที่สี่ก็มีไข้ร่วมด้วย แต่ไม่เสมอไปที่จะมีอาการไข้ การโจมตีครั้งที่สามของเกาต์เกิดขึ้นสองสัปดาห์หลังจากที่ท่านป่วย และครั้งที่สี่ก็ตามมาด้วยอาการกำเริบของเกาต์ การโจมตีครั้งที่สี่เกิดขึ้นสองสัปดาห์หลังจากที่ท่านถูกโจมตี และมีอาการ
v2-london
ฝึกโดยใช้ชุดข้อมูล 90GB (112GB หลังแปลงเป็นโทเคน) ฝึกถึง 182,000 สเต็ป
สิ่งที่จะเกิดขึ้นต่อไป?
- เริ่มพัฒนา TimeCapsuleLLM v3 แล้ว
- ขยายขนาดชุดข้อมูลและขอบเขตทางภูมิศาสตร์
- ขยายจากลอนดอนไปยังเมืองอื่นเพิ่มเติม
ชุดข้อมูล
v2
- ข้อมูลดิบ 90GB จากข้อความในลอนดอนช่วงปี 1800-1875
- 136,344 เอกสาร
- ชุดข้อมูลที่แปลงเป็นโทเคนสมบูรณ์แล้ว สามารถดูได้ที่: https://huggingface.co/datasets/postgrammar/london-llm-1800
สถิติเกี่ยวกับอคติ
ดูข้อมูลเพิ่มเติมได้ที่ v2 bias report
-
วิธีการใช้งาน
โปรเจกต์นี้มุ่งเน้นการคัดเลือกข้อมูลประวัติศาสตร์ เตรียมข้อมูลเพื่อการฝึก และการสร้าง tokenizer ที่เหมาะสม ไม่ได้ครอบคลุมกระบวนการฝึก LLM ทั้งหมด หากต้องการรายละเอียดเพิ่มเติมให้ดูที่ nanoGPT โดย Andrej Karpathy
ขั้นตอนที่ 1: รวบรวมและเตรียมข้อความประวัติศาสตร์
- รวบรวมไฟล์ .txt ของหนังสือหรือเอกสารสาธารณสมบัติ จากช่วงเวลาที่เลือก (เช่น ลอนดอน 1800-1875)
- เก็บไฟล์เหล่านั้นให้อยู่ในช่วงเวลา/สถานที่ที่เลือก
- ทำความสะอาดไฟล์ข้อความโดยใช้สคริปต์หรือเอาหัวเรื่อง/ท้ายเรื่องของ Project Gutenberg, คำอธิบายสมัยใหม่ หรือข้อผิดพลาดของ OCR ออกด้วยตนเอง
ขั้นตอนที่ 2: สร้าง Tokenizer แบบกำหนดเอง
- รัน train_tokenizer.py หรือ train_tokenizer_hf.py กับข้อมูลที่ทำความสะอาดแล้ว
- จะได้ไฟล์ vocab.json และ merges.txt
- ไฟล์เหล่านี้กำหนดคำศัพท์และกฎการรวมสำหรับโมเดลของคุณ
ขั้นตอนที่ 3: ฝึกโมเดลของคุณ
- ดูรายละเอียดกระบวนการฝึกที่ nanoGPT โดย Andrej Karpathy หรือดูเอกสารของสถาปัตยกรรมที่คุณเลือก
คำถามที่พบบ่อย
Selective Temporal Training คืออะไร?
Selective Temporal Training (STT) คือกระบวนการทางแมชชีนเลิร์นนิงที่ข้อมูลฝึกทั้งหมดถูกคัดเลือกมาเฉพาะให้ตรงกับช่วงเวลาประวัติศาสตร์ที่กำหนดไว้ เพื่อจำลองภาษาและความรู้ของยุคนั้นโดยปราศจากอิทธิพลจากแนวคิดสมัยใหม่ ตัวอย่างเช่น โมเดลปัจจุบัน (v0.5) ได้รับการฝึกโดยใช้ข้อมูลเฉพาะปี 1800-1875 ไม่ได้ใช้วิธี fine-tune แต่ฝึกจากศูนย์ ทำให้ผลลัพธ์ที่ได้สะท้อนรูปแบบภาษาและบริบททางประวัติศาสตร์ของช่วงเวลานั้น
ทำไมไม่ใช้แค่ fine-tuning หรือ LoRA?
สำหรับโปรเจกต์นี้ ฉันกำลังพยายามสร้างโมเดลภาษาให้ปราศจากอคติสมัยใหม่ หากฉันทำการฟายน์จูนโมเดลอย่าง GPT-2 มันก็ถูกพรีเทรนมาแล้วและข้อมูลนั้นจะไม่หายไป หากฉันฝึกจากศูนย์ โมเดลภาษาจะไม่แกล้งทำตัวเก่า แต่มันจะเป็นเช่นนั้นจริงๆ เป้าหมายของโปรเจกต์ตอนนี้คือสร้างบางสิ่งที่สามารถให้เหตุผลโดยอิงจากความรู้ในหนังสือลอนดอนที่ตีพิมพ์ระหว่างปี 1800 ถึง 1875 เท่านั้น
คุณใช้ข้อมูลประเภทใดในการฝึกโมเดล?
ฉันใช้หนังสือ เอกสารทางกฎหมาย หนังสือพิมพ์ และงานเขียนอื่นๆ จากลอนดอนช่วงปี 1800–1875 รายการที่ฉันแนบไว้ (สำหรับ v0) มีประมาณ 200 ไฟล์ แต่สำหรับการฝึกครั้งแรกฉันใช้เพียง 50 ไฟล์ ขนาดประมาณ ~187 MB คุณสามารถดูรายชื่อเอกสารได้ที่: https://github.com/haykgrigo3/TimeCapsuleLLM/blob/main/Copy%20of%20London%20Documents%20for%20Time%20Capsule%20LLM.txt
ขนาดชุดข้อมูล:
- v0: ~187MB
- v0.5: ~435MB
- v1: ~6.25GB
- v2mini-eval1: 15GB (ตัวอย่างจาก v2 ขนาด 90GB)
- v2: 90GB
โมเดลมีขนาดเท่าไรบ้าง?
v0: 16M พารามิเตอร์
v0.5: 123M พารามิเตอร์
v1: 700M พารามิเตอร์
v2mini-eval1: 300M พารามิเตอร์
v2mini-eval2: 200M พารามิเตอร์
v2: 1.2B พารามิเตอร์
ข้อมูลการฝึกอบรม?
v0/v0.5
GPU: Geforce rtx 4060 CPU: i5-13400F Ram: 16GB DDR5.v1
GPU: A100 SXM เช่าv2mini-eval1/eval2
GPU: A100 SXM เช่าใช้
v2
GPU: H100 SXM เช่าใช้งานที่เกี่ยวข้อง
- talkie-1930-13b
- LLM ขนาด 13B พารามิเตอร์ ฝึกบนข้อความ 260B โทเคนก่อนปี 1930 พร้อม Q&A และมีเวอร์ชัน base ด้วย
- Violet 1.4B
- LLM ขนาด 1.4B พารามิเตอร์ ฝึกบนข้อความปี 1800-1899 พร้อม Q&A และมีเวอร์ชัน 160M ด้วย
- Mr. Chatterbox
- LLM ขนาด 340M พารามิเตอร์ ฝึกบนข้อความกว่า 28,000 รายการระหว่างปี 1837-1899 พร้อม Q&A
- Ranke-4B
- กลุ่ม LLM ขนาด 4B พารามิเตอร์ บนสถาปัตยกรรม Qwen3 ฝึกจากศูนย์บนข้อมูลประวัติศาสตร์ 80B โทเคน ถึง knowledge-cutoffs 1913,1929,1933,1939,1946
- TypewriterLM
- โมเดลภาษา (LM) ด้านประวัติศาสตร์ขนาด 7.24B พารามิเตอร์ ฝึกเฉพาะกับข้อความภาษาอังกฤษก่อนปี 1913 โดยนักวิจัยจาก University of Waterloo, Adelaide University, University of Oxford, และ University College London ลิงก์ไปยังเปเปอร์
- MondadGPT
- MonadGPT เป็นการปรับจูนของ Mistral-Hermes 2 กับข้อความยุคต้นสมัยใหม่ 11,000 รายการในภาษาอังกฤษ ฝรั่งเศส และละติน ส่วนใหญ่มาจาก EEBO และ Gallica
คำขอบคุณ
ขอขอบคุณ ดร. Hamed Yaghoobian สำหรับการกำกับดูแลทางวิชาการ แนวทางการกำหนดกรอบการวิจัยและการประเมินผล รวมถึงความช่วยเหลือในการฝึก tokenizer และเตรียมชุดข้อมูลสำหรับการปล่อยเวอร์ชัน v2 ข้อเสนอแนะและประสบการณ์ของเขามีส่วนสำคัญในการปรับปรุงการนำเสนองานวิจัยนี้
--- Tranlated By Open Ai Tx | Last indexed: 2026-07-08 ---