🌐 Język

Mniej znaczy wystarczająco: Synteza różnorodnych danych w przestrzeni cech LLM

To jest oficjalna implementacja artykułu: Mniej znaczy wystarczająco: Synteza różnorodnych danych w przestrzeni cech LLM.

Kluczowa idea

✨ Pracuj mądrzej, nie ciężej.

W etapie po-treningowym LLM, zamiast ślepo dodawać ogromne ilości powierzchownie zróżnicowanego tekstu, skuteczniejsze jest precyzyjne zidentyfikowanie i synteza tych naprawdę brakujących kluczowych cech. Dzięki niewielkiej liczbie ukierunkowanych syntetycznych próbek możemy znacząco wypełnić luki w Feature Activation Coverage (FAC), prowadząc do wyraźnej poprawy wydajności w zadaniach downstream.

Dlaczego ta obserwacja jest prosta, a zarazem potężna?

Tradycyjna synteza danych skupia się na ilości i powierzchownej różnorodności (słownictwo, wzory zdań, rozkład tematów), ale często są to tylko słabe wskaźniki. To, co naprawdę decyduje o wydajności modelu w zadaniach downstream, to pokrycie kluczowych cech wymaganych przez docelowe zadanie.

Nasza praca pokazuje:

Wiele tekstów, które "wyglądają bardzo różnie", w rzeczywistości aktywuje bardzo podobne cechy;

FAC znacznie lepiej przewiduje wydajność w zadaniach downstream niż standardowe metryki różnorodności, w tym Distinct-1/2 i n-gram Entropy na poziomie słów, POS-tag Distinct-2 na poziomie składni, oraz Pair CosDist i Semantic Entropy na poziomie embeddingów.

Dla podążania za instrukcjami, FAC Synthesis osiąga wydajność porównywalną z wcześniejszym SOTA MAGPIE, wymagając przy tym 150× mniej danych niż MAGPIE.

Rysunek 1: Granica Efektywności Zbiorów Danych do Podążania za Instrukcjami. Nasza metoda osiąga wskaźnik zwycięstw na AlpacaEval 2.0 porównywalny z MAGPIE, używając tylko 2K syntetycznych próbek (vs. 300K dla MAGPIE).

Pierwsze kroki

Instalacja

git clone https://github.com/Zhongzhi660/FAC-Synthesis.git
cd FAC-Synthesis
pip install -r requirements.txt

Repository Structure

FAC-Synthesis/
├── LICENSE
├── README.md
├── requirements.txt
│
├── sae_pretrain/                 # SAE pretraining
│   ├── datasets/                 # pretraining corpora (constructed from public sources)
│   └── outputs/                  # SAE pre-trained weights
│
├── sae_feature_analysis/         # SAE feature analysis pipeline
│   ├── interpret_features/       # feature interpretation (span collection + annotation)
│   ├── identify_task_relevant_features/   # task-relevant feature identification
│   └── identify_missing_features/         # missing-feature discovery (coverage gap)
│
├── fac_synthesis/                # FAC synthesis pipeline
│   ├── step1_contrastive_pair_construction/      # Step-1: contrastive pair construction
│   └── step2_feature_covered_sample_synthesis/   # Step-2: feature-covered synthesis
│
└── training_scripts/             # Downstream training / evaluation scripts
    ├── toxicity_detection/
    ├── reward_modeling/
    ├── instruction_following/
    └── behavior_steering/

Wstępne trenowanie rzadkich autoenkoderów (SAE)

Większość skryptów do wstępnego trenowania SAE znajduje się w sae_pretrain/. Udostępniamy wstępnie wytrenowane punkty kontrolne SAE na Hugging Face:

Llama-3.1-8B-Instruct SAE: Zhongzhi1228/sae_llama_l16_h65536
Qwen2-7B-Instruct SAE: Zhongzhi1228/sae_qwen_l14_h65536
Mistral-7B-Instruct SAE: Zhongzhi1228/sae_mistral_l16_h65536

Aby wstępnie wytrenować SAE, uruchom następujące polecenia:

# Step-1: Collect hidden activations from the backbone LLM (e.g., layer 16)
python create_actvs_uni.py 0 0 1 meta-llama/Llama-3.1-8B-Instruct 16
Step-2: Train SAEs on the target layer (e.g., layer 16)
python train_SAEs.py 0 16 meta-llama/Llama-3.1-8B-Instruct /sae_input/prompt_actvs_l16

Analiza funkcji SAE

Skrypty do analizy funkcji znajdują się w sae_feature_analysis/. Aby pogrupować zakresy aktywacji i wygenerować czytelne interpretacje funkcji, uruchom:

# Step-1: Group extracted activation spans
python groupby_textspans.py /xxx/threshold_0.0
Step-2: Annotate feature explanations based on grouped spans
python annotate_explanations.py /xxx/threshold_0.0.tsv
Step-3: Identify task-relevant features from the explanations
python annotate_toxicity.py /xxx/threshold_0.0_explained.tsv
Step-4: Identify missing features via FAC analysis
python identify_fac.py anchor_features.tsv (complete) task_features.tsv (currently available)

Synteza danych kierowana pokryciem

Skrypty do syntezy kierowanej pokryciem znajdują się w fac_synthesis/. Aby wygenerować syntetyczne zapytania, uruchom

# Step-1 (1): Contrastive Pair Construction
python generate_data_llama_r1.py \
  --features xxx.tsv \
  --out xxx \
  --temperature 0.8
Step-1 (2): Feature-Covered Sample Synthesis
python analyze_step1_synthetic_data.py
python merge_step1_failed_cases.py
Step-2: Feature-Covered Sample Synthesis
python generate_data_llama_r2.py \
  --features xxx.tsv \
  --out xxx \
  --temperature 0.8

Podziękowania

Na etapie ewaluacji, nasze skrypty treningowe i testowe downstream zostały zaadaptowane z następujących otwartych repozytoriów:

Cytowanie

Jeśli uznasz tę pracę za pomocną w swoich badaniach, prosimy o cytowanie naszego artykułu 🤩:

@article{li2026less,
  title={Less is Enough: Synthesizing Diverse Data in Feature Space of LLMs},
  author={Li, Zhongzhi and Wu, Xuansheng and Li, Yijiang and Hu, Lijie and Liu, Ninghao},
  journal={arXiv preprint arXiv:2602.10388},
  year={2026}
}

--- Tranlated By Open Ai Tx | Last indexed: 2026-05-27 ---