🌐 Lingua

Less is Enough: Sintetizzare Dati Diversi nello Spazio delle Caratteristiche degli LLM

Questa è l'implementazione ufficiale del paper: Less is Enough: Synthesizing Diverse Data in Feature Space of LLMs.

Intuizione Fondamentale

✨ Lavora in modo più intelligente, non più duro.

Nella fase post-addestramento degli LLM, invece di aggiungere ciecamente enormi quantità di testo superficialmente diversificato, è più efficace identificare e sintetizzare con precisione quelle vere caratteristiche chiave mancanti. Con solo un piccolo numero di campioni sintetici mirati, possiamo colmare significativamente le lacune nella Copertura di Attivazione delle Caratteristiche (FAC), portando a evidenti miglioramenti nelle prestazioni nei task downstream.

Perché questa intuizione è semplice ma potente?

La sintesi dati tradizionale si concentra sulla quantità e sulla diversità superficiale (vocabolario, strutture delle frasi, distribuzione dei temi), ma questi sono spesso solo deboli indicatori. Ciò che determina davvero le prestazioni downstream di un modello è la copertura delle caratteristiche chiave richieste dal task di destinazione.

Il nostro lavoro rivela:

Molti testi che "sembrano molto diversi" in realtà attivano caratteristiche altamente sovrapposte;

FAC predice le prestazioni downstream molto meglio delle metriche di diversità standard, incluse Distinct-1/2 ed Entropia n-gram a livello di parola, POS-tag Distinct-2 a livello sintattico, e Pair CosDist ed Entropia Semantica a livello di embedding.

Per il seguire le istruzioni, la Sintesi FAC raggiunge prestazioni paragonabili al precedente SOTA MAGPIE, richiedendo però 150× meno dati rispetto a MAGPIE.

Figura 1: Il Confine di Efficienza dei Dataset per il Seguire le Istruzioni. Il nostro metodo proposto raggiunge un Win Rate su AlpacaEval 2.0 paragonabile a MAGPIE utilizzando solo 2K campioni sintetici (contro i 300K di MAGPIE).

Per iniziare

Installazione

git clone https://github.com/Zhongzhi660/FAC-Synthesis.git
cd FAC-Synthesis
pip install -r requirements.txt

Repository Structure

FAC-Synthesis/
├── LICENSE
├── README.md
├── requirements.txt
│
├── sae_pretrain/                 # SAE pretraining
│   ├── datasets/                 # pretraining corpora (constructed from public sources)
│   └── outputs/                  # SAE pre-trained weights
│
├── sae_feature_analysis/         # SAE feature analysis pipeline
│   ├── interpret_features/       # feature interpretation (span collection + annotation)
│   ├── identify_task_relevant_features/   # task-relevant feature identification
│   └── identify_missing_features/         # missing-feature discovery (coverage gap)
│
├── fac_synthesis/                # FAC synthesis pipeline
│   ├── step1_contrastive_pair_construction/      # Step-1: contrastive pair construction
│   └── step2_feature_covered_sample_synthesis/   # Step-2: feature-covered synthesis
│
└── training_scripts/             # Downstream training / evaluation scripts
    ├── toxicity_detection/
    ├── reward_modeling/
    ├── instruction_following/
    └── behavior_steering/

Pre-addestramento degli Sparse Autoencoder

La maggior parte degli script per il pre-addestramento degli SAE si trova in sae_pretrain/. Forniamo checkpoint SAE pre-addestrati su Hugging Face:

Llama-3.1-8B-Instruct SAE: Zhongzhi1228/sae_llama_l16_h65536
Qwen2-7B-Instruct SAE: Zhongzhi1228/sae_qwen_l14_h65536
Mistral-7B-Instruct SAE: Zhongzhi1228/sae_mistral_l16_h65536

Per pre-addestrare gli SAE, eseguire i seguenti comandi:

# Step-1: Collect hidden activations from the backbone LLM (e.g., layer 16)
python create_actvs_uni.py 0 0 1 meta-llama/Llama-3.1-8B-Instruct 16
Step-2: Train SAEs on the target layer (e.g., layer 16)
python train_SAEs.py 0 16 meta-llama/Llama-3.1-8B-Instruct /sae_input/prompt_actvs_l16

Analisi delle caratteristiche di SAE

Gli script di analisi delle caratteristiche si trovano in sae_feature_analysis/. Per raggruppare le attivazioni e generare interpretazioni leggibili delle caratteristiche, eseguire:

# Step-1: Group extracted activation spans
python groupby_textspans.py /xxx/threshold_0.0
Step-2: Annotate feature explanations based on grouped spans
python annotate_explanations.py /xxx/threshold_0.0.tsv
Step-3: Identify task-relevant features from the explanations
python annotate_toxicity.py /xxx/threshold_0.0_explained.tsv
Step-4: Identify missing features via FAC analysis
python identify_fac.py anchor_features.tsv (complete) task_features.tsv (currently available)

Sintesi guidata dalla copertura

Gli script di sintesi guidata dalla copertura si trovano in fac_synthesis/. Per generare query sintetiche, eseguire

# Step-1 (1): Contrastive Pair Construction
python generate_data_llama_r1.py \
  --features xxx.tsv \
  --out xxx \
  --temperature 0.8
Step-1 (2): Feature-Covered Sample Synthesis
python analyze_step1_synthetic_data.py
python merge_step1_failed_cases.py
Step-2: Feature-Covered Sample Synthesis
python generate_data_llama_r2.py \
  --features xxx.tsv \
  --out xxx \
  --temperature 0.8

Ringraziamenti

Nella fase di valutazione, i nostri script di training e testing downstream sono adattati dai seguenti repository open-source:

Citazione

Se ritieni che questo lavoro sia utile per la tua ricerca, cita il nostro articolo 🤩:

@article{li2026less,
  title={Less is Enough: Synthesizing Diverse Data in Feature Space of LLMs},
  author={Li, Zhongzhi and Wu, Xuansheng and Li, Yijiang and Hu, Lijie and Liu, Ninghao},
  journal={arXiv preprint arXiv:2602.10388},
  year={2026}
}

--- Tranlated By Open Ai Tx | Last indexed: 2026-05-27 ---