Web Analytics

proxyless-llm-websearch

⭐ 122 stars Turkish by itshyao

🌐 Dil

🧠 Proxy Olmadan LLM Web Arama Motoru

Proxy gerektirmeyen çoklu arama motoru destekli bir LLM web bilgi erişim aracı; URL içerik analizi ve web sayfası taraması ile birlikte LangGraph ve LangGraph-MCP entegrasyonu sayesinde modüler akıllı ajan zinciri oluşturur. Büyük dil modellerinin harici bilgiye erişim senaryoları için özel olarak tasarlanmıştır; Playwright + Crawl4AI ile web alma ve analiz, asenkron eşzamanlılık, içerik dilimleme ve yeniden sıralama filtreleme desteği sunar.

🚀 Güncelleme Günlüğü

✨ Özellikler Genel Bakış

workflow

framework

⚡ Hızlı Başlangıç

Depoyu Klonlama

git clone https://github.com/itshyao/proxyless-llm-websearch.git
cd proxyless-llm-websearch

Bağımlılıkların Kurulumu

pip install -r requirements.txt
python -m playwright install

Ortam Değişkeni Yapılandırması

# 百炼llm
OPENAI_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1
OPENAI_API_KEY=sk-xxx
MODEL_NAME=qwen-plus-latest
百炼embedding

EMBEDDING_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1
EMBEDDING_API_KEY=sk-xxx
EMBEDDING_MODEL_NAME=text-embedding-v4
百炼reranker

RERANK_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1
RERANK_API_KEY=sk-xxx
RERANK_MODEL=gte-rerank-v2

Langgraph-Agent

#### DEMO

python agent/demo.py

#### API SUNUCUSU

python agent/api_serve.py

import requests
url = "http://localhost:8800/search"
data = {
  "question": "广州今日天气",
  "engine": "bing",
  "split": {
    "chunk_size": 512,
    "chunk_overlap": 128
  },
  "rerank": {
    "top_k": 5
  }
}
try:
    response = requests.post(
        url,
        json=data
    )
    if response.status_code == 200:
        print("✅ 请求成功！")
        print("响应内容：", response.json())
    else:
        print(f"❌ 请求失败，状态码：{response.status_code}")
        print("错误信息：", response.text)
except requests.exceptions.RequestException as e:
    print(f"⚠️ 请求异常：{str(e)}")

#### Gradio

python agent/gradio_demo.py

gradio

gradio

#### docker

docker-compose -f docker-compose-ag.yml up -d --build

Langgrph-MCP

#### MCP Hizmetini Başlatma

python mcp/websearch.py

#### DEMO

python mcp/demo.py

#### API SUNUCUSU

python mcp/api_serve.py

import requests
url = "http://localhost:8800/search"
data = {
  "question": "广州今日天气"
}
try:
    response = requests.post(
        url,
        json=data
    )
    if response.status_code == 200:
        print("✅ 请求成功！")
        print("响应内容：", response.json())
    else:
        print(f"❌ 请求失败，状态码：{response.status_code}")
        print("错误信息：", response.text)
except requests.exceptions.RequestException as e:
    print(f"⚠️ 请求异常：{str(e)}")

#### docker

docker-compose -f docker-compose-mcp.yml up -d --build

Özelleştirilmiş Modüller

#### Özelleştirilmiş Bölümlendirme

from typing import Optional, List
class YourSplitter:
    def __init__(self, text: str, chunk_size: int = 512, chunk_overlap: int = 128):
        self.text = text
        self.chunk_size = chunk_size
        self.chunk_overlap = chunk_overlap
    def split_text(self, text: Optional[str] = None) -> List:
        # TODO: implement splitting logic
        return ["your chunk"]

#### Özelleştirilmiş Yeniden Sıralama

from typing import List, Union, Tuple
class YourReranker:
    async def get_reranked_documents(
        self,
        query: Union[str, List[str]],
        documents: List[str],
    ) -> Union[
        Tuple[List[str]],
        Tuple[List[int]],
    ]:
        return ["your chunk"], ["chunk index"]

🔍 Çevrimiçi Ağ Arama Testi ile Karşılaştırma

Projeyi bazı popüler çevrimiçi API'lerle karşılaştırarak, karmaşık sorulardaki performansını değerlendirdik.

🔥 Veri Seti

🧑‍🏫 Karşılaştırma Sonuçları

| Arama Motoru/Sistem | ✅ Doğru | ❌ Yanlış | ⚠️ Kısmen Doğru | | ------------------- | --------- | ---------- | ---------------------- | | Volcano Ark | 5.00% | 72.21% | 22.79% | | Bailian | 9.85% | 62.79% | 27.35% | | Bizim | 19.85% | 47.94% | 32.06% |

🙏 Teşekkürler

Bu projenin bazı işlevleri aşağıdaki açık kaynak projelerin desteği ve ilhamı sayesinde mümkün olmuştur, teşekkür ederiz:

--- Tranlated By Open Ai Tx | Last indexed: 2025-09-08 ---

Original README: View on GitHub

Translated by OpenAiTx | Last updated: 2025-09-16