Yapay Zeka Değerlendirmelerinde Güven Krizi: Model Testleri, Harness Mimarisi ve Ajan Tabanlı Evals

Giriş: Benchmark Tablolarının Yanıltıcı Dünyası ve Güvenilirlik Çıkmazı

Yapay zeka laboratuvarları, geliştirdikleri geniş dil modellerini (LLM) pazarlarken uzun süredir kıyaslama (benchmark) metriklerine sığınmaktadır. MMLU, GSM8k, HumanEval veya Chatbot Arena gibi popüler testler, bir modelin rakibinden üstün olduğunu kanıtlamak için adeta birer vitrin işlevi görmektedir. Ancak TechCrunch Disrupt sahnesinde Hugging Face Politika Direktörü Irene Solaiman tarafından yapılan çarpıcı değerlendirmeler, sektörün halı altına süpürdüğü bir gerçeği yeniden gün yüzüne çıkardı: Mevcut yapay zeka değerlendirme yöntemleri olgunlaşmamış, standardize edilmemiş ve tekrarlanabilirlikten uzaktır.

Modern web sistemlerine, teknik SEO araçlarına veya kurumsal yazılım mimarilerine LLM entegre eden geliştiriciler için bu durum ciddi bir mimari risk barındırır. Bir modelin sentetik testlerde %90 başarı elde etmesi, gerçek dünya production ortamındaki bir RAG (Retrieval-Augmented Generation) boru hattında veya otonom web ajanında beklenen performansı sergileyeceği anlamına gelmez.

Açık Ağırlıklar (Open Weights) ve Tekrarlanabilirlik İlkesi

Bilimsel metodolojinin temeli tekrarlanabilirliktir (reproducibility). Kapalı kaynaklı modellerde (Black-box API'ler), modelin iç durumlarına, logit değerlerine veya eğitim verisi dağılımına doğrudan erişim sağlanamaz. Üstelik servis sağlayıcılar, API arkasındaki modelleri sessizce güncelleyebilir veya kuantizasyon (quantization) teknikleri uygulayabilir. Bu durum, dün çalışan bir değerlendirme testinin bugün başarısız olmasına yol açar.

"Sonuçlara güvenip güvenemeyeceğimizin en büyük belirleyicisi, değerlendirme sonuçlarını yeniden üretip üretemediğinizdir. Modele ihtiyacınız olan erişim düzeyine sahip misiniz? İşte tam bu noktada açık ağırlıklar (open weights) kritik bir rol oynar." — Irene Solaiman, Hugging Face

Açık ağırlıklı modeller (Llama 3, Mistral, Gemma vb.), model parametrelerinin yerel donanımda deterministik parametrelerle (örneğin sabit seed ve temperature=0) çalıştırılmasına olanak tanır. Böylece yazılım mimarları, mimari değişikliklerin etkisini izole bir ortamda ölçümleyebilir.

Entegre Değerlendiriciler (Embedded Evaluators): Güvenilir Bir Hakem mi?

Yapay zeka laboratuvarlarının karşılaştığı regülasyon baskıları ve güvenlik açıkları, sektörü "entegre değerlendiriciler" (embedded evaluators) kavramına yöneltmiştir. Bu modelde, bağımsız olduğu iddia edilen üçüncü taraf danışmanlık veya denetim firmaları doğrudan yapay zeka şirketlerinin bünyesine dahil edilerek modellerin güvenliğini ve yetkinliğini test eder. Ancak bu yaklaşım kendi içinde yeni paradokslar barındırır. Örneğin Anthropic'in ilk denetleyici olarak Accenture ile anlaşması sektörde ciddi teknik liyakat tartışmalarına yol açmıştır.

Model vs. Koşum Takımı (Harness): Sistemsel Performansın Gerçek Belirleyicisi

Yapay zeka değerlendirmeleri artık yalnızca çıplak modelin (raw model) test edilmesinden, modelin etrafındaki ekosistemin—yani koşum takımının (harness) ve ajan mimarisinin—test edilmesine evrilmektedir.

Bir modelin zayıf olması, kusursuz kurgulanmış bir harness ile telafi edilebilir. Doğru prompt şablonları, çok adımlı hata düzeltme mekanizmaları (self-reflection), vektör veritabanı geri çağırma hassasiyeti ve fonksiyon çağırma (tool calling) yetenekleriyle donatılmış "küçük" bir model; kötü tasarlanmış bir mimaride çalışan "frontier" (en gelişmiş) modeli rahatlıkla geride bırakabilir.

"Koşum takımı (harness), bir modelin performansı üzerinde muazzam bir etkiye sahiptir. Daha iyi bir harness'a sahip daha zayıf bir model, en gelişmiş frontier modeli kolayca alt edebilir." — Irene Solaiman

Bu bağlamda modern yazılım ekipleri, modelleri değil, Agentic Pipeline (Ajan Boru Hattı) bütününü test eden özel değerlendirme iskeleleri kurmalıdır.

Web Mimarilerinde Ajan Değerlendirmesi İçin Örnek Test Harness

Aşağıdaki TypeScript örneği, bir web scraping ve içerik özetleme ajanının çıktısını sadece anlamsal doğrulukla değil; gecikme, JSON şema uyumluluğu ve hallucination (halüsinasyon) denetimi açısından test eden pragmatik bir değerlendirme iskeletini simüle etmektedir:

import { z } from "zod";

// Beklenen çıktı şeması
const OutputSchema = z.object({
  title: z.string().min(5),
  summary: z.string().max(200),
  keywords: z.array(z.string()).min(1),
  sentiment: z.enum(["positive", "neutral", "negative"]),
});

type AgentOutput = z.infer<typeof OutputSchema>;

interface EvalResult {
  testName: string;
  passed: boolean;
  score: number; // 0 ile 1 arası
  latencyMs: number;
  error?: string;
}

// Değerlendirme koşum takımı (Evaluation Harness)
export async function evaluateWebAgent(
  agentExecutionFn: () => Promise<string>,
  referenceGroundTruth: string
): Promise<EvalResult> {
  const startTime = performance.now();

  try {
    const rawResponse = await agentExecutionFn();
    const latencyMs = performance.now() - startTime;

    // 1. Yapısal Test: Deterministik JSON Doğrulaması
    const parsedJson = JSON.parse(rawResponse);
    const validationResult = OutputSchema.safeParse(parsedJson);

    if (!validationResult.success) {
      return {
        testName: "Schema Validation",
        passed: false,
        score: 0,
        latencyMs,
        error: validationResult.error.message,
      };
    }

    // 2. Anlamsal / Halüsinasyon Testi (Kelime Kesişimi & Kapsama Kontrolü)
    const outputData: AgentOutput = validationResult.data;
    const containsReferenceTerms = outputData.keywords.some((kw) =>
      referenceGroundTruth.toLowerCase().includes(kw.toLowerCase())
    );

    const score = containsReferenceTerms ? 1.0 : 0.5;

    return {
      testName: "End-to-End Agent Reliability",
      passed: score >= 0.8 && latencyMs < 3000,
      score,
      latencyMs,
    };
  } catch (err: any) {
    return {
      testName: "Execution Failure",
      passed: false,
      score: 0,
      latencyMs: performance.now() - startTime,
      error: err.message,
    };
  }
}

Bu tür deterministik kontrol katmanları, üçüncü taraf sentetik testlere güvenmek yerine kendi iş gereksinimlerinize özel, CI/CD süreçlerine entegre edilebilir bir doğrulama altyapısı sağlar.

Teknik SEO ve Kurumsal Web Sistemleri İçin Stratejik Çıkarımlar

1. Arama Motorları ve LLM Ajanları (LLMO / GEO): Arama motorları giderek ajan tabanlı yanıtlama sistemlerine (Google AI Overviews, Perplexity vb.) kaymaktadır. Sitenizin bu sistemler tarafından nasıl okunduğunu test etmek istiyorsanız, kamuya açık benchmark tablolarına değil, sitenizin DOM ağacını çözümleyebilen özel eval-harness testlerine odaklanmalısınız.
2. Kendi Test Veri Kümenizi (Gold Standard) Oluşturun: Firmanıza ait teknik belgeler, ürün sayfaları ve kullanıcı sorgularından oluşan en az 100-200 örnekli bir iç kıyaslama veri kümesi hazırlayın.
3. Harness İyileştirmelerine Yatırım Yapın: Modeli GPT-4'ten daha üst bir modele geçirmek yerine; system prompt optimizasyonu, RAG chunking stratejileri ve JSON-schema zorlama tekniklerine odaklanmak maliyetleri düşürürken başarı oranını katlayacaktır.

Kaynak: TechCrunch AI - https://techcrunch.com/2026/10/19/embedded-ai-evaluators-wont-be-an-easy-solution-hugging-faces-policy-chief-says/