CANLI
Yükleniyor Veriler getiriliyor…
ESCI,Scopus Özgün Makale Scopus
A Systems Approach to Validating Large Language Model Information Extraction: The Learnability Framework Applied to Historical Legal Texts
Information 2025 Cilt 16 Sayı 11
Scopus Eşleşmesi Bulundu
2
Atıf
16
Cilt
🔓
Açık Erişim
Özet
This paper introduces a learnability framework for validating large language model (LLM) information extraction without ground-truth annotations. Applied to 20,809 Ottoman legal texts, the framework achieves a Learnability Score of 0.891 through multi-classifier consensus, with external validation confirming substantial agreement across five diverse LLMs ( (Formula presented.) = 0.785) and human experts ( (Formula presented.) = 0.786). The approach treats internal consistency as a measurable systemic property, where heterogeneous machine learning models independently rediscover LLM-assigned patterns. Confusion analysis reveals errors concentrate at jurisprudentially meaningful boundaries (e.g., commercial-inheritance: 20.4% of disagreements), demonstrating semantic coherence rather than arbitrary noise. The framework offers practical validation for historical and specialized corpora where traditional annotation is infeasible, processing documents at USD 0.01 each with parallelizable throughput. Validated annotations enable knowledge graph construction with 20,809 document nodes, 7 category nodes, and confusion-weighted semantic proximity edges. This systems-based methodology advances reproducible computational research in domains lacking established benchmarks.

Havuzumuzdaki Atıflar 0

Bu makaleye, sistemimizdeki Scopus veritabanında bulunan 0 makale atıf yapmıştır. Scopus genel atıf sayısı: 2.

Bu makaleye, kendi Scopus havuzumuzdaki başka bir makaleden atıf kaydı bulunmuyor.
Scimago Dergi Bilgisi Otomatik ISSN Eşleştirmesi 2025 yılı verileri
Information (Switzerland)
Q2
SJR Quartile
0,805
SJR Skoru
90
H-Index
🔓
Açık Erişim
Kategoriler: Information Systems (Q2)
Alanlar: Computer Science
Ülke: Switzerland · Multidisciplinary Digital Publishing Institute (MDPI)
Bu bilgiler makale yılına göre Scimago veritabanından ISSN eşleştirmesiyle otomatik getirilmektedir. Dergi sıralama verileri Scimago'nun ilgili yılı baz alınmaktadır.

Makale Bilgileri

Dergi Information
ISSN 2078-2489
Yıl 2025 / 11. ay
Cilt / Sayı 16 / 11
Sayfalar 960 – 960
Makale Türü Özgün Makale
Hakemlik Hakemli
Endeks ESCI,Scopus
Teşvik Puanı 6,00 · YÖKSİS Akademik Teşvik
Yayın Dili İngilizce
Kapsam Uluslararası
Toplam Yazar 1 kişi
Erişim Türü Elektronik
Özel Sayı Özel Sayı
Alan Mühendislik Temel Alanı Bilgisayar Bilimleri ve Mühendisliği information extraction; knowledge graphs; large language models; learnability; validation framework; Ottoman legal history; multi-model consensus; computational humanities

YÖKSİS Yazar Kaydı

Yazar Adı ÇETİNKAYA ALİ
YÖKSİS ID 9017723

Metrikler

Scopus Atıf 2
Havuz Atıfları 0
Teşvik Puanı 6,00
Yazar Sayısı 1