Yapay Zekâ ve Veri Bilimi: Veri Hazırlama, Temel Terimler ve İş Akışları

Giriş — Neden veri hazırlama kritik?

Yapay zekâ ve veri bilimi projeleri veriyle başlar: veriyi toplamak, hazırlamak ve doğru biçimde sunmak modelin başarısını doğrudan etkiler. Kaynaklara göre yapay zekâ ve veri bilimi birbirini tamamlayan disiplinlerdir; veri hazırlama, modelleme ve değerlendirme aşamaları birlikte yürütülür (Ahmet Rasim Çağın). Bu makalede bu sürecin temel terimlerini, iş akışlarını ve uygulama odaklı adımları ele alacağız.

Yapay zekâ ve veri bilimi: kısa bir çerçeve

Temel ayrım basittir: veri bilimi veriden içgörüler çıkarmaya odaklanırken; yapay zekâ bu içgörüleri karar verme ve otomasyon süreçlerine dönüştürür. Makine öğrenimi, derin öğrenme ve doğal dil işleme gibi kavramlar bu ekosistemin ana bileşenleridir (AI Sözlük, Microsoft Learn).

Temel terimler (kısa tanımlar)

• Veri hazırlama: Ham verinin temizlenmesi, dönüştürülmesi ve modele uygun hale getirilmesi sürecidir.
• Feature engineering: Modelin öğrenebilmesi için anlamlı özelliklerin seçilmesi veya oluşturulmasıdır.
• ETL (Extract, Transform, Load): Verinin farklı kaynaklardan çekilip dönüştürüldükten sonra hedef ortama yüklenmesi işlemidir.
• Veri etiketleme: Denetimli öğrenme için veriye sınıf/etiket ekleme sürecidir.
• Veri kalitesi: Verinin doğruluk, tutarlılık, eksiksizlik gibi ölçütlere uygunluğudur.

Veri hazırlama: adım adım

Veri hazırlama, bir dizi tekrarlanabilir adımdan oluşur. Kaynaklar, bu aşamaların projection planlarında yer aldığını belirtir; süreç veri toplama, profil oluşturma, temizleme, dönüştürme, özellik oluşturma ve bölme adımlarını içerir (kaynak, kaynak).

Pratik kontrol listesi: Veri hazırlama

• Veri kaynaklarını envanterleyin (veritabanları, günlükler, CSV, API).
• Profil çıkarma yapın: alan tipleri, boş değerler, tekrarlar, dağılımlar.
• Temizlik adımları: eksik değer yönetimi, tutarsız biçimlerin düzeltilmesi, yinelenen kayıtların ele alınması.
• Dönüşümler: normalizasyon, binleme, tarih/saat ayrıştırma, kategorik kodlama.
• Veri bölme: eğitim, doğrulama ve test kümeleri; mümkünse zaman bazlı bölme stratejileri uygulayın.
• İzleme ve kayıt: preprocessing adımlarını otomatikleştirin ve dönüşümleri kaydedin (lineage).

Uygulamalı adımlar (örnek akış)

1. Ham veriyi toplayın ve örnek profili oluşturun.
2. Veri tipleri ve aykırılıkları tespit edin; veri sözlüğü oluşturun.
3. Eksik veriler için karar verin: silme, doldurma (imputation) veya model odaklı yöntemler.
4. Kategorik değişkenleri uygun şekilde kodlayın (one-hot, label encoding vb.).
5. Özellik oluşturma ve seçme işlemlerini uygulayın (feature engineering bölümüne bakın).
6. Veri setini eğitim/doğrulama/test olarak ayırın ve pipeline'ı kaydedin.

Feature engineering: Model performansını şekillendiren adım

Feature engineering, verinin model için anlamlı bileşenlere dönüştürülmesidir. AI Sözlük ve diğer kaynaklar feature engineering'in model başarısında kritik bir rol oynadığını vurgular (AI Sözlük).

Temel teknikler ve ipuçları

• Tarih-saat özellikleri: Haftanın günü, saat dilimi, tatil bilgisi gibi türevler.
• Gruplama ve özetleme: Kullanıcı başına ortalamalar, toplamlar, sayılar.
• İnteraksiyon özellikleri: İki veya daha fazla değişkenin çarpımı veya kombinasyonu.
• Kategorik dönüştürmeler: Sık görülen kategorileri koruyup nadirleri gruplama, target encoding gibi yaklaşımlar.
• Metin ve NLP özellikleri: Sözcük sayısı, tf-idf veya gömülü (embedding) temelli temsiller.

Checklist: Feature engineering

• Her yeni özelliğin model performansına etkisini değerlendirin (ör. çapraz doğrulama ile).
• Özelliklerin korunması/standardizasyonu gereken durumları belirleyin.
• Otomatik özellik çıkarma araçlarını küçük ölçekli deneylerde test edin; her zaman iş zekâsı perspektifini kaybetmeyin.

ETL ve veri boru hatları (pipelines)

ETL, veriyi farklı kaynaklardan çekip dönüştürerek hedef sisteme yükleme sürecidir. Bu adım işletme verilerinin analize hazır tek biçimde sağlanmasını amaçlar ve genellikle sürekli otomasyon gerektirir (kaynak).

ETL tasarım ilkeleri

• Tekrarlanabilirlik: Pipeline'lar sürüm kontrolünde olmalı ve tekrar yürütülebilir.
• Gözlemlenebilirlik: Hatalar, çalışma süreleri ve veri hacimleri kaydedilmeli.
• Hatalara dayanıklılık: Kısmi hatalarda rollback veya idempotent operasyonlar kullanılmalı.

Pratik notlar

ETL, tek seferlik değil sürekli bakım gerektiren bir süreçtir. Boru hattı otomasyonu, veri sözlüğü ve lineage (veri hattı takibi) kuralları erken projede planlanmalıdır.

Veri kalitesi: kontrol ve izleme

Veri kalitesi; eksiksizlik, tutarlılık, doğruluk, güncellik gibi boyutları kapsar. Bu boyutları takip etmek için üretim sistemlerinde otomatik kontroller ve uyarı mekanizmaları kurmak önemlidir (kaynak).

Pratik kontroller

• Eksik değer oranlarını düzenli raporlayın ve beklenmedik artışlara uyarı verin.
• Tekrarlı kayıtları tespit edip gerekirse konsolide edin.
• Aykırı değer tespiti ve iş akışlarındaki etkisinin analizi.
• Veri sürümlemesi ve model girişlerinin sabitlenmesi (reproducibility).

Veri etiketleme: kaliteyi nasıl sağlarsınız?

Denetimli öğrenme için doğru etiketlenmiş veri gereklidir. Etiketleme süreci manuel, yarı-otomatik veya otomatik olabilir; hangi yöntemin seçileceği görev, bütçe ve kalite gereksinimlerine bağlıdır (AI Sözlük).

İyi etiketleme uygulamaları

• Açık ve örneklerle desteklenmiş etiketleme yönergeleri hazırlayın.
• Birden fazla anotatör ile çapraz inceleme yapın; tutarsızlıkları tespit edin.
• Gold-standard örnekler belirleyin ve düzenli kalite kontrolü uygulayın.
• Aktif öğrenme yaklaşımlarıyla insan iş yükünü azaltmayı değerlendirin.

Modelleme ve değerlendirme: veri hazırlamanın sonucu

Veri hazırlama ve feature engineering doğru yapıldığında modelleme aşamasında daha güvenilir performans elde edilir. Model doğrulama için uygun metrikler ve çapraz doğrulama stratejileri kullanılmalıdır. Unutmayın ki değerlendirme, gerçek dünya dağılımını yansıtacak şekilde yapılmalıdır; aksi halde model sahada beklenen performansı göstermeyebilir (Microsoft Learn).

Pratik örnek: Basit bir iş akışı (adımlar)

1. Problem tanımı ve hedef belirleme: Hangi sorunu çözüyorsunuz, hangi başarı ölçütü önemli?
2. Veri kaynaklarını envanterleme ve profil çıkarma.
3. ETL pipeline kurma: veri çekme, temizleme, dönüştürme, hedefe yükleme.
4. Feature engineering ve eğitim/validasyon/test ayırımı.
5. Model eğitimi, değerlendirme ve hata analizi.
6. Üretime alma: model izleme, veri kalitesi kontrolleri ve geri bildirim döngüleri kurma.

Sonuç — Özet ve öneriler

Yapay zekâ projelerinde başarılı olmak için veri hazırlama, feature engineering, ETL ve veri etiketleme süreçlerinin planlı ve tekrarlanabilir olması gerekir. Kaynaklar süreçlerin temel adımlarını ve terminolojisini desteklemektedir (Ahmet Rasim Çağın, AI Sözlük, Microsoft Learn).

Kısa pratik öneriler: küçük ve tekrarlanabilir adımlarla başlayın, veri sözlüğü oluşturun, otomasyona yatırım yapın ve üretimde veri kalitesini izlemeyi ihmal etmeyin.