Bir arkadaşını seç ve bu haber hakkındaki görüşünü öğren
İlgili makaleler
Teknoloji İnovasyon Enstitüsü (TII), konuşulan sesi metne dönüştüren yazılım olan otomatik konuşma tanıma (ASR) modellerinin açık ağırlıklı ailesi Falcon ASR'ı yayınladı. Bu aile hem Arapça hem de İngilizceyi kapsıyor ve Birleşik Arap Emirlikleri lehçesi için özel olarak ayarlanmış bir varyanta sahip.
Ana noktalar
Falcon ASR, TII'den Hugging Face'te yayınlanan, Arapça (Birleşik Arap Emirlikleri lehçesi dahil) ve İngilizceyi kapsayan açık ağırlıklı konuşma tanıma modeli ailesidir.
Modeller açık ağırlıklar olarak mevcut, yani yaratıcılar API maliyetleri veya kullanım sınırları olmadan bunları indirebilir, ince ayar yapabilir ve yerel olarak çalıştırabilir.
TII, mevcut Arapça ve İngilizce ASR kıyaslamalarına karşı rekabetçi kelime hata oranları (WER) — bir transkripsiyonun ne sıklıkla kelimeyi yanlış aldığının standart ölçütü — bildiriyor.
Falcon ASR'ın Arapça modelleri, çoğu ticari ASR sisteminin doldurmadığı bir boşluğu ele alan lehçeye özgü Birleşik Arap Emirlikleri varyantını içeriyor.
Yayın, ses-istem hatları, ses altyazı araçları veya çok dilli karakter iş akışları oluşturan AI yaratıcıları için pratik araç setini genişletiyor.
Falcon ASR'ın gerçekte ne olduğu ve onu kim geliştirdiği
Orijinal Falcon büyük dil modeli serisinin arkasındaki Abu Dabi araştırma enstitüsü TII, açık model stratejisini konuşmaya genişletiyor. Falcon ASR tek bir model değil, bir aile — Arapça, Birleşik Arap Emirlikleri Arapçası ve İngilizce için ayrı kontrol noktaları — her biri kendi dil alanlarında kelime hata oranını minimize etmek için eğitilmiş.
ASR, konuşulan bir cümleyi alt akış sisteminin işleyebileceği bir kelime dizisine dönüştüren temel teknolojidir. AI-sanat yaratıcıları için pratik kullanım durumu ses-istem: bir açıklama konuş, onu doğru şekilde transkribe et, doğrudan bir görüntü üreticisine besle. Bu transkripsiyonun kalitesi doğrudan istemin kalitesini etkiler, bu nedenle daha düşük WER daha az bozuk anahtar kelime ve daha az manuel temizlik anlamına gelir.
Falcon ASR kıyaslama sonuçları, rakip modellere karşı Arapça ve İngilizce kelime hata oranlarını karşılaştırıyor.
Arapça ASR'ın tarihsel olarak yetersiz kaldığı yerler
Arapça, konuşma tanıma için özellikle zor bir hedeftir. Yazılı standart (Modern Standart Arapça) konuşulan lehçelerden önemli ölçüde farklılaşır ve çoğu ticari ASR sistemi ağırlıklı olarak İngilizce veriler üzerinde eğitilir, bu da Arapçayı — ve özellikle bölgesel lehçeleri — yetersiz hizmet alır durumda bırakır. İngilizce ile kod değiştirme ve Körfez fonolojisi ile Birleşik Arap Emirlikleri Arapçası bu zorluğu daha da artırır.
Hugging Face blog gönderisine göre, Falcon ASR'ın Birleşik Arap Emirlikleri'ne özgü modeli tam olarak bu boşluğu hedefliyor ve genel amaçlı Arapça modellerin zorlandığı Birleşik Arap Emirlikleri lehçesi test setlerinde rekabetçi karakter hata oranları bildiriyor. Karakter hata oranı (CER), tüm kelime kaçırmaları yerine bireysel karakter hatalarını sayan WER'in daha ince taneli bir versiyonudur — İngilizcenin birkaç kelimeye yaydığı anlamı tek bir kelimenin taşıyabildiği Arapça gibi morfolojik olarak zengin diller için daha bilgilendiricidir.
Lehçeye özgü test setlerinde Falcon ASR'ın Birleşik Arap Emirlikleri lehçesi modeli için kelime ve karakter hata oranları.
Açık ağırlıklar gerçek iş akışı esnekliği anlamına geliyor
Açık ağırlık yayını, pratik kullanım için en önemli detaydır. Dakika başına ses ücreti alan ve yüksek hacimli istekleri kısıtlayabilen yalnızca bulut ASR API'lerinin aksine, açık ağırlıklar yaratıcıların yerel olarak çıkarım yapmasına, alana özgü kelime dağarcığında (örneğin, sanat stilleri veya karakter adları sözlüğü) ince ayar yapmasına ve çağrı başına maliyet olmadan modeli özel hatlarına entegre etmesine olanak tanır.
Zaten yerel çıkarımla deneyim yapan yaratıcılar için bu, AI yeteneğini buluttan yerel donanıma taşıyan diğer son açık ağırlık yayınlarının yanında yer alıyor — Liquid AI'ın açık d1 modelleri gibi kenar odaklı yayınlarda da görülen bir eğilim.
Anında yaratıcı uygulama ses tabanlı istemlemedir: bir görüntüyü sesli olarak tanımla, Falcon ASR'ın onu Arapça veya İngilizce olarak doğru şekilde transkribe etmesini sağla ve sonucu doğrudan bir üreticiye aktar. İki dilli çalışan veya Arapça konuşan kitlelere hizmet veren yaratıcılar artık sesi üçüncü taraf API'si üzerinden yönlendirme gerektirmeyen yerel olarak çalıştırılabilir bir transkripsiyon katmanına sahip. Doğru lehçe tanımanın tüm etkileşimi şekillendirdiği ses arayüzlü AI yardımcı karakterler oluşturanlar da eşit derecede doğrudan bir kullanım durumuna sahip.
Falcon ASR için Arapça test setlerinde kelime ve karakter hata oranı karşılaştırmaları.
İnce ayar olasılıkları not edilmeye değer. Ağırlıklar açık olduğu için, örneğin mimari konsept sanatı için niş bir ses-istem aracı oluşturan bir yaratıcı, Falcon ASR'ı küçük bir alan kelime dağarcığı veri seti üzerinde ince ayar yapabilir ve o belirli kullanım durumu için anlamlı şekilde daha iyi transkripsiyon doğruluğu elde edebilir — hiçbir ticari API'nin sıfır karşılaştırılabilir fiyat noktasında sunmadığı bir şey.
TII henüz çıkarım için hesaplama gereksinimlerini belirten ayrıntılı bir model kartı yayınlamadı, bu nedenle Falcon ASR'ı yerel olarak çalıştırmak için tam donanım tabanı topluluk tarafından doğrulanmayı bekliyor. Erken benimseyenler kıyaslamaları paylaştıkça izlenecek açık soru bu. Ses entegreli iş akışları oluşturmakla ilgilenen yaratıcılar, AI araçlarını üretim hatlarına bağlama konusunda pratik başlangıç noktaları için Charmloop kılavuzlarını keşfedebilir.
