April 05, 2013
Turkish Language Resources
This post contains links to various Turkish language resources that I have collected. Please send a comment if you find Turkish resources that you would like to see on this page.
TS Corpus
Taner Sezer's TS Corpus is a 491M token general purpose Turkish corpus. See comments below for details.
BounWebCorpus
Hasim Sak's page contains some useful Turkish language resources and code in addition to a large web corpus.
Bibliography
Özgür Yılmazel's Bibliography on Turkish Information Retrieval and Natural Language Processing.
tr-disamb.tgz
Turkish morphological disambiguator code. Slow but 96% accurate. See Learning morphological disambiguation rules for Turkish for the theory.
correctparses_03.txt.gz, train.merge.gz
Turkish morphology training files. Semi-automatically tagged, has limited accuracy. Two files have the same data except the second file also includes the ambiguous parses (the first parse on each line is correct).
test.1.2.dis.gz, test.merge.gz
Turkish morphology test files, second one includes ambiguous parses (the first parse on each line is correct). The data is hand tagged, it has good accuracy.
tr-tagger.tgz
Turkish morphological tagger, includes Oflazer's finite state machines for Turkish. From Kemal Oflazer. Please use with permission. Requires the publically available Xerox Finite State software.
turklex.tgz, pc_kimmo.tgz
Turkish morphology rules for PC-Kimmo by Kemal Oflazer. Older implementation. Originally from www.cs.cmu.edu
Milliyet1.bz2, Milliyet2.bz2, Milliyet3.bz2
Original Milliyet corpus, one token per line, 19,627,500 total tokens. Latin-5 encoded, in three 11MB parts. From Kemal Oflazer. Please use with permission.
Turkish wordnet
From Kemal Oflazer. Please use with permission.
METU-Sabanci Turkish Treebank
Turkish treebank with dependency annotations. Please use with permission.
sozluk.txt.gz
English-Turkish dictionary (127157 entries, 826K) Originally from www.fen.bilkent.edu.tr/~aykutlu.
sozluk-boun.txt.gz
Turkish word list (25822 words, 73K) Originally from www.cmpe.boun.edu.tr/courses/cmpe230
Avrupa Birliği Temel Terimler Sözlüğü
(Originally from: www.abgs.gov.tr/ab_dosyalar, Oct 6, 2006)
BilisimSozlugu.zip
Bilişim Sözlüğü by Bülent Sankur (Originally from: www.bilisimsozlugu.com, Oct 9, 2006)
turkish.el
Emacs extension that automatically adds accents to Turkish words while typing on an English keyboard.
en-tr.zip, lm.tr.gz
Turkish English parallel text from Kemal Oflazer, Statistical Machine Translation into a Morphologically Complex Language, Invited Paper, In Proceedings of CICLING 2008 -- Conference on Intelligent Text Processing and Computational Linguistics, Haifa, Israel, February 2008 (lowercased and converted to utf8). The Turkish part of the dataset is "selectively split", i.e. some suffixes are separated from their stems, some are not. lm.tr.gz is the Turkish text used to develop the language model.
Subscribe to:
Post Comments (Atom)

3 comments:
Great list of resources. I am only just now beginning to dabble in parallel corpora. Do you know this online parallel corpus search engine at http://opus.lingfil.uu.se/bin/opuscqp.pl?corpus=OpenSubtitles;lang=en ?
From: Taner Sezer
Subject: TS Corpus
TS Corpus tamamı sözcük türü ve biçimbirimsel bazda işaretlenmiş toplam 491 milyon birimden (491,360,398 milyon token) oluşan genel amaçlı bir Türkçe derlemdir. Proje kendinden önce Türkçe adına yapılmış bilişimsel dilbilim çalışmaları ile dünyada yapılmış derlem dilbilim çalışmalarını biraraya getirerek, kullanılabilir bir ürün olarak modern bir derlem oluşturmayı hedeflemektedir. TS Corpus Türkiye Türkçe'si için oluşturulmuş ve "etiketlenmiş" bir derlemdir. TS Corpus'un ilk versiyonu 1 Mart 2012'de yayınlanmıştır. İkinci versiyon 30 Ağustos 2012 tarihinde yayınlanarak kullanıma sunulmuştur. Derlemin 2.1 versiyonu üzerinde çalışmalar devam etmektedir.
Derlemle ilgili detaylı bilgi ve kayıt formuna http://tscorpus.com adresinden erişilebilir.
TS Corpus içerdiği veriyi dilbilimsel ve biçimsel olarak iki ayrı düzlemde etiketlenmiş biçimde sunmaktadır. Dilbilimsel etiketleme PosTag (sözcük türü), Morphological Tagging (biçimbirimsel etiketleme) ve Lemma (kök) olarak üç düzeyde sunulmaktadır. Kullanıcılar üç etiket üstünden de arama yapabilmektedir.
TS Corpus'u özel yapan bazı unsurları şöyle sıralayabiliriz:
- Şu ana kadar yapılmış en büyük Türkçe derlemlerden (491 milyon token),
- Sözcük türü (PosTAG) etiketlenmiş,
- Biçimbirimsel etiketleme (Morphological Tagging) yapılmış,
- Kök sözcük (Lemma) işaretlemiş ve kök sözcük ile arama yapılabilen,
- Online erişimli olarak kullanılabilen,
- 7 farklı dilbilimsel istatistiki veriyi birarada kullanıcıya sunabilen,
- CWB/CQP altyapısı kullanılarak yapılmış,
- Kullanıcıların sonuçlarını farklı biçimlerde kaydetmesine olanak tanıyan,
- Açık erişimli olarak sunulan bir Türkçe derlemdir.
Some more resources from YTU's NLP group: http://www.kemik.yildiz.edu.tr/?id=28
Post a Comment