1. TREC
Definisi
Trec
Konferensi
Retrieval Text (Trec) adalah suatu peristiwa di mana organisasi dengan minat dalam
penelitian pencarian informasi mengambil bagian dalam serangkaian terkoordinasi
percobaan dengan menggunakan data eksperimen yang sama. The goal of the
conference series is to create the infrastructure necessary for large-scale
evaluation of research retrieval systems and thereby foster research into
effective techniques for information access. Tujuan dari seri konferensi adalah untuk menciptakan infrastruktur yang
di perlukan untuk skala evaluasi system temu penelitian dan dengan demikian mendorong
penelitian ke dalam teknik yang efektif untuk akses informasi.
Pada
tahun 1992, Departemen Pertahanan AS bersama dengan institute Nasional standar dan
Teknologi ( NIST ), mensposori konferensi
text Retrieval ( Trec ) sebagai bagian dari program text TIPSTER. Tujuan dari ini
adalah untuk melihat ke dalam pencarian informasi masyarakat dengan menyediakan
infrastruktur yang dibutuhkan untuk evaluasi metedologi pencarian teks pada koleksi
text yang sangat besar.
Dengan
desain, Trec secara eksplisit bukan tempat untuk tes produk komersial (yaitu,
perbandingan benchmark). A valid, informative vendor test requires a level of
control in task definition and system execution that is counter to the
scientific research goals of TREC.
Sebuahtes,
vendor berlaku informative membutuhkan tingkat control dalam definisi tugas dan
pelaksanaan sistem yang bertentangan dengan tujuan penelitian ilmiah Trec.
Insofar as TREC participants do the same task, the results from different
participating teams are comparable, but interpretation of what those results
actually represent may vary widely. Sejauh peserta Trec melakukan tugas yang
sama, hasil dari tim peserta yang berbeda sebanding, namun interpretasi apa hasil
tersebut benar-benar mewakili mungkin bervariasi. For example, commercial
participants may submit results from research prototype systems rather than
their production system, or participants may deliberately degrade one aspect of
their system to focus on another aspect. Misalnya, peserta komersial dapat menyerahkan
hasil dari system prototy penelitian dari
pada system produksi mereka, atau peserta
sengaja dapat menurunkan salah satu aspek dari system mereka untuk focus pada aspek
lain.
Untuk
melestarikan, diinginkan pra-kompetitif sifat konferensiTrec, Trec mengharuskan
semua peserta untuk menandatangani dan mematuhi kesepakatan mengenai diseminasi
dan publikasi hasil evaluasi Trec . The guidelines embodied in the agreement
are meant to preclude the publication of incomplete or inaccurate information
that could damage the reputation of the conference or its participants. Pedoman
yang terkandung dalam perjanjian yang dimaksudkan untuk menghalangi publikasi informasi
yang tidak lengkap atau tidak akurat yang dapat merusak reputasi konferensi atau
peserta. In particular, the agreement prohibits any advertising based on TREC
results and sharply curtails the use of TREC results in marketing literature.
Secara khusus, perjanjian tersebut melarang setiap iklan berdasarkan hasil Trec
dan tajam curtails penggunaan hasil Trec dalam literature pemasaran.
Pengambilan
Teks Konferensi (Trec) adalah sebuah serial yang sedang berlangsung lokakarya berfokus
pada daftar yang berbeda pencarian informasi (IR) daerah penelitian, atau
trek.Ini adalah co-disponsori oleh Institut Nasional Standar dan Teknologi
(NIST) dan Intelijen Advanced Research Projects Activity (bagian dari kantor Direktur
Intelijen Nasional ), dan mulai tahun 1992 sebagai bagian dari Program Text
TIPSTER . Tujuannya adalah untuk mendukung dan mendorong penelitian dalam komunitas
pencarian informasi dengan menyediakan infrastruktur yang diperlukan untuk skala evaluasi pencarian
teks metodologi dan untuk meningkatkan kecepatan lab-to-produk transfer
teknologi .
Setiap
lagu memiliki tantangan dimana NIST menyediakan kelompok peserta dengan set
data dan masalah uji. Tergantung pada jalur, masalah tes mungkin pertanyaan,
topik, atau target diekstrakfitur .Scoring Uniform dilakukan sehingga system dapat
cukup dievaluasi. Setelah evaluasi hasil, lokakarya menyediakan tempat bagi peserta
untuk mengumpulkan bersama-sama pikiran dan ide-ide dan mempresentasikan hasil kerja
penelitian saat ini dan masadepan.
Kekurangannya
dari trec :
Penekanan
pada ingat yang tinggi, yang mungkin tidak realistis untuk apa kebanyakan pengguna
ingin sangat panjang query, juga tidak realistis perbandingan masih sulit untuk
membuat, karena sistem yang cukup berbeda pada banyak dimensi focus pada peringkat
batch dari padai nteraksi
2. Reuters
Reuters merupakan sebuah kantor berita yang bermarkas
di London, Inggris. Perusahaan ini di dirikan tahun 1851. Saingan utamanya adalah
Bloomberg L.P. dan Dow Jones Newswires. Kini menjadi sponsor utama di tim
WilliamsF1. Reuters merupakan sebuah koperasi yang dimiliki oleh perusahaan surat
kabar yang menyumbangnya dari stasiun-stasiun penyiar di Britania Raya, yang
keduanya menyumbangkan berita dan menggunakan material yang ditulis oleh para stafnya.
3. CLEF
Inisiatif
CLEF (Konferensidan Labs dari Forum Evaluasi, sebelumnya dikenal sebagai Cross-Language Forum Evaluasi) adalah
lembaga self-organized misi utamanya adalah untuk mempromosikan penelitian,
inovasi, dan pengembangan system akses informasi dengan penekanan pada multi bahasa dan multi modal informasi dengan
berbagai tingkat struktur.
CLEF,
adalah sebuah organisasi yang mempromosikan penelitian di multi bahas akses informasi
(saat ini berfokus pada bahasa-bahasa Eropa ). Fungsi khusus adalah untuk mempertahankan
kerangka dasar untuk menguji pencarian informasi sistem, dan menciptakan repositori
data bagi para peneliti untuk digunakan dalam mengembangkan di bandingkan standar
.Organisasi memegang sebuah forum pertemuan setiap September di Eropa. Sebelum setiap
forum, peserta menerima satu set tugas tantangan. Tugas ini dirancang untuk menguji
berbagai aspek system pencarian informasi dan mendorong perkembangan mereka. Kelompok
peneliti mengusulkan dan mengatur kampanye untuk memenuhi tugas-tugas. Hasilnya
di gunakan ebagai tolok ukur untuk keadaan seni di daerah-daerah tertentu.
Sejak
tahun 2000 CLEF telah memainkan peran utama
dalam penyelidikan merangsang dan penelitian
di berbagai bidang utama dalam domain pencarian informasi, menjadi terkenal di
masyarakat IR internasional. Hal ini juga mempromosikan satu di implementasi metodologi
evaluasi yang tepat untuk beragam jenis tugas dan media. Selama bertahun-tahun,
komunitas riset yang luas, kuat, dan multi disiplin telah di bangun, yang
meliputi dan mencakup berbagai bidang keahlian yang dibutuhkan untuk menangani penyebaran
kegiatan CLEF.
Sejak
2010, CLEF telah mengambil bentuk suatu peristiwa independen, di bentuk oleh sebuah
konferensi peer-review di selenggarakan dengan satu set laboratorium evaluasi.
CLEF
mendorong penelitian dalam pencarian informasi multi bahasa dan lintas-bahasa untuk
bahasa-bahasa Eropa dengan menciptakan sebuah forum terbuka untuk pertukaran
ide penelitian. CLEF menyediakan corpus tes bahasa untuk evaluasi system pencarian
informasi, yang terdiri atas:
Koran
dan Newswire data di Belanda, Inggris, Perancis, Jerman, Italia danSpanyol;
Bahasa
alami laporan kebutuhan pengguna informasi (query);
Relevansi
penilaian (yang "jawaban yang baik").
