Sistem Pemodelan T5 dalam Natural Language Processing untuk Memberikan Jawaban Terhadap Sebuah Pernyataan Pengguna dalam Bahasa Indonesia

Irwan Darmawan, Nilam Ramadhani, Nindian Puspa Dewi, Ubaidi .
DOI: https://doi.org/10.33650/coreai.v6i1.11280



Abstract

Didalam dunia Artificial Intelligen(AI) sudah dikenal berbagai macam pemodelan dalam mengolah bahasa alami. Salah satunya adalah model T5 (Text-to-Text Transfer Transformer), model ini memungkinkan untuk memberikan solusi jawaban pada sebuah pernyataan maupun pertanyaan berdasarkan inputan dari user. Pada model ini dalam proses awal yaitu proses pre-training menggunakan token perbandingan antar kalimat dengan pendekatan tokenisasi model sentencepeace. Model pre-training sentencepeace memerlukan teks mentah dan tidak menggunakan kata-kata yang di segmentasi sebelumnya. Sedikitnya pembahasan tentang model AI (T5) dalam bahasa indonesia membuat pengetahuan tentang model T5 ini perlu dikaji lebih mendalam. Pada penelitian ini berfokus pada analisis data yang digunakan dalam malakukan pre-training serta seberapa efektif jawaban inputan dari user. Dalam melakukan ujicoba peneliti menghitung perbandingan basis pengetahuan yang dilakukan oleh pakar bahasa indonesia dengan model AI (T5). Pada model uji yang kami terapkan menggunakan model pengukuran BLUE dimana diharapkan dari pengukuran ini dihasilkan nilai yang mendekati angka satu (1).

Keywords

T5, NLP, Model AI, Blue Score;

Full Text:

References

A. A. Malik, R. A. Ubaid, and M. Shamsi, "Artificial Intelligence: The future of mankind," Materials Today: Proceedings, vol. 60, pp. 307–311, 2022.

T. Brown et al., “Language models are few-shot learners,” in Proc. NeurIPS, 2020.

OpenAI, “GPT-3: Language Models are Few-Shot Learners,” [Online]. Available: https://arxiv.org/abs/2005.14165

C. de Vries et al., "Does ChatGPT Understand Non-English Languages? A Comparative Evaluation," arXiv preprint arXiv:2304.05334, 2023.

C. Raffel et al., “Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer,” J. Mach. Learn. Res., vol. 21, no. 140, pp. 1–67, 2020.

J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” in Proc. NAACL-HLT, 2019.

I. Beltagy, K. Lo, and A. Cohan, “SciBERT: A Pretrained Language Model for Scientific Text,” in Proc. EMNLP, 2019.

T. Kudo and J. Richardson, “SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing,” in Proc. EMNLP: System Demonstrations, 2018.

A. Rustamov and J. Goldwater, "Subword vs. Word-level Tokenization for Neural Machine Translation of Morphologically Rich Languages," arXiv preprint arXiv:2107.04594, 2021.

R. Wilie et al., “IndoNLU: Benchmark and Resources for Evaluating Indonesian Natural Language Understanding,” in Proc. IJCNLP, 2020.

P. Cahyawijaya et al., “IndoT5: A Text-to-Text Transformer Model for Indonesian Language Understanding and Generation,” arXiv preprint arXiv:2109.08674, 2021.

K. Papineni, S. Roukos, T. Ward, and W.-J. Zhu, “BLEU: a Method for Automatic Evaluation of Machine Translation,” in Proc. ACL, 2002.

A. Vaswani et al., “Attention is All You Need,” in Proc. Advances in Neural Information Processing Systems (NeurIPS), vol. 30, 2017. [Online]. Available: https://papers.nips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html


Dimensions, PlumX, and Google Scholar Metrics

10.33650/coreai.v6i1.11280


Refbacks

  • There are currently no refbacks.


Copyright (c) 2025 Irwan Darmawan, Nilam Ramadhani, Nindian Puspa Dewi, Ubaidillah .

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.


Creative Commons License
 
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.

COREAI: Jurnal Kecerdasan Buatan, Komputasi dan Teknologi Informasi

Published by Technic Faculty of Nurul Jadid University, Probolinggo, East Java, Indonesia.