ChatGPT menggemparkan dunia dengan respons fasih seperti manusia yang didukung oleh AI canggih di balik layar. Secara khusus, kemampuan bahasa alaminya berasal dari sekumpulan model yang disebut Generative Pretrained Transformers (GPT) dikembangkan oleh perusahaan riset OpenAI.
Dalam postingan ini, kami akan mengungkap cara kerja model transformator ini dan cara mengaktifkannya ChatGPTkinerja yang mengesankan.
GPT – Model Dasar untuk NLP
Pada tingkat tinggi, model GPT adalah “model dasar” canggih yang ditujukan untuk tugas bahasa alami seperti pembuatan teks.
Mereka yang pertama terlatih pada korpora teks besar – menyerap hingga ratusan miliar kata dari sumber seperti situs web, buku, dan Wikipedia. Hal ini memungkinkan GPT menganalisis pola dalam bahasa manusia secara mendalam.
Setelah pra-pelatihan, modelnya bisa disetel dengan baik pada kumpulan data yang lebih spesifik untuk menyesuaikan kemampuannya. Misalnya, salah satu tujuan utama penyesuaian untuk ChatGPT adalah kemampuan bercakap-cakap – memungkinkan terjadinya dialog bolak-balik berdasarkan fakta.
Pada versi-versi berikutnya, OpenAIModel GPT kini jauh lebih maju seiring dengan semakin besarnya kumpulan data dan kemampuan komputasi yang memperluas kemampuan yang ada.
Di dalam GPT: Arsitektur Transformer
Model GPT memanfaatkan arsitektur pembelajaran mendalam berbasis perhatian yang dikenal sebagai transformator.
Transformers adalah terobosan dalam pemrosesan bahasa alami, mengungguli metode lama dalam tugas-tugas seperti penerjemahan yang memerlukan pemahaman konteks kata. Inovasi utama mereka:
- Lapisan perhatian diri menganalisis bagaimana setiap kata berhubungan satu sama lain dalam sebuah kalimat
- Hal ini memungkinkan model transformator seperti GPT untuk memahami secara mendalam hubungan rumit dalam teks daripada memprosesnya secara berurutan
Selama pra-pelatihan, arsitektur transformator GPT memungkinkannya mengungkap pola kontekstual yang sangat kompleks yang ada dalam bahasa manusia dari kumpulan datanya yang sangat besar.
Kemudian selama fine-tuning untuk aplikasi seperti ChatGPT, model dasar dapat menghasilkan kalimat baru yang koheren dan bermakna yang sesuai dengan struktur yang dipelajari.
GPT-3.5: Awal ChatGPT Prinsip Dasar
Versi pertama digunakan untuk berkuasa ChatGPT adalah GPT-3.5, varian tambahan dari GPT-3.
GPT-3 sendiri memukau dunia saat diluncurkan pada tahun 2020 karena kualitas, koherensi, dan kreativitas keluarannya.
Dengan memanfaatkan kemampuan GPT-3 dan penyesuaian khusus untuk kemampuan percakapan, GPT-3.5 memungkinkan ChatGPTfungsi dialog yang sangat lancar.
GPT-4: 2-5x Lebih Mampu, 98% Lebih Sedikit Komputasi
Namun, dalam mode AI yang benar-benar mutakhir, iterasi GPT berkembang pesat. Baru-baru ini, OpenAI meluncurkan yang terbaru GPT-4 yang dilaporkan 2-5x lebih mampu pada sebagian besar tugas bahasa sekaligus membutuhkan daya komputasi 98% lebih sedikit.
Memanfaatkan GPT-4 dapat memungkinkan ChatGPT untuk mencapai tingkatan baru dalam berbagai metrik seperti kualitas keluaran, akurasi faktual, kedalaman dialog, dan banyak lagi.
Dan kereta model pondasi trafo kemungkinan akan terus melaju dari sini. Dengan penskalaan data dan komputasi yang berkelanjutan yang diharapkan terjadi pada versi GPT mendatang, antusiasme terhadap apa yang mungkin akan terjadi dalam waktu dekat sangat tinggi.
Meskipun terdapat kemampuan-kemampuan baru, menafsirkan model-model ini dengan hati-hati tetap penting – model-model ini memiliki keterbatasan yang patut diperhatikan meskipun keluarannya banyak digembar-gemborkan. Namun pengembangan yang bertanggung jawab dapat menghasilkan aplikasi yang sangat bermanfaat.
Jadi perhatikan ruang ini! Kita mungkin masih belum mengetahui apa yang pada akhirnya dapat dicapai oleh AI yang kuat namun aman.