Mistral 7B v0.2: Model Bahasa Sumber Terbuka yang Menakjubkan

Pengenalan Mistral 7B v0.2: Terobosan dalam Pemrosesan Bahasa Mistral AI meluncurkan Mistral 7B v0.2, model bahasa sumber terbuka yang menghadirkan kemajuan signifikan dalam pemrosesan bahasa alami. Model ini mengungguli model lain dalam hal kinerja dan efisiensi, menunjukkan peran penting proyek sumber terbuka dalam mendemokratisasi teknologi AI. Fitur Unggulan Mistral 7B v0.2 Jendela konteks yang diperluas dari 8k menjadi 32k token Parameter Theta Rope yang disempurnakan Penghapusan perhatian jendela geser Peningkatan ini memungkinkan Mistral 7B v0.2 memproses dan memahami urutan teks yang lebih panjang dengan koherensi dan relevansi yang lebih tinggi, yang penting untuk aplikasi mulai dari ringkasan dokumen hingga tanya jawab bentuk panjang. Kinerja Luar Biasa: Mengungguli Pesaing Mistral 7B v0.2 mengungguli Llama-2 13B dalam semua tugas dan bersaing dengan model yang lebih besar seperti Llama-1 34B meskipun memiliki parameter yang lebih sedikit. Kemampuannya dalam tugas pengkodean mendekati model khusus s

Perbandingan Aplikasi AI: ChatGPT vs Perplexity AI

ChatGPT Apa itu ChatGPT? Platform AI yang dikenal dengan kemampuan percakapan AI. Menggunakan model Generative Pre-trained Transformer untuk menghasilkan respons teks seperti manusia. Terlibat dalam dialog yang koheren dan relevan secara kontekstual. Fitur Utama: Kemampuan AI Percakapan Interaksi Multimodal Integrasi DALL-E Pembuatan Konten GPT Kustom Pembaruan Reguler Kelebihan: Kemampuan percakapan yang serbaguna Fungsionalitas multimodal Pembuatan konten kreatif Kemudahan penggunaan Pembaruan berkala Opsi penyesuaian Kekurangan: Sifat generalis dapat mengabaikan kedalaman Fitur multimodal yang berkembang Kekhawatiran privasi dengan data pelatihan Respons yang terkadang tidak akurat Perplexity AI Apa itu Perplexity AI? Mesin pencari dan chatbot AI yang dirancang untuk memberikan jawaban yang akurat dan komprehensif. Menggunakan NLP dan teknologi pembelajaran mesin. Menyediakan informasi terkini dari berbagai sumber. Menampilkan kutipan sumber untuk respons. Fitur Utama: Pencarian Web Real-time Kutipan Sumbe

Transformasi Strategi Media: Kuasai Pembuatan Video AI HeyGen

Pengantar HeyGen: Pergeseran Paradigma dalam Produksi Video HeyGen adalah puncak teknologi pembuatan video berbasis AI. Ini memungkinkan pengguna membuat video tingkat studio dengan perwakilan AI yang nyata dengan cepat. Mengapa HeyGen Harus Menjadi Alat Pilihan Anda untuk Konten Video? Kesederhanaan dalam Pengoperasian: HeyGen menyederhanakan produksi video. Desainnya yang ramah pengguna memastikan bahwa bahkan mereka yang tidak memiliki latar belakang teknis dapat membuat video AI dengan mudah. Opsi Kustomisasi yang Belum Pernah Ada Sebelumnya: Dengan banyak pilihan avatar AI yang sangat realistis dan pengaturan seperti studio, HeyGen memungkinkan kustomisasi penuh untuk mencerminkan identitas merek Anda dengan mulus. Perputaran Produksi yang Efisien: Lupakan proses produksi video tradisional yang berkepanjangan. HeyGen memberikan video berkualitas premium dengan cepat, ideal untuk rilis konten yang tepat waktu. Jangkauan Global dengan Dukungan Multibahasa: Perluas daya tarik konten Anda di seluruh dunia de

Inisiatif CZI Luncurkan Grup Penasihat AI dan Program Residensi untuk Percepat Pengembangan Model Sel Virtual

Grup Penasihat AI Inisiatif Chan Zuckerberg (CZI) mengumumkan beberapa penunjukan penting dan program residensi AI baru untuk memajukan strategi AI organisasi untuk sains, yang berfokus pada pembangunan model prediktif untuk sel sehat dan berpenyakit. Beberapa pakar AI dari akademisi dan industri telah bergabung dengan Grup Penasihat AI yang baru dibentuk, yang akan membimbing para pemimpin di CZI dan seluruh Jaringan Chan Zuckerberg Biohub saat organisasi-organisasi ini bekerja untuk mengaktifkan AI dalam skala besar untuk penelitian ilmu hayati nirlaba. Grup Penasihat AI yang baru dibentuk ini, yang terdiri dari beberapa anggota Dewan Penasihat Ilmiah CZI dan Dewan Direksi Chan Zuckerberg Biohub, akan memberikan panduan dan umpan balik lintas disiplin kepada tim kepemimpinan senior di CZI dan seluruh Jaringan CZ Biohub. Para penasihat ini memiliki keahlian mendalam dalam memanfaatkan model dan metode AI/ML untuk memajukan penelitian ilmiah: Sam Altman, CEO OpenAI Regina Barzilay, Profesor Terkemuka untuk AI

7 GPT yang Mengubah Permainan bagi Pengusaha

Dalam dunia kecerdasan buatan (AI) yang berkembang pesat, pengusaha berada di garis depan inovasi dan efisiensi. Munculnya transformator terlatih awal generatif (GPT) telah memperkenalkan banyak alat yang dirancang untuk menyederhanakan perjalanan kewirausahaan. Di antara kemajuan ini, tujuh aplikasi GPT menonjol, menjanjikan dampak yang signifikan pada cara pengusaha beroperasi, menganalisis data, dan mengomunikasikan ide-ide mereka. Visualisasi Data Data Analyst: Alat ini memungkinkan pengusaha mengunggah file untuk visualisasi data instan. Aplikasi ini menyederhanakan proses memahami metrik bisnis, memberikan pengguna gambaran yang jelas tentang kinerja dan area yang perlu diperhatikan. Pembuatan Slide Slide Creator: Alat ini muncul sebagai alat kedua yang sangat diperlukan. Menyadari sifat presentasi PowerPoint yang ada di mana-mana di dunia bisnis, Slide Creator menawarkan solusi efisien untuk membuat slide yang menarik, menghemat waktu dan energi yang berharga yang dapat dialihkan ke tugas yang lebih pe

Pengodean yang Peduli Konteks untuk Meningkatkan Kemampuan Bahasa Model dalam Memperhatikan Konteks

Pengantar Bahasa model (LM) telah menunjukkan efektivitasnya yang luar biasa dalam menghasilkan kelanjutan yang koheren dan lancar dari sebuah petunjuk atau awalan dokumen. Dalam langkah pembuatan teks, mereka biasanya bergantung pada dua sumber pengetahuan: Pengetahuan sebelumnya: Dipelajari selama prapelatihan dan disimpan secara implisit dalam parameter model. Pengetahuan konteks: Diteruskan sebagai input dalam konteks awalan. Namun, masih menjadi pertanyaan terbuka bagaimana LM yang telah dilatih sebelumnya, khususnya LM vanilla tanpa penyesuaian halus khusus tugas, menyeimbangkan kedua sumber pengetahuan ini selama pembuatan. LM sering kali memerlukan bantuan untuk memberikan perhatian yang cukup pada konteks input dan menghasilkan teks yang tidak sesuai atau berisi halusinasi. Masalah dengan Perhatian Konteks Penelitian sebelumnya menunjukkan bahwa LM perlu memberikan perhatian lebih pada informasi baru yang diperkenalkan dalam pengetahuan konteks. Hal ini dapat menyebabkan halusinasi dalam peringkasan,

InternLM2: Model Bahasa Besar Sumber Terbuka dengan Performa Luar Biasa

Pendahuluan Dalam lanskap kecerdasan buatan yang terus berkembang, pencarian model bahasa yang lebih canggih dan mumpuni telah menjadi pendorong utama. Para peneliti di Shanghai AI Laboratory, SenseTime Group, The Chinese University of Hong Kong, dan Fudan University telah meluncurkan InternLM2, sebuah pencapaian sumber terbuka yang luar biasa dalam Model Bahasa Besar (LLM). Inovasi InternLM2 Model Encoder-Decoder yang Dapat Digunakan Kembali InternLM2 menggunakan metode inovatif untuk membangun model encoder-decoder dengan modul decoder yang dapat digunakan kembali. Modul-modul ini dapat diterapkan secara mulus di berbagai tugas pembuatan urutan, mulai dari terjemahan mesin dan pengenalan ucapan otomatis hingga pengenalan karakter optik. Kerangka Pelatihan InternEvo InternLM2 menggunakan kerangka pelatihan canggih yang disebut InternEvo, yang memungkinkan pelatihan model yang efisien dan terukur di ribuan GPU. Kerangka ini memanfaatkan kombinasi paralelisme data, tensor, urutan, dan saluran, ditambah dengan

Ratchet: Toolkit Pengembang Machine Learning Lintas Platform Berbasis Web

Integrasi AI dalam Pengembangan Aplikasi Integrasi kecerdasan buatan (AI) ke dalam aplikasi menjadi kebutuhan bagi pengembang yang ingin tetap unggul. Namun, membuat AI bekerja mulus dengan platform web dan seluler membutuhkan upaya. Masalah seperti kompatibilitas antar perangkat, kebutuhan komputasi efisien tanpa menguras sumber daya, dan kompleksitas penerapan model AI membuat prosesnya menakutkan. Pengembang sering kali membutuhkan bantuan untuk menyeimbangkan kinerja dan kemudahan penggunaan, terutama saat memasukkan model machine learning (ML) canggih ke dalam aplikasi mereka. Ratchet: Toolkit ML Lintas Platform Saat ini, solusi tersedia untuk menjembatani kesenjangan antara model AI dan pengembangan aplikasi. Alat dan kerangka kerja ini bertujuan untuk menyederhanakan proses integrasi, menawarkan berbagai tingkat dukungan untuk bahasa pemrograman, akselerasi perangkat keras, dan kompatibilitas model AI. Namun, banyak dari solusi ini perlu ditingkatkan di area tertentu, seperti membutuhkan sumber daya ko

Menguasai Teknik Prompt Engineering di ChatGPT

Memahami ChatGPT dan Fondasinya ChatGPT adalah model berbasis transformator yang menggunakan pembelajaran mesin untuk memprediksi kata berikutnya dalam sebuah kalimat dan menghasilkan teks. Kemampuan prediktif ini dimanfaatkan melalui teknik prompt engineering, di mana prompt memandu prediksi model. Misalnya, prompt yang dimulai dengan “Matahari itu…” dapat mengarahkan ChatGPT untuk memprediksi kata berikutnya sebagai ‘bersinar’ atau ‘terbit’, menunjukkan kemampuan model untuk menghasilkan kalimat yang koheren dan relevan secara kontekstual. Cara Membuat Prompt yang Efektif Teknik prompt engineering yang efektif berfokus pada kejelasan, konteks, presisi, dan terkadang bermain peran. Prinsip-prinsip ini memastikan bahwa ChatGPT menghasilkan respons akurat yang sesuai dengan maksud pengguna. Berikut cara menerapkan prinsip-prinsip ini: Kejelasan: Prompt harus jelas. Misalnya, alih-alih mengatakan, “Ceritakan tentang anjing,” tentukan, “Berikan deskripsi rinci tentang karakteristik, perilaku, dan perawatan yang

AgentStudio: Toolkit Terbuka untuk Mengembangkan Agen Serbaguna yang Mampu Beroperasi di Dunia Digital

Pengantar Dalam lanskap digital yang berkembang pesat, upaya untuk mengembangkan agen virtual otonom yang mampu menavigasi hamparan luas alat perangkat lunak telah menarik perhatian para peneliti dan penggemar teknologi. Namun, upaya ini terhambat oleh kendala yang besar—kelangkaan infrastruktur komprehensif untuk membangun dan mengevaluasi agen di lingkungan dunia nyata dan kebutuhan mendesak untuk menilai kemampuan fundamental mereka secara holistik. AgentStudio: Toolkit Pengembangan Agen AgentStudio adalah toolkit online inovatif yang siap merevolusi pengembangan agen. Inti dari AgentStudio terletak pada kemampuannya untuk melampaui batasan tradisional dengan menawarkan ruang observasi dan tindakan universal yang kompatibel dengan antarmuka manusia-komputer dan pemanggilan fungsi. Fitur inovatif ini memberdayakan agen untuk berinteraksi secara mulus dengan perangkat lunak apa pun, memperluas ruang tugas potensial ke tingkat yang belum pernah terjadi sebelumnya. Selain itu, AgentStudio lebih jauh membekali

Pemisahan Instruksi-Data dalam LLM: Studi Perlindungan AI dari Manipulasi dengan Dataset SEP (Harus Dieksekusi atau Diproses?)

Pendahuluan dan Evaluasi Model Bahasa Besar (LLM) sangat penting untuk aplikasi kecerdasan buatan modern, menyediakan kecerdasan komputasi yang diperlukan untuk memahami dan menghasilkan teks seperti manusia. Model-model ini sangat penting di berbagai bidang, mulai dari mengaktifkan fungsionalitas mesin pencari tingkat lanjut hingga membuat solusi khusus untuk industri tertentu melalui pemrosesan bahasa alami. Fleksibilitas dan kemampuan adaptasi LLM untuk memahami instruksi dalam bentuk bahasa alami menjadi inti dari adopsi luas mereka. Kekhawatiran signifikan yang membayangi kemajuan teknologi LLM adalah memastikan model-model ini beroperasi dengan aman dan sesuai tujuan, terutama saat berinteraksi dengan banyak sumber data, yang beberapa di antaranya mungkin perlu lebih andal. Inti dari masalah ini terletak pada kemampuan model untuk membedakan antara perintah yang seharusnya mereka jalankan dan data yang seharusnya mereka proses. Tidak adanya batas yang jelas antara kedua aspek ini dapat menyebabkan model

Pollen-Vision: Perpustakaan Kecerdasan Buatan yang Memberdayakan Robot dengan Otonomi untuk Menggenggam Objek yang Tidak Dikenal

Pendahuluan Di era di mana robotika dan kecerdasan buatan (AI) berpadu untuk meningkatkan kemampuan teknologi, sebuah pengembangan terobosan telah muncul, menjanjikan untuk mendefinisikan ulang cara robot memandang dan berinteraksi dengan lingkungan mereka. Perkenalkan perpustakaan Pollen-Vision yang menawarkan antarmuka terpadu untuk model visi Zero-Shot yang dirancang khusus untuk robotika. Perpustakaan sumber terbuka yang inovatif ini bukan sekadar kemajuan; ini adalah transformasi yang akan memberdayakan robot dengan perilaku otonom yang tak tertandingi. Lompatan Visi Inti Pollen-Vision terletak pada pendekatan revolusionernya terhadap persepsi visual dalam robotika. Secara tradisional, kemampuan robot untuk memahami dan menavigasi lingkungan mereka terhambat oleh kebutuhan akan pelatihan dan data yang ekstensif untuk mengenali objek dan melakukan tugas. Namun, Pollen-Vision menghilangkan hambatan ini dengan menggabungkan model zero-shot, memungkinkan penggunaan langsung tanpa perlu pelatihan sebelumnya.

Model Bahasa Besar Berorientasi Bahasa Jepang: RakutenAI-7B

Pengantar Model Pemrosesan Bahasa Alami (NLP) sangat penting untuk berbagai aplikasi, mulai dari layanan terjemahan hingga asisten virtual. Model-model ini meningkatkan kemampuan untuk memahami dan menghasilkan respons seperti manusia. Model-model ini menjadi semakin canggih dan menawarkan pemahaman dan kemampuan interaksi yang bernuansa seiring kemajuan teknologi. Tantangan dalam NLP Bahasa Jepang Tantangan yang terus berlanjut dalam NLP adalah pengembangan model yang dapat memahami dan menghasilkan teks dalam bahasa selain bahasa Inggris, seperti bahasa Jepang. Meskipun ada kemajuan dalam LLM, banyak bahasa yang masih kurang terwakili dalam hal sumber daya yang tersedia untuk melatih model-model ini. Kesenjangan sumber daya ini menyebabkan model yang tidak dapat menangani nuansa bahasa dengan skrip atau struktur tata bahasa yang kompleks, yang memengaruhi kualitas teks yang dihasilkan mesin dan pemahaman model terhadap bahasa tersebut. RakutenAI-7B: Suite LLM Berorientasi Bahasa Jepang Para peneliti Rakuten

Kecerdasan Buatan dalam Pemerintahan Federal: Alasan Pembuat Keputusan Harus Bekerja Sama dengan Ilmuwan Data di Tahun 2024

Pengantar Penelitian terbaru dari Info-Tech Research Group mengungkap kesenjangan kritis dalam pemahaman pemimpin TI pemerintah tentang potensi AI dan tantangan yang dihadapi dalam memanfaatkannya secara efektif. Dengan kerangka kerja praktis dan kasus penggunaan di dunia nyata, perusahaan ini bertujuan untuk memberdayakan pemimpin TI di sektor publik untuk mengatasi hambatan dan mengimplementasikan solusi AI secara strategis untuk era digital. Tantangan dalam Mengadopsi AI di Pemerintahan Federal Kekurangan privasi data Kekhawatiran keamanan Kompleksitas memodernisasi sistem lama Kurangnya strategi implementasi AI yang kuat Pentingnya Kolaborasi antara Pembuat Keputusan dan Ilmuwan Data Ilmuwan data dapat membantu pemimpin TI memahami potensi AI dan mengidentifikasi kasus penggunaan yang relevan. Kolaborasi dapat mengatasi kesenjangan dalam pemahaman dan memfasilitasi implementasi AI yang efektif. Kasus Penggunaan AI untuk Pemerintahan Federal Dukungan Keputusan Kebijakan Menganalisis dampak kebijakan imigra

Kecerdasan Buatan (AI) Belum Akan Menggantikan Pekerjaan Anda… Untuk Saat Ini!

Temuan Utama 87% responden survei yakin bahwa sebagian besar peran tidak akan digantikan oleh AI. Laporan baru menemukan bahwa peran teknis teratas masih membutuhkan keterampilan manusia untuk sukses di tempat kerja. TripleTen: Bootcamp Online untuk Karier di Industri Teknologi TripleTen, sebuah bootcamp online bagi mereka yang ingin beralih ke karier di industri teknologi, telah merilis laporan data baru berjudul “Memasuki Teknologi: Rahasia Sukses bagi Pengusaha.” Dalam analisis ekstensif yang dilakukan oleh TripleTen, lebih dari 1.000 pengusaha disurvei untuk mengumpulkan wawasan tentang praktik perekrutan dan preferensi mereka untuk peran teknologi pada tahun 2024. Secara lebih spesifik, laporan ini menawarkan wawasan berharga tentang sikap pengusaha terhadap perekrutan lulusan bootcamp dan lanskap industri teknologi yang terus berkembang. Temuan utama dari laporan ini menggarisbawahi kepercayaan yang meningkat di kalangan pengusaha dalam merekrut kandidat dari latar belakang pendidikan non-tradisional. S

Dukungan Publik yang Besar untuk Regulasi Kecerdasan Buatan oleh Pemerintah

Saat Satuan Tugas Kecerdasan Buatan (AI) DPR mempertimbangkan bagaimana pemerintah harus mengatasi masalah AI, seperti deepfake dalam pemilu dan bias dalam algoritma, sebuah survei baru yang dilakukan oleh Program Konsultasi Publik di Sekolah Kebijakan Publik Universitas Maryland menemukan dukungan bipartisan yang sangat besar untuk memberikan pemerintah federal wewenang luas untuk mengatur AI. Mereka mendukung tujuh usulan yang saat ini sedang dipertimbangkan di Kongres dan Cabang Eksekutif untuk mengatur deepfake yang dihasilkan AI dan pengambilan keputusan AI yang berpotensi merugikan. Berita AI Teratas: Vonage mengumumkan Kemampuan AI Generatif Lanjutan untuk Meningkatkan Perdagangan Percakapan secara Internasional PBB menyetujui resolusi yang dipimpin AS untuk memastikan AI tidak melanggar hak asasi manusia Pemilih mendukung AS untuk bekerja membangun lembaga internasional guna mengatur proyek AI skala besar dan membuat perjanjian internasional yang melarang senjata yang dikendalikan AI Untuk memastikan

Peneliti dari Google DeepMind dan Stanford Memperkenalkan Penilai Faktualitas yang Disempurnakan dengan Pencarian (SAFE): Meningkatkan Evaluasi Faktualitas pada Model Bahasa Besar

Pendahuluan Memahami dan meningkatkan faktualitas tanggapan yang dihasilkan oleh model bahasa besar (LLM) sangat penting dalam penelitian kecerdasan buatan. Domain ini menyelidiki seberapa baik model-model ini dapat mematuhi kebenaran saat menjawab pertanyaan terbuka yang mencari fakta di berbagai topik. Terlepas dari kemajuannya, LLM sering kali perlu bekerja untuk menghasilkan konten yang tidak mengandung ketidakakuratan faktual karena menimbulkan masalah keandalan yang signifikan dalam aplikasi dunia nyata di mana informasi yang akurat sangat penting. Pendekatan yang Ada Pendekatan yang ada untuk menilai faktualitas konten yang dihasilkan model biasanya bergantung pada evaluasi manusia secara langsung. Meskipun berharga, proses ini secara inheren dibatasi oleh subjektivitas dan variabilitas penilaian manusia serta tantangan skalabilitas dalam menerapkan tenaga manusia pada kumpulan data atau model yang besar. Akibatnya, terdapat kebutuhan akan metode yang lebih otomatis dan objektif untuk menilai keakurata

Memproduksi Ulang Pekerjaan RLHF OpenAI: Implementasi dan Skala yang Dieksplorasi

Pendahuluan Model bahasa besar (LLM) yang telah dilatih sebelumnya telah mengalami perkembangan pesat dalam beberapa tahun terakhir. LLM ini dilatih untuk memprediksi token berikutnya berdasarkan token sebelumnya dan memberikan perintah yang sesuai. Mereka dapat menyelesaikan berbagai tugas pemrosesan bahasa alami (NLP). Namun, tujuan prediksi token berikutnya menyimpang dari tujuan mendasar “menghasilkan konten yang disukai manusia”. Reinforcement Learning from Human Feedback (RLHF) Untuk mengatasi kesenjangan ini, Reinforcement Learning from Human Feedback (RLHF) diperkenalkan sebagai saluran untuk mengumpulkan preferensi manusia berpasangan, melatih model hadiah (RM) untuk memodelkan preferensi ini, dan menggunakan Reinforcement Learning (RL) untuk membuat model yang menghasilkan konten yang disukai manusia. Reproduksi RLHF OpenAI Mereproduksi saluran RLHF OpenAI dalam komunitas sumber terbuka terbukti menantang karena beberapa alasan: RL dan RLHF memiliki banyak detail implementasi halus yang dapat berdam

Qwen1.5-MoE-A2.7B: Model MoE Ringkas dengan Hanya 2,7 Miliar Parameter Aktif yang Menyamai Performa Model Canggih 7B seperti Mistral 7B

Pendahuluan Arsitektur Mixture of Experts (MoE) telah menjadi sangat populer akhir-akhir ini dengan dirilisnya model Mixtral. Mendalami studi model MoE, tim peneliti dari tim Qwen, Alibaba Cloud, telah memperkenalkan Qwen1.5, yang merupakan versi perbaikan dari Qwen, seri Large Language Model (LLM) yang mereka kembangkan. Qwen1.5-MoE-A2.7B: Model MoE Ringkas dengan Performa Luar Biasa Qwen1.5-MoE-A2.7B telah mewakili kemajuan penting dan berkinerja setara dengan model 7B kelas berat seperti Mistral 7B dan Qwen1.5-7B, bahkan dengan hanya 2,7 miliar parameter aktifnya. Ini adalah penerus Qwen1.5-7B, dengan pengurangan jumlah parameter aktivasi sekitar sepertiga, yang berarti pengurangan biaya pelatihan sebesar 75%. Ini menunjukkan peningkatan kecepatan inferensi sebesar 1,74 kali lipat, menunjukkan peningkatan efisiensi sumber daya yang signifikan tanpa mengorbankan performa. Optimalisasi Inovatif dalam Arsitektur MoE Arsitektur Qwen1.5-MoE-A2.7B adalah contoh pemikiran kreatif dan optimasi yang baik. Peningkat

Suara yang Tak Terbedakan: Di Balik Mesin Suara OpenAI

Pendahuluan OpenAI telah menjadi yang terdepan dalam teknologi suara sintetis di lanskap kecerdasan buatan yang berkembang pesat. Baru-baru ini, organisasi tersebut membagikan wawasan dari pratinjau skala kecil inovasi terbarunya, Voice Engine. Model canggih ini menunjukkan kemampuan untuk menghasilkan suara yang terdengar alami yang menyerupai pembicara asli, hanya menggunakan input teks dan satu sampel audio 15 detik. Implikasi dari teknologi tersebut sangat luas, menjanjikan masa depan di mana suara digital tidak dapat dibedakan dari suara manusia. Aplikasi Transformatif Voice Engine Pengujian awal OpenAI, yang dilakukan dengan sekelompok kecil mitra tepercaya, telah mengungkap potensi aplikasi Voice Engine di berbagai sektor: Pendidikan: Voice Engine telah digunakan oleh Age of Learning untuk menghasilkan suara emotif dan terdengar alami untuk bantuan membaca, melayani non-pembaca dan anak-anak. Aplikasi ini menyoroti kapasitas model untuk meningkatkan konten dan interaksi pendidikan. Komunikasi Global: P

Model Bahasa Jaringan Saraf “Bahasa Inggris Dunia” untuk Asisten Virtual Perangkat

Pendahuluan Pengembangan Model Bahasa Jaringan Saraf (NNLM) untuk Asisten Virtual (VA) perangkat merupakan kemajuan signifikan dalam teknologi. Biasanya, model-model ini disesuaikan dengan bahasa, wilayah, dan bahkan perangkat tertentu, yang menimbulkan tantangan besar dalam hal skalabilitas dan pemeliharaan. Model Bahasa Inggris Dunia Peneliti dari AppTek GmbH dan Apple mengatasi masalah ini dengan mempelopori NNLM “Bahasa Inggris Dunia” yang menggabungkan berbagai dialek bahasa Inggris menjadi satu model yang kohesif. Pendekatan inovatif ini bertujuan untuk meningkatkan efisiensi asisten virtual dan memperluas aksesibilitas serta kegunaannya bagi lebih banyak pengguna. Modul Adaptor Aspek penting dari penelitian ini adalah eksplorasi modul adaptor sebagai sarana untuk meningkatkan pemodelan karakteristik dialek tertentu dalam model bahasa. Modul-modul ini menawarkan alternatif yang lebih efisien untuk pendekatan tradisional, yang membutuhkan lebih sedikit parameter untuk menangkap nuansa dialek yang berbeda

Masa Depan Sudah Tiba: Menjelajahi Inovasi AI Bersama Ryan Johnson dari CallRail

Penggunaan AI dalam Meningkatkan Konversi Ryan Johnson, Chief Product Officer di CallRail Apakah panggilan telepon masih relevan dalam aktivitas pemasaran? Apa peran solusi AI dalam konversi? Ke mana arah perkembangan pesat model AI baru? AI telah menjadi bagian penting dalam dunia pemasaran, membantu bisnis meningkatkan konversi dan menghasilkan prospek yang lebih baik. CallRail memanfaatkan AI dalam produk mereka untuk menganalisis percakapan telepon, memberikan ringkasan yang ringkas, dan mengoptimalkan prospek melalui tindak lanjut otomatis. Inovasi AI di CallRail CallRail terus berinovasi dalam AI melalui program CallRail Labs. Program ini mengundang pelanggan untuk memberikan umpan balik tentang penggunaan AI suara dan menguji fitur produk baru. Tujuannya adalah untuk memastikan CallRail tetap fokus pada solusi tantangan bisnis nyata dan menciptakan cara baru bagi bisnis untuk terlibat dengan pelanggan. Layanan Premium Conversation Intelligence AI Layanan Premium Conversation Intelligence AI dari CallRa

OpenFoundry: Platform AI Open Source untuk Pengembang

Mengembangkan dan mengoptimalkan model AI membutuhkan banyak pekerjaan karena pengembang sering kali kesulitan mengidentifikasi model yang tepat untuk kebutuhan spesifik mereka. Mengembangkan solusi AI ini bisa jadi menantang dan memakan waktu untuk proyek open source. Banyak pengembang kesulitan mengatasi alat yang lebih ramah pengguna daripada yang mereka perlukan. OpenFoundry adalah platform kecerdasan buatan open source yang dapat membantu pengembang mengidentifikasi model optimal untuk kasus penggunaan mereka, membuat prototipe dan menyempurnakannya dengan cepat, dan bahkan menerapkannya dengan cepat ke cloud. Bayangkan Anda memiliki proyek open source dan Hugging Face, platform populer untuk solusi AI. Itulah pernyataan misi OpenFoundry. Tantangan dan Solusi OpenFoundry Pengembang yang menggunakan AI open source menghadapi kesulitan yang diatasi oleh OpenFoundry. Strategi dua cabang mereka terdiri dari platform pengembang dan komunitas yang aktif. Platform mereka mempermudah pembuatan dan penerapan mode

Kerangka Kerja Pembelajaran Mesin Terpadu untuk Pembelajaran Berkelanjutan (CL)

Pembelajaran Berkelanjutan (CL) CL berfokus pada perolehan pengetahuan dari distribusi data yang berubah secara dinamis. Teknik ini meniru skenario dunia nyata dan membantu meningkatkan kinerja model saat menemukan data baru sambil mempertahankan informasi sebelumnya. Tantangan Pembelajaran Berkelanjutan CL menghadapi tantangan yang disebut pelupaan bencana, di mana model melupakan atau menimpa pengetahuan sebelumnya saat mempelajari informasi baru. Metode untuk Mengatasi Pelupaan Bencana Peneliti telah memperkenalkan berbagai metode untuk mengatasi keterbatasan CL ini, seperti: Teknik berbasis Bayesian Solusi berbasis regularisasi Metodologi berorientasi pemutaran ulang memori Kerangka Kerja Terpadu untuk CL Dalam penelitian ini, para peneliti dari University of Maryland, College Park, dan JD Explore Academy telah memperkenalkan kerangka kerja terpadu dan umum untuk CL yang mencakup dan mendamaikan metode yang ada. Mekanisme Pembelajaran Penyegaran Peneliti telah memperkenalkan mekanisme pembelajaran penyega

Dampak Kompresi Model pada Kekokohan Subgrup dalam Model Bahasa BERT

Model bahasa besar (LLM) memiliki tuntutan komputasi yang tinggi, sehingga menghambat adopsi mereka di berbagai sektor. Hal ini mengalihkan perhatian ke teknik kompresi yang dirancang untuk mengurangi ukuran model dan kebutuhan komputasi tanpa mengorbankan kinerja secara signifikan. Peralihan ini sangat penting dalam Pemrosesan Bahasa Alami (NLP), memfasilitasi aplikasi dari klasifikasi dokumen hingga agen percakapan tingkat lanjut. Kekokohan Subgrup dalam Model Terkompresi Kekhawatiran yang mendesak dalam transisi ini adalah memastikan model terkompresi mempertahankan kekokohan terhadap subgrup minoritas dalam kumpulan data yang ditentukan oleh label dan atribut tertentu. Metode Kompresi Penelitian sebelumnya berfokus pada Distilasi Pengetahuan, Pemangkasan, Kuantisasi, dan Transfer Kosakata, yang bertujuan untuk mempertahankan esensi model asli dalam ukuran yang jauh lebih kecil. Upaya serupa telah dilakukan untuk mengeksplorasi efek kompresi model pada kelas atau atribut dalam gambar, seperti kelas yang ti

Peningkatan Model Bahasa OpenAI dengan Pelatihan Isi-di-Tengah: Jalan Menuju Kemampuan Isi yang Canggih

Model bahasa berbasis transformer, seperti BERT dan T5, mahir dalam berbagai tugas tetapi kesulitan dengan pengisian—menghasilkan teks di lokasi tertentu sambil mempertimbangkan konteks sebelumnya dan sesudahnya. Meskipun model encoder-decoder dapat menangani sufiks, data pelatihan mereka biasanya mencakup wilayah isi yang lebih pendek daripada yang praktis. Namun, model berbasis decoder kausal, seperti GPT-3 dan penerusnya, unggul dalam pembuatan teks terbuka dan pembelajaran dalam konteks tanpa penyesuaian tugas khusus. Meskipun memiliki keterbatasan dalam pengisian, model-model ini banyak digunakan dalam aplikasi seperti bantuan pengkodean untuk tugas-tugas seperti pembuatan docstring atau pernyataan impor karena kesederhanaan dan efisiensinya. Peneliti OpenAI menunjukkan bahwa model bahasa autoregresif dapat secara efektif mempelajari cara mengisi teks dengan menggeser sebagian dari tengah ke akhir dokumen. Proses ini, yang dikenal sebagai “isi-di-tengah” (FIM), tidak mengorbankan kemampuan generatif kiri

Jamba: Model Bahasa Besar Hibrida SSM-Transformer Inovatif dari AI21 Labs

Inovasi di Balik Jamba Jamba menggabungkan arsitektur Mamba dan Transformer untuk mengatasi keterbatasan masing-masing sistem sekaligus memanfaatkan kekuatannya. Tidak seperti model konvensional yang didasarkan pada arsitektur Transformer, seperti GPT, Gemini, dan Llama, Jamba menggunakan pendekatan hibrida. Jamba memiliki jendela konteks yang luar biasa sebesar 256K token, setara dengan sekitar 210 halaman teks, dan dapat memuat hingga 140K token pada satu GPU 80GB. Kemampuan ini jauh melampaui standar saat ini, seperti Llama 2 milik Meta yang hanya mengelola jendela konteks 32.000 token. Arsitektur hibrida Jamba menggabungkan lapisan Transformer, Mamba, dan campuran ahli (MoE), mengoptimalkan memori, throughput, dan kinerja. Model ini beroperasi berdasarkan prinsip yang memanfaatkan lapisan campuran ahli untuk menggunakan hanya 12B dari 52B parameter yang tersedia selama inferensi, sehingga meningkatkan efisiensi tanpa mengorbankan kekuatan atau kecepatan model. Throughput dan Efisiensi yang Belum Pernah Ad

Penyesalan Agen LLM: Studi Kasus Pembelajaran dan Permainan Daring dari MIT dan University of Maryland

Model Bahasa Besar (LLM) dan Pembuatan Keputusan LLM telah banyak digunakan untuk pembuatan keputusan (interaktif) melalui pengembangan model agen berbasis LLM. Dalam beberapa tahun terakhir, LLM telah menunjukkan keberhasilan luar biasa dalam AI yang diwujudkan, ilmu alam, dan aplikasi ilmu sosial. LLM juga menunjukkan potensi luar biasa dalam menyelesaikan berbagai permainan. Keberhasilan empiris yang menarik ini memerlukan pemeriksaan dan pemahaman yang cermat melalui lensa teoretis pembuatan keputusan. Penyesalan sebagai Metrik Kinerja Namun, kinerja agen LLM dalam pengambilan keputusan belum diselidiki secara menyeluruh melalui metrik kuantitatif, terutama dalam pengaturan multi-agen ketika mereka berinteraksi satu sama lain, skenario umum dalam aplikasi agen LLM di dunia nyata. Oleh karena itu, wajar untuk bertanya: Apakah mungkin untuk memeriksa dan lebih memahami perilaku pengambilan keputusan daring dan strategis LLM melalui lensa penyesalan? Arsitektur Berprinsip untuk Agen LLM Kemampuan LLM yang me

Pengenalan Kognitiv Amplify: Alat AdTech AI Asli untuk Kampanye Lintas Saluran

Mesin Teknologi AI yang Mendorong Kognitiv Amplify Kognitiv Amplify didukung oleh mesin AI milik Kognitiv, Kognition, yang menggabungkan ratusan model AI/ML termasuk nilai umur pelanggan, kecenderungan, churn, dan banyak lagi, untuk memberikan personalisasi satu-ke-satu dalam skala besar. Kognition mengevaluasi jutaan atribut, memprediksi perilaku pelanggan di masa mendatang, dan menetapkan interaksi sempurna untuk setiap pelanggan guna memenuhi tujuan bisnis yang telah ditentukan sebelumnya oleh merek. Peran AI dalam Memaksimalkan ROAS dan Menurunkan CPA Kognitiv Amplify menghadirkan perencanaan, eksekusi, dan optimalisasi berbasis hasil ke media berbayar dengan mendorong relevansi dan meningkatkan konversi dengan personalisasi hiper yang didukung AI, otomatisasi alur kerja lintas saluran, dan optimalisasi waktu nyata. Kesimpulan Kognitiv menginspirasi loyalitas seumur hidup dengan membantu merek membangun hubungan yang lebih dalam dengan pelanggan mereka. Platform SaaS omnichannel mereka yang cerdas memberi

Vonage Tingkatkan Perdagangan Percakapan dengan Kemampuan AI Generatif yang Canggih

Bantuan Langsung dengan Dukungan AI Kemampuan baru yang didukung AI ini menyediakan bantuan dalam interaksi obrolan langsung, membantu agen menyesuaikan respons mereka dan memberikan layanan pelanggan yang lebih baik secara real-time. Dengan meningkatkan dan mempercepat respons obrolan langsung kepada pelanggan, serta menyempurnakan fungsionalitas untuk memastikan komunikasi yang tepat dengan memungkinkan agen menyempurnakan nada dan respons mereka, kekuatan AI membantu bisnis meningkatkan produktivitas agen dan efektivitas komunikasi secara keseluruhan. Templat Pemasaran WhatsApp untuk Produksi Konten Otomatis Penawaran baru ini juga mencakup generator konten, yang dirancang untuk membuat templat pemasaran berbasis WhatsApp yang memberdayakan merek untuk mempercepat dan menyederhanakan produksi konten pemasaran yang beragam dan secara signifikan mengurangi beban kerja tim pemasaran. Dengan secara signifikan mengurangi waktu dan sumber daya untuk membuat pesan pemasaran yang beragam, tim pemasaran lebih siap

Peningkatan Pengembangan Kendaraan Berbasis Perangkat Lunak oleh NXP dengan Platform Open S32 CoreRide

Pendahuluan NXP Semiconductors telah meluncurkan Platform Open S32 CoreRide untuk meningkatkan pengembangan kendaraan. Ini adalah platform pertama di industri yang menggabungkan pemrosesan, jaringan kendaraan, dan manajemen daya sistem dengan perangkat lunak terintegrasi untuk mengatasi kompleksitas, skalabilitas, efisiensi biaya, dan upaya pengembangan yang diperlukan untuk kendaraan generasi berikutnya. Platform S32 CoreRide Platform S32 CoreRide menyatukan komputasi S32 yang telah mapan, jaringan, manajemen daya sistem, dan perangkat lunak siap pakai dari ekosistem mitra perangkat lunak NXP yang luas. Perusahaan juga meluncurkan solusi S32 CoreRide pertamanya untuk komputasi sentral berdasarkan keluarga prosesor super-integrasi kendaraan S32N yang baru dari NXP. Ini menawarkan kombinasi pemrosesan aplikasi dan waktu nyata yang aman dan skalabel serta jaringan kendaraan. Manfaat Platform S32 CoreRide Integrasi dan konsolidasi perangkat keras dan perangkat lunak yang ditingkatkan Pembebasan dari gangguan ant

Peningkatan AI DevOps dengan Teknologi Komputasi Terdesentralisasi GPU dan NPU Generasi Baru

Fitur Baru yang Meningkatkan Komputasi Terdesentralisasi GPU dan NPU 0xGPU menawarkan fitur-fitur baru untuk meningkatkan komputasi terdesentralisasi GPU dan NPU. Fitur-fitur ini bertujuan untuk memanfaatkan kekuatan GPU untuk pelatihan dan inferensi AI yang dipercepat. Selain itu, proyek ini juga akan memberikan manfaat tambahan bagi pengguna yang berpartisipasi dalam ekosistem. Pendekatan Komputasi Berpusat pada GPU: Memungkinkan pemrosesan paralel tugas AI yang kompleks, mempercepat pengembangan AI untuk lembaga penelitian. Pembagian Pendapatan: Mendorong pengguna untuk mempertaruhkan token dan memperoleh penghasilan pasif sambil berkontribusi pada kekuatan komputasi jaringan. Manajemen Memori yang Efisien: Model AI dapat mengakses sumber daya yang diperlukan untuk kinerja optimal, memungkinkan bisnis memproses kumpulan data besar secara real-time. Integrasi Disk Penyimpanan: Mengelola kumpulan data dan file AI dengan aman, terutama untuk industri seperti perawatan kesehatan yang menangani data sensitif da

Sistem Operasi Agen LLM: AIOS, Otak Baru Sistem Operasi

Kecerdasan buatan (AI) telah membawa perubahan dinamis di berbagai sektor, terutama dengan penerapan agen otonom yang mampu beroperasi dan mengambil keputusan secara mandiri. Agen-agen ini, yang didukung oleh model bahasa besar (LLM), telah memperluas cakupan tugas yang dapat diotomatisasi secara signifikan, mulai dari pemrosesan data sederhana hingga skenario pemecahan masalah yang kompleks. Namun, seiring dengan berkembangnya kemampuan agen-agen ini, tantangan yang terkait dengan penerapan dan integrasinya juga meningkat. Dalam lanskap yang terus berkembang ini, hambatan utama adalah pengelolaan agen berbasis LLM yang efisien. Masalah utama berkisar pada alokasi sumber daya komputasi, pemeliharaan konteks interaksi, dan integrasi agen dengan berbagai kemampuan dan fungsi. Pendekatan tradisional sering kali menyebabkan kemacetan dan kurangnya pemanfaatan sumber daya, sehingga merusak potensi efisiensi dan efektivitas sistem cerdas ini. Sebuah tim peneliti dari Universitas Rutgers telah mengembangkan AIOS (Si

Bias Sistemik dalam Model Bahasa AI

Pendahuluan Peneliti dari Stanford Law School telah mengungkap bias dalam model bahasa besar (LLM) canggih, seperti GPT-4, terutama terkait ras dan gender. Bias ini berpotensi membahayakan, terutama saat memberikan saran dalam berbagai skenario, seperti negosiasi pembelian mobil atau prediksi hasil pemilu. Metodologi Audit Untuk mengatasi bias yang sulit diatasi dalam LLM, peneliti mengusulkan desain audit yang secara langsung memberikan skenario yang melibatkan individu bernama kepada LLM, dengan memvariasikan nama untuk menilai bias berdasarkan asosiasi ras dan gender. Hasil Hasil penelitian menunjukkan bias sistemik dalam keluaran LLM. Nama yang sangat terkait dengan etnis minoritas dan perempuan secara konsisten memiliki konsekuensi negatif di berbagai konteks. Konteks kualitatif memiliki efek beragam pada bias, sementara jangkar numerik secara efektif menghilangkan perbedaan dalam banyak situasi. Bias Interseksional dan Antar-LLM Penelitian ini juga menyelidiki bias interseksional, menunjukkan bahwa pere

TOXCL: Kerangka Kecerdasan Buatan Terpadu untuk Mendeteksi dan Menjelaskan Ujaran Beracun Implisit

Di media sosial, ujaran beracun dapat menyebar dengan cepat, menargetkan individu dan kelompok yang terpinggirkan. Meskipun ujaran kebencian yang eksplisit relatif mudah ditandai, ujaran beracun implisit yang mengandalkan stereotip dan bahasa berkode daripada penghinaan langsung merupakan tantangan yang lebih sulit. Bagaimana kita melatih sistem AI untuk tidak hanya mendeteksi ujaran beracun yang terselubung ini, tetapi juga menjelaskan mengapa ujaran tersebut berbahaya? Kerangka TOXCL Para peneliti di Nanyang Technological University, Singapura, National University of Singapore, dan Institute for Infocomm Research telah mengatasi masalah ini secara langsung dengan kerangka kerja baru yang disebut ToXCL, yang gambaran umumnya ditunjukkan pada Gambar 2. Tidak seperti sistem sebelumnya yang menggabungkan deteksi dan penjelasan ke dalam satu tugas pembuatan teks, ToXCL menggunakan pendekatan multi-modul, memecah masalah menjadi beberapa langkah. Modul-modul TOXCL Target Group Generator: Model pembuatan teks yang

AllHands: Kerangka Kerja Pembelajaran Mesin untuk Analisis Umpan Balik Skala Besar dengan Antarmuka Bahasa Alami

Di era digital saat ini, pengembang perangkat lunak dan tim produk dibanjiri umpan balik pengguna dari berbagai saluran – ulasan aplikasi, posting forum, komentar media sosial, dan banyak lagi. Kekayaan umpan balik verbatim ini memegang kunci untuk memahami pengalaman pengguna, mengidentifikasi titik kesulitan, dan mengungkap peluang untuk perbaikan. Namun, memilah ribuan ulasan berbasis teks di berbagai platform dan bahasa bisa sangat melelahkan dan memakan waktu, sering kali meninggalkan wawasan berharga yang terkubur di bawah banyaknya data. AllHands: Kerangka Kerja Analisis Umpan Balik yang Inovatif AllHands, kerangka kerja analitik terobosan yang dikembangkan oleh para peneliti dari Microsoft, ZJU-UIUC Institute, dan National University of Singapore, menjanjikan untuk merevolusi cara kita menganalisis dan mengekstrak wawasan dari umpan balik verbatim skala besar. Pemanfaatan Model Bahasa Besar (LLM) Pada intinya, AllHands memanfaatkan kekuatan LLM untuk memungkinkan antarmuka bahasa alami, yang memungkin

DBRX: Inovasi AI Terbaru Databricks! Pengubah Permainan atau Sekadar Pemain Baru di Open LLM?

Pengantar Dalam bidang kecerdasan buatan (AI) yang berkembang pesat, peluncuran DBRX dari Databricks menandai tonggak sejarah yang signifikan. Dengan investasi yang mencengangkan sebesar $10 juta, Databricks telah memperkenalkan model AI generatif sumber terbuka yang dirancang untuk menyaingi kemampuan model terdepan saat ini di industri, termasuk seri GPT OpenAI dan Gemini Google. Fitur Inovatif DBRX Model DBRX, meskipun tidak mengungguli GPT-4 OpenAI dalam hal kekuatan komputasi, menghadirkan tantangan yang tangguh bagi alternatif sumber terbuka yang ada dan memposisikan dirinya sebagai solusi yang hemat biaya dan efisien dalam lanskap AI generatif. Inovasi DBRX terletak pada arsitektur dan metodologi pelatihannya. Model ini memiliki 132 miliar parameter, tetapi fitur yang menonjol adalah arsitektur “mixture-of-experts”. Desain ini memungkinkan DBRX untuk hanya mengaktifkan 36 miliar parameter pada waktu tertentu dengan memilih empat sub-model yang paling relevan dari enam belas yang tersedia untuk setiap t

Inggris Raya Merayakan Startup dengan Patung Sementara di New York City

Pendahuluan Inggris Raya, yang dikenal dengan ekosistem teknologinya yang berkembang pesat, merayakan kesuksesan startup-nya dengan patung sementara yang unik di New York City. Patung yang Selalu Berubah Patung hologram 3D ini menampilkan beberapa pendiri dan CEO unicorn terkemuka di Inggris. Unicorn adalah perusahaan rintisan yang bernilai lebih dari $1 miliar. Patung ini menyoroti kekuatan Inggris sebagai tujuan investasi teknologi terbesar ketiga di dunia dan rumah bagi lebih dari 160 perusahaan unicorn yang mengesankan. Ekosistem Teknologi yang Unggul Inggris Raya adalah pusat inovasi dan merupakan negara ketiga di dunia yang memiliki sektor teknologinya senilai lebih dari $1 triliun, bersama dengan Amerika Serikat dan Tiongkok. Negara ini telah menghasilkan lebih banyak perusahaan unicorn daripada Prancis dan Jerman jika digabungkan, dengan kekuatan khusus dalam kecerdasan buatan, teknologi finansial, kesehatan, dan bioteknologi. Dukungan Pemerintah Pemerintah Inggris telah memainkan peran penting dalam

Model Bahasa Kode Dasar Tujuan Umum: Stable Code dari Stability AI

Pendahuluan Pembelajaran mesin memiliki aplikasi ikonik dalam bahasa pemrograman, mulai dari pemahaman kode hingga representasi atau penyelesaian kode. Pekerjaan sebelumnya difokuskan pada pemanfaatan struktur semantik mendasar dari bahasa pemrograman seperti Code2Vec, Code2Seq, dan Graph Representation Learning for Code. Arsitektur di atas dibuat khusus untuk struktur asli Abstract Syntax Trees (AST) / Data Flow Graphs (DFG). Mereka memiliki batasan yang signifikan: mereka hanya dapat diterapkan untuk tugas yang melibatkan kode yang dapat dieksekusi sepenuhnya. Penelitian selanjutnya menunjukkan bagaimana model berbasis transformator dapat digunakan seperti bahasa alami untuk kode pada tingkat leksikal (teks). Sejak itu, model bahasa telah banyak digunakan untuk memodelkan kode pada berbagai tugas. Model seperti itu dieksekusi setiap beberapa detik, terutama dalam kasus penyelesaian kode. Model yang kuat yang berjalan pada perangkat konsumen lebih disukai untuk menghindari latensi jaringan, membuat perbedaan

Transfer Pembelajaran Hemat Privasi dengan Enkripsi Homomorfik

Pendahuluan Privasi data menjadi perhatian utama di dunia saat ini, dengan banyak negara memberlakukan undang-undang seperti Peraturan Perlindungan Data Umum (GDPR) UE untuk melindungi informasi pribadi. Dalam bidang pembelajaran mesin, masalah utama muncul ketika klien ingin memanfaatkan model yang telah dilatih sebelumnya dengan mentransfernya ke data mereka. Berbagi fitur data yang diekstrak dengan penyedia model berpotensi mengekspos informasi klien yang sensitif melalui serangan inversi fitur. Pendekatan Sebelumnya Pendekatan sebelumnya untuk transfer pembelajaran yang menjaga privasi bergantung pada teknik seperti komputasi multi-pihak yang aman (SMPC), privasi diferensial (DP), dan enkripsi homomorfik (HE). Sementara SMPC membutuhkan overhead komunikasi yang signifikan dan DP dapat mengurangi akurasi, metode berbasis HE telah menunjukkan janji tetapi mengalami tantangan komputasi. HETAL Sebuah tim peneliti telah mengembangkan HETAL, algoritma berbasis HE yang efisien (ditunjukkan pada Gambar 1) untuk t

Asisten AI dengan Memori Jangka Panjang

Asisten yang didukung kecerdasan buatan (AI) dengan cepat merambah ke setiap aspek kehidupan kita, dari rumah dan kantor hingga ponsel. Namun, kemampuan memori jangka panjang asisten AI saat ini perlu ditingkatkan. Mereka kurang individualisasi dan pengulangan dalam hubungan mereka karena mereka kesulitan mengingat diskusi sebelumnya. Zep: Membawa Memori Jangka Panjang ke Asisten AI Zep, sebuah perusahaan rintisan AI yang inovatif, telah merevolusi bidang kecerdasan buatan dengan asisten AI yang unik. Tidak seperti yang lain, asisten AI Zep memiliki memori jangka panjang, yang meningkatkan kemampuannya dan mengubah interaksi kita dengan asisten AI. Teknologi inovatif ini memungkinkan asisten AI Zep untuk mengingat diskusi sebelumnya dan mengekstrak wawasan berharga, membuka jalan bagi keterlibatan yang lebih personal dan cerdas. Mengatasi Tantangan Memori AI Zep mengatasi dua masalah sekaligus. Pertama, sebagian besar asisten AI saat ini perlu belajar cara berkomunikasi. Tidak ada yang terbawa dari satu inter

Penyesuaian Adapter Berkelanjutan (CAT): Kerangka Pembelajaran Mesin Efisien Parameter yang Menghindari Lupa Bencana dan Memungkinkan Transfer Pengetahuan dari Tugas ASC yang Dipelajari ke Tugas ASC Baru

Pendahuluan Klasifikasi Sentimen Aspek (ASC) adalah tugas penting yang bertujuan untuk membedakan polaritas sentimen dalam domain tertentu, seperti ulasan produk, di mana sentimen terhadap aspek tertentu perlu diidentifikasi. Pembelajaran Berkelanjutan (CL) menimbulkan tantangan yang signifikan bagi model ASC karena Lupa Bencana (CF), di mana mempelajari tugas baru menyebabkan hilangnya pengetahuan yang diperoleh sebelumnya. Karena model ASC harus beradaptasi dengan distribusi data yang berkembang di berbagai domain, mencegah CF menjadi sangat penting. Metode yang Ada dan Batasannya Ketika jumlah tugas meningkat, teknik tradisional sering kali mengharuskan penyimpanan titik pemeriksaan model yang berbeda untuk setiap tugas, yang menjadi tidak layak. Metode baru mencoba mengurangi CF dengan membekukan model inti secara terpisah dan melatih komponen khusus tugas. Namun, mereka sering gagal mempertimbangkan transfer pengetahuan yang efektif antar tugas, yang membuat mereka lebih sulit untuk menangani peningkatan

Peningkatan Jaringan Saraf Graf untuk Graf Heterofilik: Peneliti Universitas McGill Memperkenalkan Jaringan Perhatian Graf Terarah (DGAT)

Pengantar Jaringan saraf graf (GNN) telah merevolusi cara peneliti menganalisis dan mempelajari data yang terstruktur dalam jaringan kompleks. Model-model ini menangkap hubungan rumit yang melekat dalam graf, yang ada di mana-mana dalam jaringan sosial, struktur molekul, dan jaringan komunikasi, untuk menyebutkan beberapa area. Inti dari keberhasilan mereka adalah kemampuan untuk memproses dan mempelajari data graf secara efektif, yang pada dasarnya non-Euclidean. Tantangan GAT dalam Graf Heterofilik Di antara berbagai arsitektur GNN, Jaringan Perhatian Graf (GAT) menonjol karena penggunaan mekanisme perhatian yang inovatif. Mekanisme ini memberikan tingkat kepentingan yang bervariasi pada simpul tetangga, memungkinkan model untuk fokus pada informasi yang lebih relevan selama proses pembelajaran. Namun, GAT tradisional menghadapi tantangan yang signifikan dalam graf heterofilik, di mana koneksi lebih mungkin terjadi antara simpul yang tidak serupa. Masalah utamanya terletak pada desain bawaannya, yang diopti

OpenAI Bersiap Memasuki Pasar Asisten Suara dengan Merek Dagang ‘Voice Engine’

OpenAI, pencipta ChatGPT, telah mengajukan permohonan merek dagang untuk sebuah alat bernama “Voice Engine”. Langkah strategis ini dapat memposisikan OpenAI sebagai pesaing kuat bagi raksasa teknologi seperti Apple, Amazon, dan Google, yang produknya, Siri, Alexa, dan Google Assistant, saat ini mendominasi pasar. Inovasi OpenAI di Bidang Suara Masuknya OpenAI ke dalam arena teknologi suara dengan Voice Engine menunjukkan inisiatif terfokus untuk memperluas kehebatannya dalam kecerdasan buatan ke ranah asisten suara digital. Permohonan merek dagang, yang diajukan ke Kantor Paten dan Merek Dagang AS, menguraikan serangkaian teknologi terkait suara yang komprehensif, menyoroti rencana ambisius OpenAI untuk berinovasi di luar kemampuannya saat ini. Serangkaian teknologi ini mencakup perangkat lunak yang dirancang untuk membuat asisten suara digital, memproses perintah suara, menghasilkan audio dari perintah teks, dan mendukung pengenalan dan penerjemahan ucapan multibahasa. Kemajuan tersebut dibangun di atas basi

HyperLLaVA: Tingkatkan Model Bahasa Multimodal dengan Pakar Visual dan Bahasa yang Dinamis

Pendahuluan Model Bahasa Besar (LLM) telah menunjukkan fleksibilitas yang luar biasa dalam menangani berbagai aplikasi yang berpusat pada bahasa. Untuk memperluas kemampuan mereka ke input multimodal, Model Bahasa Besar Multimodal (MLLM) telah mendapat perhatian yang signifikan. Model-model ini sangat penting untuk mengembangkan asisten serba guna yang fleksibel yang dapat memahami informasi dari berbagai modalitas, termasuk teks, gambar, video, dan audio. LLaVA dan Keterbatasannya MLLM kontemporer, seperti LLaVA, biasanya mengikuti protokol pelatihan dua tahap: Penyelarasan Bahasa-Visual, di mana proyektor statis dilatih untuk menyinkronkan fitur visual dengan ruang penyematan kata model bahasa, memungkinkan LLM memahami konten visual. Penyetelan Instruksi Multimodal, di mana LLM disetel dengan baik pada data instruksi multimodal untuk meningkatkan kemampuannya dalam menanggapi berbagai permintaan pengguna yang melibatkan konten visual. Meskipun dua tahap ini sangat penting, struktur proyektor dan strategi p

Deteksi Anomali Berbasis Memori Tanpa Pengawasan SoftPatch yang Secara Efisien Menghilangkan Derau pada Tingkat Patch

Pendahuluan Deteksi anomali (AD) merupakan proses penting dalam aplikasi industri, yang digunakan untuk mengidentifikasi kejadian tak terduga dalam data input. Proses ini sering kali diterapkan untuk menganalisis gambar dan mendeteksi cacat, tetapi hal ini cukup menantang karena kompleksitas cacat, yang bisa sangat kecil dan sulit dikumpulkan. AD tanpa pengawasan adalah alat utama dalam menangani kompleksitas ini. Metode AD Tanpa Pengawasan Sebagian besar metode AD tanpa pengawasan sebelumnya bergantung pada data pelatihan yang bersih untuk mengekstrak fitur nominal dan membandingkannya dengan fitur anomali. Oleh karena itu, memiliki data yang bising (yang tidak dapat dihindari dalam pengaturan dunia nyata) dapat secara signifikan memengaruhi kinerja model-model ini. SoftPatch Dalam penelitian ini, penulis berfokus pada pentingnya mempelajari masalah data bising dalam AD tanpa pengawasan dan memperkenalkan algoritme baru bernama SoftPatch, yang menggunakan faktor outlier untuk mencapai ketahanan derau yang le

Pembelajaran Mesin Ringan untuk Inferensi Struktural dan Prediksi Dinamis yang Akurat

Pendahuluan Pembelajaran Mesin (ML) telah menjadi alat yang sangat penting dalam beberapa tahun terakhir untuk memecahkan berbagai masalah ilmiah dan praktis. Metode pembelajaran mesin tanpa model telah menarik minat karena kemampuannya untuk menganalisis dan memprediksi dinamika kompleks yang terlihat dalam data deret waktu. Namun, pendekatan ini menghadapi kesulitan ketika diterapkan pada sistem berdimensi tinggi dengan koneksi heterogen dan perilaku yang sangat kompleks. Tantangan dan Metode Mengembangkan teknik ML canggih yang dapat mengidentifikasi interaksi internal dalam sistem yang kompleks dan memprediksi evolusi masa depan mereka secara andal sangat penting untuk mengatasi hambatan ini. Teknik ML modern seperti Jaringan Neural Berulang (RNN), Persamaan Diferensial Neural Biasa (NODE), dan pembelajaran residual mendalam menawarkan keunggulan untuk menangani data deret waktu nonlinier dan kompleks jika dibandingkan dengan pendekatan klasik seperti model Auto-Regresif (ARMA) dan Perceptron Multi-Lapisa

Startup Penyetel Halus LLM OpenPipe Menggalang Dana $6,7 Juta

Pendahuluan OpenPipe, startup penyetel halus LLM yang berbasis di Seattle, mengumumkan penutupan putaran awal senilai $6,7 juta. OpenPipe membuat alat yang memungkinkan pengembang membuat Model Bahasa Besar (LLM) khusus aplikasi mereka sendiri. Pendanaan Putaran pendanaan dipimpin oleh Costanoa Ventures, dengan partisipasi dari Y Combinator dan investor malaikat terkemuka, termasuk Logan Kilpatrick, mantan kepala hubungan pengembang di OpenAI, Alex Graveley, pencipta GitHub Copilot, dan Tom Preston-Werner, salah satu pendiri GitHub. Dana tersebut akan digunakan untuk meningkatkan tim dan mempercepat pengembangan produk. Keunggulan OpenPipe Pemahaman utama OpenPipe adalah bahwa model yang lebih kecil dapat menyamai atau melampaui kinerja model yang jauh lebih besar ketika dikhususkan untuk tugas tertentu. Spesialisasi ini dilakukan melalui proses yang dikenal sebagai “penyetelan halus”. Penyetelan halus sangat meningkatkan kualitas dan kebenaran respons, tetapi banyak pengembang tidak dapat melakukan tugas ini

Modernisasi PXM: Memanfaatkan AI untuk Memusatkan, Menghubungkan, dan Mengotomatiskan Manajemen Pengalaman Produk

Pendahuluan Manajemen Pengalaman Produk (PXM) telah menjadi aspek penting dalam dunia ritel digital. Untuk mengatasi tantangan dalam mengelola pengalaman produk, platform PXM Salsify telah merilis sebuah laporan baru yang menyoroti peran AI dalam operasi PXM generasi berikutnya. Pergeseran dalam PXM Laporan tersebut mengidentifikasi kekuatan yang mengganggu alur kerja PXM modern. AI telah menjadi pendorong utama inovasi dalam ruang PXM. Co-founder dan Chief Marketing Officer Salsify, Rob Gonzalez, mengidentifikasi pergeseran bisnis substansial yang memperluas persyaratan untuk platform PXM. Platform PXM Generasi Berikutnya Platform PXM generasi berikutnya akan membantu produsen merek mencapai pertumbuhan, efisiensi operasional, dan konsolidasi tumpukan teknologi yang diperlukan untuk kesuksesan dan profitabilitas perdagangan dalam dekade mendatang. Peran AI dalam PXM “AI telah mengubah konsep catatan produk dari sekadar penyimpanan data dasar menjadi titik asal untuk berbagai konten yang dipersonalisasi dan s

GenAI dalam Layanan Kesehatan: Mengatasi Privasi Data, Keamanan, dan Tantangan Etika

Pengantar Generative Artificial Intelligence (GenAI) merevolusi layanan kesehatan di India, memberikan perawatan pasien yang lebih baik, akurasi diagnostik, dan efisiensi operasional. PwC India memperkenalkan kerangka kerja GenAI yang komprehensif untuk memandu penyedia layanan kesehatan dalam mengadopsi kasus penggunaan bisnis yang relevan. Potensi GenAI dalam Layanan Kesehatan Meningkatkan akurasi diagnostik Mengoptimalkan efisiensi operasional Meningkatkan keterlibatan pasien Memfasilitasi dukungan keputusan klinis secara real-time Menyesuaikan pendekatan pengobatan Tantangan GenAI dalam Layanan Kesehatan Privasi Data: Melindungi data pasien yang sensitif Keamanan: Mencegah akses tidak sah ke data dan sistem Etika: Memastikan penggunaan AI yang bertanggung jawab dan adil Kerangka Kerja GenAI PwC India Untuk mengatasi tantangan ini, PwC India telah mengembangkan kerangka kerja komprehensif yang mencakup: Modernisasi sistem data Pengembangan solusi AI yang skalabel Pembentukan budaya yang merangkul kemajuan

Agen Pertahanan Kecerdasan Buatan (AIDA) dari KnowBe4

KnowBe4, platform pelatihan kesadaran keamanan dan simulasi phishing, telah mengumumkan peluncuran platform berbasis AI bernama Artificial Intelligence Defense Agents (AIDA). KnowBe4 AIDA memungkinkan perubahan budaya jangka panjang dan pengurangan risiko manusia. Dengan meningkatnya ancaman penjahat dunia maya yang memanfaatkan AI, KnowBe4 berkomitmen untuk menggunakan AI guna meningkatkan langkah-langkah keamanan dan melindungi karyawan dari rekayasa sosial. Diluncurkan dan didemonstrasikan di KB4-CON KnowBe4, AIDA merupakan langkah maju yang signifikan dalam melindungi pengguna dari penggunaan AI yang berbahaya. Personalisasi Pembelajaran KnowBe4 AIDA memungkinkan organisasi untuk mengotomatiskan pemilihan dinamis pelatihan dan pengujian kesadaran keamanan untuk memberikan pengguna pengalaman belajar yang lebih individual berdasarkan kebutuhan spesifik mereka. Pengujian awal telah menunjukkan efektivitas AIDA, dan seiring dengan semakin terintegrasinya teknologi berbasis AI ke dalam operasi KnowBe4, pertah

Peningkatan Performa Model Bahasa Besar pada Kondisi Data Rendah Menggunakan Data Sintetis: Pendekatan Inovatif dari Peneliti UC Berkeley, ICSI, dan LBNL

Model Bahasa Besar (LLM) Model bahasa besar (LLM) merupakan kemajuan teknologi terbaru dalam pemrosesan bahasa alami, menandai lompatan signifikan dalam kemampuan mesin untuk memahami, menafsirkan, dan menghasilkan teks seperti manusia. Namun, potensi penuh LLM sering kali tidak tergali karena keterbatasan yang disebabkan oleh kelangkaan data pelatihan khusus tugas. Hambatan ini membatasi penerapan LLM di berbagai domain, terutama yang terkendala data. LLM2LLM: Pendekatan Iteratif LLM2LLM, yang diusulkan oleh tim peneliti di UC Berkeley, ICSI, dan LBNL, adalah metode terobosan untuk meningkatkan kemampuan LLM pada kondisi data rendah. Pendekatan ini menyimpang dari teknik augmentasi data tradisional, yang umumnya melibatkan manipulasi langsung seperti penggantian sinonim atau parafrase teks. Meskipun metode ini dapat memperluas kumpulan data, namun jarang meningkatkan pemahaman model tentang tugas khusus yang kompleks. Sebaliknya, LLM2LLM menggunakan proses iteratif yang lebih canggih yang secara langsung men

Penelitian AI Memperkenalkan SafeEdit: Tolok Ukur Baru untuk Menyelidiki Detoksifikasi LLM melalui Pengeditan Pengetahuan

Pendahuluan Dengan kemajuan Model Bahasa Besar (LLM) seperti ChatGPT, LLaMA, dan Mistral, kekhawatiran tentang kerentanan mereka terhadap kueri berbahaya semakin meningkat, sehingga diperlukan perlindungan yang kuat. Pendekatan seperti fine-tuning yang diawasi (SFT), pembelajaran penguatan dari umpan balik manusia (RLHF), dan optimalisasi preferensi langsung (DPO) telah banyak diadopsi untuk meningkatkan keamanan LLM, memungkinkan mereka menolak kueri berbahaya. Tantangan dalam Detoksifikasi LLM Meskipun ada kemajuan ini, model yang selaras mungkin masih rentan terhadap permintaan serangan yang canggih, menimbulkan pertanyaan tentang modifikasi yang tepat dari wilayah beracun dalam LLM untuk mencapai detoksifikasi. Studi terbaru telah menunjukkan bahwa pendekatan sebelumnya, seperti DPO, mungkin hanya menekan aktivasi parameter beracun tanpa secara efektif mengatasi kerentanan yang mendasarinya, menggarisbawahi pentingnya mengembangkan metode detoksifikasi yang tepat. Pengeditan Pengetahuan untuk Detoksifikas

Memastikan Keandalan LLM sebagai Asisten di Bidang Biomedis: Memperkenalkan RAmBLA

Pendahuluan Model Bahasa Besar (LLM) yang canggih bertanggung jawab untuk menafsirkan teks medis yang kompleks, menawarkan ringkasan yang ringkas, dan memberikan respons yang akurat dan berbasis bukti. Keputusan medis berisiko tinggi menekankan pentingnya keandalan dan akurasi model-model ini. Tantangan dalam Mengevaluasi Keandalan LLM Dengan semakin terintegrasinya LLM di sektor ini, muncul tantangan penting: memastikan asisten virtual ini dapat menavigasi informasi biomedis yang rumit tanpa kesalahan. Mengatasi masalah ini membutuhkan pergeseran dari metode evaluasi AI tradisional, yang sering berfokus pada tolok ukur sempit dan spesifik tugas. Kerangka Kerja RAmBLA Untuk mengatasi tantangan ini, peneliti dari Imperial College London dan GSK.ai mengusulkan kerangka kerja inovatif bernama Reliability AssessMent for Biomedical LLM Assistants (RAmBLA). RAmBLA menekankan kriteria penting untuk aplikasi praktis dalam biomedis, termasuk ketahanan model terhadap variasi input yang beragam, kemampuan untuk menginga

Benchmark Matematika Visual Komprehensif untuk Evaluasi Model Bahasa Besar Multimodal (MLLM)

Pendahuluan Model Bahasa Besar Multimodal (MLLM) telah menunjukkan performa luar biasa dalam tugas-tugas visual. Namun, kemampuan mereka dalam memecahkan soal matematika visual masih perlu dievaluasi dan dipahami secara mendalam. Kesenjangan dalam Evaluasi MLLM Matematika sering kali menyajikan tantangan dalam memahami konsep kompleks dan menafsirkan informasi visual yang penting untuk memecahkan masalah. Dalam konteks pendidikan dan di luarnya, menguraikan diagram dan ilustrasi menjadi sangat penting, terutama saat menangani masalah matematika. MATHVERSE: Benchmark Matematika Visual Sebuah tim peneliti dari CUHK MMLab dan Shanghai Artificial Intelligence Laboratory telah mengusulkan “MATHVERSE”, sebuah benchmark inovatif yang dirancang untuk mengevaluasi secara ketat kemampuan MLLM dalam menafsirkan informasi visual dalam soal matematika. Pendekatan ini memperkenalkan berbagai soal matematika yang terintegrasi dengan diagram untuk menguji pemahaman model di luar penalaran tekstual. Metodologi MATHVERSE melib

BasedAI: Jaringan Mesin Terdistribusi yang Memperkenalkan Infrastruktur Terdesentralisasi yang Mampu Mengintegrasikan FHE dengan LLM yang Terhubung ke Jaringannya

Pendahuluan Penyebaran model bahasa besar (LLM) di berbagai domain penting telah menyoroti kebutuhan mendesak akan kerangka kerja untuk melindungi privasi data tanpa mengorbankan kinerja komputasi. Enkripsi Homomorfik Penuh (FHE) muncul sebagai solusi yang menjanjikan untuk tantangan ini, memungkinkan perhitungan dilakukan pada data terenkripsi. Namun, beban komputasi yang terkait dengan FHE, ditambah dengan sifat LLM yang membutuhkan banyak sumber daya, menyajikan hambatan yang signifikan dalam menyeimbangkan privasi dan kualitas layanan dalam sistem AI terdistribusi. Arsitektur BasedAI Untuk mengatasi tantangan ini, Based Labs memperkenalkan pendekatan terdesentralisasi inovatif yang mengintegrasikan FHE dengan LLM, memastikan kerahasiaan data tanpa menimbulkan pengorbanan kinerja yang substansial. Ini mengungkap arsitektur BasedAI yang inovatif dan menyajikan teknik Cerberus Squeezing yang canggih, pengubah permainan yang meningkatkan efisiensi perhitungan terenkripsi. Teknik Cerberus Squeezing Dengan meny

Revolusi Layanan Kesehatan: OpenEvidence Luncurkan API AI Medis untuk Solusi Klinis yang Ditingkatkan

Di era di mana kecerdasan buatan (AI) mengubah setiap aspek kehidupan kita, sebuah pencapaian terobosan di bidang medis menonjol: OpenEvidence, AI medis perintis yang dikembangkan di bawah naungan Mayo Clinic Platform Accelerate, telah menetapkan standar baru dengan skor di atas 90% pada United States Medical Licensing Examination (USMLE). Pencapaian luar biasa ini menunjukkan potensi AI dalam dunia medis dan menandai era baru pengambilan keputusan klinis yang didukung oleh teknologi canggih. API AI Medis OpenEvidence OpenEvidence, yang dirancang khusus untuk domain medis, menawarkan kemampuannya melalui API, menjadikannya satu-satunya AI dengan akurasi dan kinerja tinggi yang dapat diakses untuk diintegrasikan ke dalam berbagai aplikasi medis. Memberdayakan ClinicalKey AI Elsevier, ia menggabungkan konten medis tepercaya dari berbagai jurnal. Keunggulan OpenEvidence Signifikansi pencapaian OpenEvidence tidak dapat dilebih-lebihkan. Melampaui teknologi AI lainnya, termasuk Google Med-PaLM 2, Anthropic Claude

AI Tanpa Prompt: Sebuah Revolusi dalam Interaksi Manusia-AI

Pergeseran dari Prompt ke Tanpa Prompt AI tanpa prompt, juga dikenal sebagai “AI terbuka” atau “AI tanpa prompt”, mengacu pada sistem AI yang dapat terlibat dalam percakapan terbuka atau melakukan tugas tanpa memerlukan prompt atau input yang telah ditentukan. Model AI ini dirancang untuk memahami dan merespons berbagai topik dan konteks, seperti halnya manusia dalam percakapan alami. Manfaat AI Tanpa Prompt Kemudahan Pengguna: Tidak perlu lagi membuat prompt yang sempurna setiap saat. AI tanpa prompt dapat membuat pengalaman pengguna lebih lancar dan mudah diakses, terutama bagi yang tidak paham teknologi. Nuansa Percakapan: Manusia tidak berbicara dalam poin-poin. AI tanpa prompt dapat membuka pintu bagi respons yang lebih bernuansa dan utas percakapan yang menarik. Interaksi Proaktif: Bayangkan asisten AI yang mengantisipasi kebutuhan Anda berdasarkan konteks, bukan hanya menunggu perintah. Cara Kerja AI Tanpa Prompt AI tanpa prompt memanfaatkan algoritma pembelajaran mesin canggih dan kumpulan data yang l

Inovasi Inbetweening Waktu dan Ruang Menggunakan Time Reversal Fusion (TRF)

Pendahuluan Model image-to-video (I2V) telah menunjukkan kemampuan generalisasi yang tinggi. Namun, meskipun dapat menghasilkan situasi dinamis yang kompleks, model ini tidak memberikan kontrol yang memadai kepada pengguna. Batasan Generasi Terbatas Pengguna sering ingin mengontrol pembuatan bingkai antara dua titik akhir gambar, meskipun diambil pada waktu atau lokasi yang berbeda. Proses ini dikenal sebagai generasi terbatas. Model I2V saat ini tidak dapat melakukan generasi terbatas karena tidak dapat mengarahkan lintasan ke tujuan yang tepat. Time Reversal Fusion (TRF) Peneliti dari Max Planck Institute, Adobe, dan University of California memperkenalkan kerangka kerja I2V difusi untuk generasi terbatas tanpa pelatihan. Kerangka kerja ini memanfaatkan bingkai awal dan akhir sebagai informasi kontekstual. Metode Generasi Terbatas Tanpa Pelatihan Peneliti mengeksplorasi dua metode sederhana untuk generasi terbatas tanpa pelatihan: inpainting dan modifikasi kondisi. Mereka juga memperkenalkan pendekatan peng

Cara Kerja ChatGPT, Gemini, dan LLM Lainnya

Apa itu Model Bahasa Besar (LLM)? LLM adalah sistem AI yang dirancang untuk memahami, menghasilkan, dan bekerja dengan bahasa manusia dalam skala besar. Model ini menggunakan teknik pembelajaran mendalam, khususnya jaringan saraf, untuk memproses dan menghasilkan teks yang meniru pemahaman dan respons seperti manusia. LLM dilatih pada sejumlah besar data tekstual, yang memungkinkan mereka memahami nuansa bahasa, termasuk tata bahasa, gaya, konteks, dan bahkan kemampuan untuk menghasilkan teks yang koheren dan relevan secara kontekstual berdasarkan masukan yang mereka terima. “Besar” dalam model bahasa besar tidak hanya mengacu pada ukuran kumpulan data pelatihan, yang dapat mencakup miliaran kata dari buku, situs web, artikel, dan sumber lainnya, tetapi juga pada arsitektur model. Mereka berisi jutaan hingga miliaran parameter, yang pada dasarnya adalah aspek model yang dipelajari dari data pelatihan, sehingga mereka mampu memahami dan menghasilkan teks di berbagai topik dan format. Arsitektur Transformer: In

LLAMAFACTORY: Kerangka Kerja Pembelajaran Mesin Terpadu yang Mengintegrasikan Rangkaian Metode Pelatihan Efisien Canggih, Memungkinkan Pengguna Menyesuaikan Penyetelan Halus 100+ LLM Secara Fleksibel

Pendahuluan Model bahasa besar (LLM) telah merevolusi pemrosesan bahasa alami (NLP) dengan mencapai kinerja luar biasa dalam berbagai tugas seperti pembuatan teks, penerjemahan, analisis sentimen, dan tanya jawab. Penyetelan halus yang efisien sangat penting untuk mengadaptasi LLM ke berbagai fungsi hilir. Ini memungkinkan praktisi untuk memanfaatkan pengetahuan model yang telah dilatih sebelumnya sekaligus membutuhkan lebih sedikit data berlabel dan sumber daya komputasi dibandingkan pelatihan dari awal. Namun, menerapkan metode ini pada model yang berbeda membutuhkan upaya yang tidak sepele. Menyetel banyak parameter dengan sumber daya terbatas menjadi tantangan utama dalam mengadaptasi LLM ke tugas hilir. Metode Penyetelan Halus yang Efisien Solusi populer adalah penyetelan halus yang efisien, yang mengurangi biaya pelatihan LLM saat beradaptasi dengan berbagai tugas. Berbagai upaya lain telah dilakukan untuk mengembangkan metode penyetelan halus LLM yang efisien. Namun, mereka membutuhkan kerangka kerja s

Devika: Insinyur Perangkat Lunak AI Open-Source yang Bertujuan Menjadi Alternatif Kompetitif untuk Devin

Pengantar Mengembangkan perangkat lunak dapat menjadi tugas yang rumit. Memahami instruksi tingkat tinggi, melakukan riset mendalam, dan menulis kode untuk mencapai tujuan tertentu seringkali memakan waktu dan usaha, yang menghambat penyelesaian proyek dan efisiensi alur kerja pengembangan. Solusi yang Ada dan Keterbatasannya Meskipun ada alat pembuatan kode bertenaga AI dan platform manajemen proyek, solusi ini tidak memiliki kemampuan komprehensif yang diperlukan untuk merevolusi proses pengembangan perangkat lunak. Pengembang masih bergulat dengan kerumitan implementasi kode dan organisasi proyek, yang menghambat produktivitas dan kreativitas mereka. Perkenalkan Devika Devika adalah insinyur perangkat lunak AI canggih yang unggul dalam pengembangan perangkat lunak. Tidak seperti solusi lain, Devika menawarkan serangkaian fitur unik yang dirancang untuk menyederhanakan dan mengoptimalkan proses pengkodean. Fitur dan Kemampuan Devika Pemahaman Bahasa Alami: Devika memahami instruksi manusia tingkat tinggi, m

Melatih Model Bahasa Besar Secara Terbalik: Metode Pelatihan Kecerdasan Buatan yang Sederhana dan Efektif untuk Mengatasi Kutukan Pembalikan

Model Bahasa Besar dan Kutukan Pembalikan Model bahasa besar telah merevolusi pemrosesan bahasa alami, memberikan mesin kemampuan bahasa yang mirip manusia. Namun, meskipun canggih, model ini bergulat dengan masalah penting, yaitu Kutukan Pembalikan. Istilah ini menggambarkan kesulitan mereka dalam memahami reversibilitas logis, di mana mereka sering kali perlu menyimpulkan bahwa jika “A memiliki fitur B”, secara logis menyiratkan “B adalah fitur A”. Keterbatasan ini menimbulkan tantangan signifikan dalam mengejar sistem yang benar-benar cerdas. Pelatihan Terbalik: Solusi untuk Kutukan Pembalikan Di FAIR, divisi penelitian AI Meta, para ilmuwan telah menyelidiki masalah ini, menyadari bahwa Kutukan Pembalikan bukan hanya masalah akademis. Ini adalah masalah praktis yang menghambat penggunaan LLM secara efektif dalam berbagai aplikasi, mulai dari penalaran otomatis hingga tugas pemahaman bahasa alami. Meskipun efektif dalam menyerap data dalam jumlah besar, metode pelatihan satu arah tradisional perlu ditingka

Plugin PJRT: Plugin Antarmuka Terbuka untuk Runtime dan Kompiler Perangkat yang Menyederhanakan Integrasi Perangkat Keras dan Kerangka Pembelajaran Mesin

Tantangan Integrasi Mengintegrasikan kerangka pembelajaran mesin dengan berbagai arsitektur perangkat keras secara efisien merupakan tantangan yang dihadapi oleh para peneliti. Proses integrasi yang ada sangatlah rumit dan memakan waktu, dan sering kali terdapat kurangnya antarmuka standar yang menyebabkan masalah kompatibilitas dan menghambat adopsi teknologi perangkat keras baru. Pengembang diharuskan menulis kode khusus untuk setiap perangkat keras. Biaya komunikasi dan keterbatasan skalabilitas membuat penggunaan sumber daya perangkat keras untuk pekerjaan pembelajaran mesin menjadi lebih sulit tanpa masalah. Solusi PJRT Tim Pengembang Google mengusulkan solusi, Plugin PJRT (Antarmuka Runtime dan Kompiler Independen Platform), yang bertindak sebagai lapisan tengah antara kerangka pembelajaran mesin (seperti TensorFlow, JAX, dan PyTorch) dan perangkat keras yang mendasarinya (TPU, GPU, dan CPU). Dengan menyediakan antarmuka standar, PJRT menyederhanakan integrasi, mendorong agnostisisme perangkat keras, da

EMMET: Kerangka Kerja Pembelajaran Mesin Baru yang Menggabungkan Teknik Pengeditan Model Terpopuler

Pendahuluan Kecerdasan buatan (AI) terus berkembang dan membutuhkan metode yang efisien untuk mengintegrasikan pengetahuan baru ke dalam model yang sudah ada. Pembuatan informasi yang cepat berarti model dapat dengan cepat menjadi usang, yang telah memunculkan pengeditan model. Dalam bidang yang kompleks ini, tujuannya adalah untuk menanamkan model AI dengan informasi terbaru tanpa merusak struktur dasar atau kinerja keseluruhannya. Tantangan Pengeditan Model Tantangannya ada dua: di satu sisi, diperlukan ketelitian dalam mengintegrasikan fakta baru untuk memastikan relevansi model, dan di sisi lain, prosesnya harus efisien untuk mengimbangi masuknya informasi yang terus menerus. Teknik Pengeditan Model yang Ada Secara historis, teknik seperti ROME dan MEMIT telah menawarkan solusi, masing-masing dengan keunggulan yang berbeda. ROME, misalnya, mahir dalam membuat modifikasi tunggal yang akurat, sementara MEMIT memperluas kemampuan ini ke pembaruan batch, yang secara signifikan meningkatkan efisiensi pengedita

Zigzag Mamba: Model Difusi Efisien untuk Konten Visual Resolusi Tinggi

Pendahuluan Dalam lanskap model komputasi untuk pemrosesan data visual yang terus berkembang, pencarian model yang menyeimbangkan efisiensi dengan kemampuan menangani kumpulan data skala besar dan resolusi tinggi sangat penting. Meskipun mampu menghasilkan konten visual yang mengesankan, model konvensional berjuang dengan skalabilitas dan efisiensi komputasi, terutama saat digunakan untuk pembuatan gambar dan video beresolusi tinggi. Tantangan ini muncul dari kompleksitas kuadrat yang melekat pada struktur berbasis transformator, yang merupakan bagian penting dalam arsitektur sebagian besar model difusi. Model Ruang Keadaan dan Zigzag Mamba Model Ruang Keadaan (SSM), di mana model Mamba telah muncul sebagai model efisiensi untuk pemodelan urutan panjang. Kehebatan Mamba dalam pemodelan urutan 1D mengisyaratkan potensinya untuk merevolusi efisiensi model difusi. Namun, adaptasinya terhadap kompleksitas data 2D dan 3D, yang merupakan bagian integral untuk pemrosesan gambar dan video, bisa jadi lebih mudah. Kunc

Jan: Alternatif ChatGPT Sumber Terbuka yang Berjalan Sepenuhnya Offline di Komputer

Pengantar Sebuah tim peneliti baru-baru ini memperkenalkan Jan, alternatif ChatGPT sumber terbuka yang berjalan secara lokal di komputer. Jan merupakan kemajuan besar di bidang Kecerdasan Buatan (AI) yang bertujuan untuk mendemokratisasi akses ke teknologi AI. Fitur Utama Menjalankan ChatGPT secara lokal di desktop Menyesuaikan model, konfigurasi, dan fungsionalitas sesuai keinginan Menggunakan kemampuan AI tanpa mengorbankan kontrol data atau privasi Pengembang dan Prinsip Panduan Jan dikembangkan dan dikelola oleh Jan Labs, perusahaan robotika perintis yang bertujuan untuk meningkatkan kemampuan manusia dengan mengintegrasikan AI secara mulus. Prinsip panduan Jan meliputi: Kepemilikan: Pengguna memiliki kontrol penuh atas Jan tanpa pelacakan atau penyimpanan data eksternal. Privasi: Jan meminimalkan ketergantungan pada server eksternal, memprioritaskan privasi pengguna dengan menyimpan data secara aman di perangkat mereka. Dukungan Pengguna: Pengembangan Jan didorong oleh komunitas, memungkinkan pengguna un

Pretzel: Alternatif Berbasis AI untuk Jupyter Notebook

Sektor kecerdasan buatan (AI) sedang mengalami lonjakan pendatang baru. Penerapan AI merevolusi teknologi di bidang seperti NLP (Pemrosesan Bahasa Alami) dan ML (Pembelajaran Mesin). Kurva belajar untuk AI juga curam, bagi mereka yang tidak antusias untuk terjun langsung. Alat tradisional, seperti Jupyter Notebook, bisa jadi sulit dan menakutkan bagi orang yang baru mengenal penelitian data. Perkenalkan Pretzel Pretzel adalah pengganti open-source untuk Jupyter Notebook yang bertujuan untuk menyamakan kedudukan dalam eksplorasi dan analisis data. Tanpa menyentuh satu baris kode pun, antarmuka grafis Pretzel yang ramah pengguna memungkinkan pengguna untuk menarik dan melepas sumber data, mengeksekusi transformasi, dan membangun visualisasi. Fitur Reproduktifitas: Karena notebook Pretzel reaktif, sel langsung diperbarui saat dependensi mereka berubah, menjadikannya ideal untuk pemodelan. Dengan melakukan ini, notebook Anda akan tetap sinkron dan menghasilkan temuan secara konsisten. Kolaborasi Real-Time: Dengan

Kuantifikasi Model Pembelajaran Mendalam dengan Mudah Menggunakan Quanto

HuggingFace memperkenalkan Quanto, sebuah perpustakaan Python untuk mengkuantifikasi model pembelajaran mendalam (deep learning) guna mengurangi biaya komputasi dan memori saat mengevaluasi model tersebut. Tantangan Kuantifikasi Menyebarkan model bahasa besar (LLM) pada perangkat dengan sumber daya terbatas membutuhkan penggunaan sumber daya komputasi dan memori yang efisien. Metode kuantifikasi PyTorch saat ini memiliki keterbatasan, seperti masalah kompatibilitas dengan berbagai konfigurasi model dan perangkat. Solusi Quanto Quanto adalah perpustakaan Python yang dirancang untuk menyederhanakan proses kuantifikasi untuk model PyTorch. Quanto menawarkan berbagai fitur di luar alat kuantifikasi bawaan PyTorch, termasuk: Dukungan untuk kuantifikasi mode aktif Penerapan pada berbagai perangkat (termasuk CUDA dan MPS) Penyisipan otomatis langkah kuantifikasi dan dekuantifikasi dalam alur kerja model Alur Kerja yang Disederhanakan Quanto menyederhanakan alur kerja kuantifikasi dengan menyediakan API sederhana unt

Pembelajaran Struktur Terpadu untuk Pemahaman Dokumen Tanpa OCR dengan mPLUG-DocOwl 1.5

Pengenalan Model Bahasa Besar Multimodal (MLLM) telah dikembangkan dalam beberapa tahun terakhir untuk tugas pemahaman penglihatan dan bahasa. MLLM telah menunjukkan hasil yang menjanjikan dalam memahami gambar umum dengan menyelaraskan penyandi visual terlatih sebelumnya (misalnya, Vision Transformer) dan LLM dengan modul Vision-to-Text (V2T). Namun, model-model ini masih perlu meningkatkan pemahaman dan ekstraksi teks dari gambar yang berisi informasi teks yang kaya, seperti dokumen, halaman web, tabel, dan bagan. Alasan utamanya adalah penyandi visual dan modul V2T dilatih pada pasangan gambar-teks umum dan harus dioptimalkan secara khusus untuk merepresentasikan informasi tekstual dan struktural dalam gambar yang kaya teks. Pembelajaran Struktur Terpadu Untuk meningkatkan pemahaman dokumen visual dengan MLLM, penelitian sebelumnya seperti mPLUG-DocOwl, Docpedia, dan Ureader mencoba merancang tugas membaca teks untuk memperkuat kemampuan pengenalan teks. Namun, mereka harus lebih memperhatikan pemahaman st

LLM4Decompile: Model Bahasa Besar Open-source untuk Dekompilasi dengan Penekanan pada Eksekusi dan Kompilasi Ulang Kode

Pendahuluan Dekompilasi berperan penting dalam rekayasa balik perangkat lunak, memungkinkan analisis dan pemahaman eksekusi biner saat kode sumbernya tidak dapat diakses. Hal ini sangat berharga untuk analisis keamanan perangkat lunak, deteksi bug, dan pemulihan kode lama. Namun, teknik dekompilasi tradisional sering kali kesulitan menghasilkan kode sumber yang dapat dibaca manusia dan akurat secara semantik, sehingga menimbulkan tantangan yang signifikan. Pendekatan Tradisional Penelitian dalam dekompilasi secara tradisional menggunakan berbagai alat dan metode untuk menerjemahkan kode biner kembali ke kode sumber, meskipun dengan tingkat keberhasilan yang bervariasi. Alat-alat ini, seperti Ghidra dan IDA Pro, unggul dalam skenario tertentu tetapi sering kali perlu direvisi untuk mengembalikan kode ke keadaan yang mudah dipahami oleh manusia. Tantangan ini diperparah oleh kesulitan yang melekat dalam merekonstruksi detail kode sumber yang lebih halus secara akurat, seperti nama variabel dan struktur asli, te

Pengembangan Pemahaman Visual: Metode Scaling on Scales (S2) Ungguli Model Lebih Besar dengan Efisiensi dan Keanggunan

Pengantar Dalam dunia dinamis visi komputer dan kecerdasan buatan, pendekatan baru menantang tren tradisional membangun model yang lebih besar untuk pemahaman visual yang canggih. Pendekatan dalam penelitian terkini, yang didukung oleh keyakinan bahwa model yang lebih besar menghasilkan representasi yang lebih kuat, telah mengarah pada pengembangan model visi raksasa. Pemeriksaan Kritis terhadap Model Scaling Penelitian ini secara kritis memeriksa praktik umum peningkatan skala model. Pemeriksaan ini mengungkap pengeluaran sumber daya yang signifikan dan pengembalian yang semakin berkurang pada peningkatan kinerja yang terkait dengan arsitektur model yang terus diperbesar. Hal ini menimbulkan pertanyaan yang relevan tentang keberlanjutan dan efisiensi pendekatan ini, terutama dalam domain di mana sumber daya komputasi sangat berharga. Metode Scaling on Scales (S2) UC Berkeley dan Microsoft Research memperkenalkan teknik inovatif yang disebut Scaling on Scales (S2). Metode ini mewakili pergeseran paradigma, me

Startup AI Reprompt Percepat Pengembangan Kecerdasan Buatan yang Siap Produksi

Pengantar Meskipun AI merupakan industri yang berkembang pesat, sering kali terdapat banyak kendala dalam perjalanan dari penelitian terobosan ke aplikasi praktis. Meningkatkan kualitas model AI ke tingkat produksi merupakan tantangan besar. Meskipun peneliti dapat membuat model yang kuat, menjadikannya cocok untuk aplikasi praktis dapat memakan waktu dan sulit. Mengenal Reprompt AI Reprompt AI adalah startup baru dengan tujuan ambisius untuk mengubah cara tim AI menghubungkan pengembangan dan penerapan. Baru-baru ini disorot dalam pengumuman peluncuran di Y Combinator. Memecahkan Masalah Pengembangan AI Reprompt mengatasi dua masalah sekaligus: Men-debug Model AI yang Kompleks: Pendekatan tradisional men-debug model AI yang canggih secara manual, baris demi baris, yang memakan waktu dan rawan kesalahan. Pengujian dan Peningkatan Model AI: Membangun kumpulan data uji secara manual untuk memverifikasi model AI sangatlah melelahkan dan memakan waktu. Fitur dan Manfaat Reprompt Reprompt menawarkan solusi yang el

Dataset Domain Publik untuk Pelatihan LLM

Perkembangan Terbaru dalam Pelatihan LLM Debat mengenai perlunya materi berhak cipta dalam pelatihan model AI teratas telah lama terjadi. Namun, perkembangan terbaru menantang pandangan konvensional ini, menunjukkan bahwa model bahasa besar dapat dilatih tanpa penggunaan materi berhak cipta yang kontroversial. Common Corpus: Dataset Domain Publik untuk Pelatihan LLM Inisiatif Common Corpus telah muncul sebagai dataset domain publik terbesar untuk pelatihan LLM. Kolaborasi internasional ini dipimpin oleh Pleias dan melibatkan peneliti dalam pelatihan awal LLM, etika AI, dan warisan budaya. Dataset multibahasa dan beragam ini menunjukkan potensi pelatihan LLM tanpa masalah hak cipta, menandai pergeseran signifikan dalam lanskap AI. KL3M: Model LLM yang Terlatih Adil Fairly Trained, sebuah organisasi nirlaba terkemuka di industri AI, telah mengambil langkah tegas menuju praktik AI yang lebih adil. Mereka telah memberikan sertifikasi pertama untuk LLM yang dibangun tanpa pelanggaran hak cipta, sebuah model yang d

CPU vs GPU untuk Menjalankan LLM Secara Lokal

CPU: Prosesor Tradisional Prosesor serba guna yang ditemukan di berbagai perangkat komputasi Menangani tugas komputasi umum, termasuk sistem operasi, aplikasi, dan beberapa aspek model AI Efisien dalam tugas yang memerlukan pemrosesan logis dan berurutan GPU: Akselerator AI Awalnya dirancang untuk mempercepat rendering grafis Berisi ratusan atau ribuan inti yang lebih kecil, memungkinkan operasi paralel Sangat cocok untuk operasi matriks dan vektor yang mendasari pembelajaran mesin dan LLM Memberikan keunggulan kecepatan yang signifikan dibandingkan CPU dalam melatih dan menjalankan LLM CPU vs GPU: Pertimbangan Utama Kompleksitas dan Ukuran Model: Model yang lebih kecil atau yang digunakan untuk tugas sederhana mungkin tidak memerlukan daya komputasi GPU dan dapat berjalan efisien pada CPU. Anggaran dan Sumber Daya: GPU umumnya lebih mahal daripada CPU dan mungkin memerlukan solusi pendinginan tambahan karena konsumsi dayanya yang lebih tinggi. Lingkungan Pengembangan dan Penerapan: Beberapa lingkungan mungki

Inovasi di Persimpangan AI dan Web3: Cuautemoc Weber dari Gateway.fm

Ekosistem Web3 dan Dampak AI Ekosistem Web3 telah mencapai kematangan dengan pencapaian industri terkini di bidang regulasi. Namun, banyak yang mengira bahwa komunitas Web3 dan AI adalah sama. Ini tidak benar. Ya, teknologi Web3 dan inovasi AI memiliki titik temu dan persimpangan. Bagaimana keduanya berpotongan? Cuautemoc Weber, Co-Founder dan CEO Gateway.fm, menjelaskannya. Potensi Token AI Baru-baru ini, ada peningkatan popularitas token terkait AI, seperti token WLD dari Worldcoin dan token OCEAN dari Ocean Protocol. Meskipun belum pasti apakah momentum ini akan bertahan dalam jangka panjang, integrasi AI ke dalam ekosistem kripto menunjukkan potensi signifikan dan sudah terjadi di beberapa persimpangan, dari pelatihan set data LLM melalui sumber dan pelacakan yang dapat diverifikasi hingga cara baru pembayaran mikro untuk beberapa layanan komputasi. Penerapan AI di Web3 Konvergensi AI dan teknologi blockchain menjadi katalis untuk inovasi, menawarkan berbagai aplikasi, mulai dari organisasi otonom terdese

Garnet: Sistem Penyimpanan Cache Open-Source dan Lebih Cepat untuk Mempercepat Aplikasi dan Layanan

Pengantar Untuk memenuhi kebutuhan yang terus meningkat akan opsi penyimpanan data yang lebih efektif di tengah pesatnya pengembangan aplikasi dan layanan web interaktif, tim peneliti dari Microsoft telah merilis Garnet, sistem penyimpanan cache open-source. Meskipun sistem penyimpanan cache tradisional efektif, mereka seringkali tidak dapat memenuhi kebutuhan aplikasi kontemporer yang terus berubah. Hal ini menyebabkan terciptanya Garnet, yang berbeda dari pendahulunya, menawarkan berbagai fungsionalitas dan API untuk memenuhi berbagai kebutuhan aplikasi modern. Fitur Utama Garnet dapat menangani tipe data sederhana seperti hash dan set yang diurutkan serta yang lebih kompleks seperti string mentah. Ini menawarkan kinerja dan kemampuan beradaptasi yang tak tertandingi. Arsitekturnya telah dirancang khusus untuk memanfaatkan sepenuhnya kemampuan perangkat keras terbaru, menjamin kinerja terbaik pada berbagai platform dan sistem operasi. Komponen utama Garnet adalah throughput dan skalabilitasnya yang luar bia

Kerangka Kerja Pembelajaran Mesin Terpadu untuk Meningkatkan Keamanan LLM

Pengantar Serangan jailbreak sangat penting untuk mengungkap dan mengatasi kelemahan keamanan dalam LLM, karena bertujuan untuk melewati langkah-langkah perlindungan dan menghasilkan keluaran yang dilarang. Namun, tidak adanya kerangka kerja standar untuk menerapkan serangan ini menghambat penilaian keamanan yang menyeluruh, mengingat beragam metode yang tersedia. Tantangan Keamanan LLM Meskipun LLM mengalami kemajuan luar biasa dalam pemrosesan bahasa alami, mereka tetap rentan terhadap upaya jailbreak. Berkembangnya teknik jailbreak baru menggarisbawahi perlunya strategi pertahanan yang kuat. Namun, membandingkan serangan ini terbukti sulit karena perbedaan dalam kriteria evaluasi dan tidak tersedianya kode sumber secara langsung, sehingga memperburuk upaya untuk mengidentifikasi dan melawan kerentanan LLM. Kerangka Kerja EasyJailbreak Para peneliti dari School of Computer Science, Fudan University, Shanghai, China, Institute of Modern Languages and Linguistics, Fudan University, Shanghai, China, dan Shangh

MinusFace: Merevolusi Privasi Pengenalan Wajah dengan Pengurangan Fitur dan Pengacakan Saluran — Studi Terobosan oleh Universitas Fudan dan Tencent

Pendahuluan Di dunia yang saling terhubung saat ini, teknologi pengenalan wajah menawarkan kenyamanan yang tak tertandingi namun juga mengancam privasi individu. Kebocoran data wajah dapat secara tidak sengaja mengungkapkan atribut pribadi, sehingga menekankan urgensi langkah-langkah perlindungan privasi dalam sistem pengenalan wajah. MinusFace: Pendekatan Baru Peneliti dari Universitas Fudan, Youtu Lab Tencent, dan WeChat Pay Lab33 Tencent telah memperkenalkan MinusFace, pendekatan perintis yang terinspirasi oleh prinsip kompresi gambar. Teknik ini secara cerdik mengurangi fitur dari gambar wajah asli untuk menghasilkan varian baru yang tidak informatif secara visual. Metode inovatif ini mengatasi interaksi rumit antara menjaga privasi dan memastikan efektivitas teknologi pengenalan wajah. Yang membedakan MinusFace adalah kemampuannya yang unik untuk mempertahankan fitur identitas penting dalam ruang fitur berdimensi tinggi, sehingga sangat tahan terhadap upaya dekripsi atau pemulihan yang tidak sah. Keseimb

Membuat AI Bahasa Menjadi Pakar Domain: Pendekatan RAFT

Pendahuluan Model bahasa saat ini sangat cerdas sebagai generalis. Mereka dapat memberikan banyak fakta dan wawasan tentang sejarah, sains, atau peristiwa terkini. Namun, ketika menyangkut topik khusus dan khusus, bahkan otak AI yang paling hebat pun bisa menjadi sedikit kabur. Kebutuhan akan Pengetahuan Domain Bayangkan Anda seorang dokter yang mencoba mendapatkan bantuan untuk meneliti kondisi medis yang langka. Atau seorang pengacara yang mencari putusan tentang masalah hukum yang tidak jelas. Model bahasa biasa membutuhkan lebih banyak pengetahuan domain yang mendalam. Ini seperti meminta siswa berprestasi untuk mempertimbangkan fisika kuantum – mereka cerdas, tetapi tidak secerdas itu. RAFT: Solusi Inovatif Sebuah tim peneliti di UC Berkeley mengusulkan RAFT (Retrieval Augmented Fine Tuning), pendekatan baru yang cerdik yang dapat menjadi Batu Rosetta untuk menerjemahkan antara AI umum dan keahlian yang sangat spesifik. Ini adalah cara untuk mengisi model bahasa yang sangat mumpuni tetapi generalis denga

Ubicloud: Alternatif Sumber Terbuka untuk AWS

Pendahuluan Penyedia layanan cloud terkemuka seperti AWS (Amazon Web Services), Microsoft Azure, dan Google Cloud memiliki infrastruktur yang kuat dan dapat diskalakan, sehingga mendorong ekspansi AI. Namun, otoritas yang besar tak terhindarkan menyebabkan hilangnya kendali. Ketergantungan vendor, struktur harga yang tidak jelas, dan celah keamanan menjadi kekhawatiran bisnis utama. Ubicloud: Alternatif Sumber Terbuka Ubicloud, sebuah startup AI yang inovatif, merevolusi industri cloud dengan pendekatan uniknya. Tidak seperti layanan cloud lainnya, Ubicloud memanfaatkan perangkat lunak sumber terbuka untuk menyediakan Infrastruktur sebagai Layanan (IaaS). Ini berarti Ubicloud tidak menyimpan data pelanggan di servernya. Sebaliknya, pelanggan dapat menerapkan program pada server bare metal dari perusahaan seperti Hetzner atau AWS Bare Metal, sehingga memberikan fleksibilitas dan kontrol yang tak tertandingi atas data dan manajemen infrastruktur. Keunggulan Ubicloud Hemat Biaya: Ubicloud menawarkan penghematan

Alat OCR: Paket Python Serbaguna untuk Integrasi dan Eksperimen yang Mudah dengan Berbagai OCR dan Kerangka Deteksi Objek

Pengenalan Dalam dunia digital saat ini, mengubah gambar teks menjadi teks yang dapat diedit, sebuah proses yang dikenal sebagai Pengenalan Karakter Optik (OCR), adalah tugas yang umum. Namun, banyak orang berjuang dengan kode yang rumit untuk membuat OCR bekerja untuk peneliti dan pengembang, membuat tugas yang seharusnya mudah menjadi jauh lebih menantang. Solusi yang Terfragmentasi Sudah ada beberapa alat dan paket yang tersedia yang bertujuan untuk menyederhanakan tugas OCR. Namun, solusi ini sering kali berfokus terutama pada bagian inferensi OCR, sehingga pengguna harus menangani tugas penting lainnya seperti mengelola file gambar, mengurai hasil, dan mengintegrasikan dengan model OCR yang berbeda secara independen. Pendekatan yang terfragmentasi ini dapat membuat proses menjadi kurang efisien dan lebih memakan waktu daripada yang seharusnya. Alat OCR Temui alat OCR, paket komprehensif yang dirancang untuk menyederhanakan seluruh proses OCR. Toolkit ini menawarkan cara intuitif untuk menangani file gamb

Perbandingan AI Microsoft Bing vs Google Bard: AI Generatif untuk Mesin Pencari

Pendahuluan Munculnya teknologi AI generatif menandai tonggak penting dalam lanskap mesin pencari yang berkembang pesat. Microsoft Bing AI dan Google Bard AI menonjol sebagai kekuatan perintis di era baru ini, memanfaatkan model AI canggih untuk mendefinisikan ulang cara kita mencari dan berinteraksi dengan informasi daring yang sangat banyak. Analisis komprehensif ini mengeksplorasi nuansa kedua platform, menawarkan wawasan tentang kelebihan, kekurangan, fungsi, kasus penggunaan, dan tinjauan perbandingan yang mendetail. Microsoft Bing AI Microsoft Bing AI adalah asisten bertenaga AI yang siap meningkatkan interaksi kita dengan informasi digital. Integrasinya dengan Microsoft Edge menawarkan pengalaman pengguna yang mulus, memanfaatkan kemampuan model OpenAI generasi berikutnya untuk memberikan hasil pencarian yang tepat dan sesuai konteks. Kelebihan: Akurasi yang Ditingkatkan: Integrasi Bing AI dengan model OpenAI generasi berikutnya memastikan hasil pencarian dan akurasi respons yang tinggi. Integrasi yang

PERL: Teknik Pembelajaran Penguatan Efisien Parameter untuk Penyelarasan Model Bahasa

Pendahuluan Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF) meningkatkan keselarasan Model Bahasa Besar (LLM) yang telah dilatih sebelumnya dengan nilai-nilai manusia, sehingga meningkatkan penerapan dan keandalannya. Namun, menyelaraskan LLM melalui RLHF menghadapi rintangan yang signifikan, terutama karena intensitas komputasi dan tuntutan sumber daya dari proses tersebut. Melatih LLM dengan RLHF adalah tugas yang kompleks dan intensif sumber daya yang membatasi adopsi secara luas. Teknik yang Ada Berbagai teknik seperti RLHF, RLAIF, dan LoRA telah dikembangkan untuk mengatasi keterbatasan yang ada. RLHF bekerja dengan menyesuaikan model hadiah pada keluaran yang disukai dan melatih kebijakan menggunakan algoritma pembelajaran penguatan seperti PPO. Memberi label contoh untuk melatih model hadiah bisa jadi mahal, sehingga beberapa karya telah mengganti umpan balik manusia dengan umpan balik AI. Metode Parameter Efficient Fine-Tuning (PEFT) mengurangi jumlah parameter yang dapat dilatih di PLM sambil

Intel dan Pemerintahan Biden Bekerja Sama untuk Mendanai Chip

Pendanaan untuk Pabrik Chip Amerika Pemerintahan Biden baru-baru ini menyetujui untuk memberikan dana langsung sebesar $8,5 miliar dan pinjaman sebesar $11 miliar untuk pabrik chip komputer di Arizona, Ohio, New Mexico, dan Oregon. Intel menyatakan bahwa pendanaan baru dan inisiatif lainnya akan menciptakan total 30.000 pekerjaan di bidang manufaktur dan konstruksi. Pada hari Rabu, Presiden Joe Biden akan mengunjungi fasilitas Intel di Chandler, Arizona, yang berpotensi menjadi negara bagian yang penting dalam pemilu November. Biden berencana untuk mempromosikan investasi tersebut selama kunjungannya. Dia sering menyatakan bahwa masyarakat tidak mengetahui rencana ekonominya dan menyiratkan bahwa lebih banyak orang akan mendukungnya jika mereka tahu. Pendanaan ini disediakan oleh undang-undang bipartisan CHIPS and Science yang ditandatangani oleh Biden pada tahun 2022, dengan tujuan mengurangi ketergantungan Amerika Serikat pada produsen chip asing. Undang-undang tersebut bertujuan untuk menginvestasikan $200

Model Yayasan Terbuka: Dampak dan Tata Kelola dalam AI

Pendahuluan Munculnya model yayasan terbuka, seperti BERT, CLIP, dan Stable Diffusion, telah mengantarkan era baru dalam kecerdasan buatan (AI), yang ditandai dengan perkembangan teknologi yang pesat dan dampak sosial yang signifikan. Model-model ini dicirikan oleh bobot model yang tersedia secara luas, memungkinkan penyesuaian yang lebih besar dan akses yang lebih luas, yang pada gilirannya menawarkan sejumlah manfaat dan menimbulkan risiko baru. Model Yayasan Terbuka vs Tertutup Metode mutakhir saat ini dalam pengembangan AI sering kali melibatkan model yayasan tertutup, di mana bobot model tidak tersedia untuk umum, sehingga membatasi kemampuan peneliti dan pengembang untuk menyesuaikan atau memeriksa model-model ini. Model yayasan terbuka menantang paradigma ini dengan menawarkan alternatif yang mendorong inovasi, persaingan, dan transparansi. Model-model ini memungkinkan adaptasi dan inferensi lokal, menjadikannya sangat berharga di bidang-bidang di mana sensitivitas data sangat penting. Namun, sifatnya

RAGTune: Alat Penyetelan dan Optimasi Otomatis untuk Alur RAG (Pembuatan yang Diperkuat Pengambilan)

Pengantar Mengoptimalkan alur RAG (Pembuatan yang Diperkuat Pengambilan) merupakan tantangan besar dalam pemrosesan bahasa alami. Untuk mencapai kinerja optimal, pengembang sering kali kesulitan memilih kombinasi terbaik dari model bahasa besar (LLM), penyematan, transformasi kueri, dan peranking ulang. Tanpa panduan yang tepat, proses ini dapat menakutkan dan memakan waktu. Tantangan Penyetelan dan Optimasi RAG Solusi yang ada untuk menyetel dan mengoptimalkan alur RAG terbatas dalam hal aksesibilitas dan keramahan pengguna. Banyak yang membutuhkan pengetahuan bahasa pemrograman yang rumit dan metrik evaluasi yang komprehensif untuk menilai kinerja secara efektif. Akibatnya, pengembang menghadapi kendala dalam bereksperimen secara efisien dengan parameter dan konfigurasi yang berbeda untuk menemukan pengaturan yang paling efektif untuk kasus penggunaan spesifik mereka. Memperkenalkan RAGTune RAGTune adalah alat sumber terbuka unik yang dirancang khusus untuk menyederhanakan proses penyetelan dan pengoptimala

Revolusi AI dengan Agen Model Bahasa Besar yang Ditingkatkan: Peningkatan Performa, Efisiensi, dan Keandalan

Pengantar Perpaduan kecerdasan buatan dan pemahaman seperti manusia selalu menjadi bidang yang menarik, terutama saat memberdayakan model bahasa besar (LLM) untuk berfungsi sebagai agen yang berinteraksi, bernalar, dan membuat keputusan seperti manusia. Dorongan untuk meningkatkan entitas digital ini telah menghasilkan inovasi penting, dengan setiap langkah yang bertujuan membuat mesin lebih membantu dan intuitif dalam aplikasi dunia nyata, dari bantuan otomatis hingga tugas analitis kompleks di berbagai bidang. Tantangan Agen LLM Inti dari upaya ini adalah tantangan melengkapi LLM dengan kemampuan agen yang kuat tanpa mengurangi kecerdasan umum dan keserbagunaannya. Inti masalahnya terletak pada penyempurnaan cara melatih model-model ini, melampaui metode tradisional yang sering kali menjerat format data pelatihan dengan proses penalaran agen. Keterikatan seperti itu dapat memiringkan kurva belajar model, membuatnya mahir dalam tugas-tugas tertentu sementara gagal dalam tugas lain, atau lebih buruk lagi, men

Revolusi Produktivitas di Microsoft Office dengan Plugin Copilot Bertenaga AI

Transformasi Ruang Kerja Digital dengan Plugin dan Keterampilan Baru Microsoft telah memperkenalkan serangkaian plugin dan fitur Copilot yang inovatif untuk rangkaian Office-nya, termasuk Word, Excel, PowerPoint, dan Outlook. Alat-alat ini, yang pada dasarnya berfungsi sebagai ChatGPT untuk perangkat lunak produktivitas, menjanjikan peningkatan efisiensi, kreativitas, dan manajemen data bagi para profesional dan bisnis. PowerPoint yang Dirombak Pengguna PowerPoint sekarang dapat memanfaatkan AI untuk mengubah dokumen Word menjadi presentasi yang menarik, membuat tayangan slide cepat, dan meringkas dek yang panjang hanya dengan beberapa klik. Kemudahan menambahkan slide baru dan saran cerdas yang diberikan oleh Copilot menghasilkan pengalaman pembuatan presentasi yang mulus. Analisis Bertenaga AI Excel Excel menerima peningkatan signifikan dengan kemampuan untuk membuat bagan profesional secara instan, menggunakan perintah bahasa alami untuk rumus dan perhitungan, serta memvisualisasikan tren data. Fitur-fitur

Larimar: Arsitektur Pembelajaran Mesin yang Terinspirasi Otak untuk Meningkatkan LLM

Pendahuluan Memperhalus kemampuan model bahasa besar (LLM) merupakan tantangan penting dalam kecerdasan buatan. Model raksasa digital ini, yang menyimpan banyak pengetahuan, menghadapi kendala yang signifikan: tetap terkini dan akurat. Metode tradisional untuk memperbarui LLM, seperti pelatihan ulang atau penyesuaian halus, membutuhkan banyak sumber daya dan berisiko mengalami “lupa bencana”, di mana pembelajaran baru dapat menghapus informasi berharga yang diperoleh sebelumnya. Larimar: Arsitektur yang Terinspirasi Otak Sebuah tim dari IBM AI Research dan Universitas Princeton telah memperkenalkan Larimar, sebuah arsitektur yang menandai perubahan paradigma dalam peningkatan LLM. Dinamai berdasarkan mineral biru langka, Larimar melengkapi LLM dengan memori episodik terdistribusi, yang memungkinkan mereka menjalani pembaruan pengetahuan satu kali yang dinamis tanpa memerlukan pelatihan ulang yang melelahkan. Pendekatan inovatif ini terinspirasi dari proses kognitif manusia, terutama kemampuan untuk belajar, m

Kemajuan GPT-4 ke GPT-5: Multimodal, Multibahasa, dan Lebih Banyak Lagi

Seiring dengan meningkatnya antisipasi terhadap lompatan berikutnya dalam kecerdasan buatan dengan pengembangan GPT-5 oleh OpenAI, komunitas teknologi dan bisnis sangat ingin memahami kemampuan dan peningkatan baru apa yang akan dibawa oleh iterasi ini. Dengan GPT-4 yang telah membuat kemajuan signifikan dalam komunikasi seperti manusia, penalaran logis, dan pemrosesan input multimodal, GPT-5 yang akan datang berjanji untuk mendorong batasan ini lebih jauh. Peningkatan dan Inovasi Utama Arsitektur dan Efisiensi Lanjutan: GPT-5 akan menjadi arsitektur yang lebih canggih, berpotensi memanfaatkan jaringan saraf grafik bersama dengan mekanisme perhatian yang ditingkatkan, yang meningkatkan efisiensi pemrosesan dan pembuatan bahasa. Kemajuan ini dapat menghasilkan waktu respons yang lebih cepat dan pemahaman yang lebih bernuansa tentang struktur bahasa yang kompleks, termasuk sarkasme dan ironi. Multimodalitas: Kemampuan GPT-4 dalam menangani gambar dan teks menjadi preseden yang diharapkan akan dibangun oleh GPT-

OneGrep: Startup DevOps Copilot untuk Mengurangi Biaya Observabilitas Tim Anda

Tim Rekayasa Perangkat Lunak menghadapi tantangan besar dalam mengelola biaya observabilitas dan penanganan insiden, terutama saat pengembangan berlangsung pesat. Instrumentasi kode yang efektif sulit dilakukan oleh para insinyur, sehingga menimbulkan kesalahan yang mahal. Selain itu, insinyur yang bertugas menghadapi kesulitan besar dalam mitigasi insiden, terutama karena ketergantungan pada pengetahuan dan keahlian suku dengan alat tertentu. Situasi ini menyoroti perlunya praktik dan alat yang lebih baik untuk membantu observabilitas dan manajemen insiden guna mencegah pembengkakan biaya dan meningkatkan efisiensi respons. Temui OneGrep, DevOps Copilot berbasis AI yang memecahkan masalah ini dengan cepat. Dengan OneGrep, para insinyur dapat mengontrol observabilitas dengan lebih baik. Ia memanfaatkan pembelajaran mesin dan terhubung dengan solusi observabilitas yang sudah ada sebelumnya untuk mempercepat proses penemuan informasi para insinyur. Dengan mengurangi waktu yang dihabiskan para insinyur untuk mem

Teknik AI Baru untuk Rekonstruksi Objek 3D dari Gambar 2D Tanpa Pose Kamera

Pendahuluan Rekonstruksi objek 3D dari gambar 2D sangat penting untuk berbagai aplikasi, seperti e-commerce dan navigasi kendaraan otonom. Namun, komputer kesulitan merekonstruksi model 3D yang akurat tanpa mengetahui pose kamera. Tantangan Inferensi Pose Inferensi pose, menentukan pose kamera dari gambar, merupakan tantangan utama dalam rekonstruksi 3D. Teknik sebelumnya bergantung pada pengumpulan pose kamera terlebih dahulu atau menggunakan jaringan adversarial generatif (GAN), yang tidak dapat menyelesaikan masalah secara akurat dan efisien. MELON: Teknik Baru Peneliti dari Google dan Universitas Stanford telah memperkenalkan MELON, teknik AI baru untuk mengatasi tantangan dalam merekonstruksi objek 3D dari gambar 2D dengan pose yang tidak diketahui. Metode MELON MELON menggunakan dua teknik utama: Pengkode CNN Dinamis: Pengkode CNN yang dilatih secara dinamis untuk meregresi pose kamera dari gambar pelatihan. Kerugian Modulo: Kerugian yang mempertimbangkan simetri semu suatu objek. Evaluasi Evaluasi pada

FouriScale: Pendekatan AI Baru yang Meningkatkan Pembuatan Gambar Resolusi Tinggi dari Model Difusi yang Dilatih Sebelumnya

Pendahuluan Dalam pencitraan digital, upaya untuk mensintesis gambar beresolusi tinggi dengan kualitas sempurna telah mendorong inovasi berkelanjutan. Meskipun efektif dalam cakupan yang dirancang, pendekatan tradisional menghadapi rintangan yang signifikan saat menghasilkan gambar yang melampaui batas resolusi asli mereka. Tantangan ini ditandai dengan munculnya pola berulang dan distorsi struktural, yang mengorbankan kesetiaan dan integritas gambar yang dihasilkan. Model Difusi yang Dilatih Sebelumnya Model difusi yang dilatih sebelumnya telah menjadi yang terdepan dalam sintesis gambar dan dipuji karena kemampuannya menghasilkan gambar berkualitas tinggi. Namun, penerapannya pada pembuatan gambar beresolusi tinggi sering kali menghasilkan artefak yang merusak pengalaman visual. FouriScale: Solusi Inovatif FouriScale, sebuah metode inovatif yang diperkenalkan oleh para peneliti dari The Chinese University of Hong Kong, Centre for Perceptual and Interactive Intelligence, Sun Yat-Sen University, SenseTime Res

VideoElevator: Metode AI Tanpa Pelatihan dan Siap Pakai yang Meningkatkan Kualitas Video Sintetis dengan Model Difusi Teks-ke-Gambar yang Serbaguna

Latar Belakang Model generatif telah mengalami kemajuan pesat, terutama didorong oleh evolusi model difusi. Algoritme canggih ini, yang terkenal dengan kemampuan sintesis gambar dan videonya, telah menandai era baru dalam kreativitas yang digerakkan oleh AI. Namun, efektivitasnya bergantung pada ketersediaan kumpulan data yang luas dan berkualitas tinggi. Sementara model difusi teks-ke-gambar (T2I) telah berkembang pesat dengan miliaran gambar yang dikurasi dengan cermat, model teks-ke-video (T2V) bergulat dengan kebutuhan akan kumpulan data video yang sebanding, yang menghambat kemampuan mereka untuk mencapai kesetiaan dan kualitas yang optimal. Metode VideoElevator Sebagai tanggapan terhadap tantangan ini, para peneliti dari Institut Teknologi Harbin dan Universitas Tsinghua telah memperkenalkan VideoElevator, sebuah pendekatan terobosan yang merevolusi pembuatan video. Tidak seperti metode tradisional, VideoElevator menggunakan metodologi pengambilan sampel yang terurai, memecah proses pengambilan sampel m

Suno AI: Chatbot Berbasis ChatGPT yang Merevolusi Penciptaan Musik

Di dunia kecerdasan buatan (AI) dan musik, muncul pemain baru yang menarik perhatian dan imajinasi pengguna di seluruh dunia: Suno, chatbot berbasis ChatGPT yang dirancang untuk menghasilkan lagu orisinal dari perintah teks sederhana. Fungsi Utama Fungsi utama Suno adalah menciptakan karya musik orisinal secara instan berdasarkan perintah teks yang diterimanya. Platform ini awalnya melibatkan pengguna melalui saluran Discord untuk pengujian, kemudian memperluas kemampuannya ke antarmuka web, sehingga musik yang dihasilkan AI lebih mudah diakses oleh khalayak yang lebih luas. Pada Desember 2023, Suno memperluas jangkauannya dengan mengintegrasikan Copilot Microsoft, memungkinkan pengalaman yang lebih mulus dalam menghasilkan lagu melalui perintah Chatbot. Proses Sederhana dan Inovatif Prosesnya sangat sederhana namun inovatif. Pengguna mengirimkan perintah, dan dalam waktu satu menit, Suno membuat cuplikan lagu selama 15 detik, menunjukkan respons cepat platform dan potensi kreatif AI dalam musik. Layanan ini

ReDrafter: Meningkatkan Efisiensi Model Bahasa Besar dengan Dekoding Spekulatif dan Jaringan Saraf Berulang

Pendahuluan Model bahasa besar (LLM) telah merevolusi pembelajaran mesin, memungkinkan pemahaman dan generasi bahasa yang canggih. Namun, kecepatan pemrosesan respons tekstual masih menjadi kendala. Dekoding Spekulatif dan ReDrafter Dekoding spekulatif mempercepat pembangkitan teks dengan memprediksi token berikutnya menggunakan model yang lebih kecil dan disempurnakan oleh model target yang lebih besar. ReDrafter menggabungkan dekoding spekulatif dengan jaringan saraf berulang (RNN). Inovasi ReDrafter Kepala Draf Tunggal: ReDrafter menggunakan kepala draf tunggal dengan ketergantungan berulang, menyederhanakan prediksi dan mengurangi beban komputasi. Penghapusan Token Suboptimal: Kepala draf berulang memungkinkan penghapusan cepat token yang tidak optimal, menghilangkan kebutuhan akan struktur perhatian pohon yang kompleks. Proses Prediksi yang Efisien: Sifat berulang dari ReDrafter memungkinkan proses prediksi yang efisien, mempercepat pembangkitan respons tanpa mengorbankan kedalaman atau kualitas model. H

Optimalisasi Preferensi Model Bahasa dengan ORPO: Terobosan Baru dalam Penyelarasan

Pengantar Model bahasa terlatih (PLM) telah merevolusi kecerdasan buatan, meniru pemahaman dan pembuatan teks seperti manusia. Namun, muncul tantangan dalam menyelaraskan model-model ini dengan preferensi manusia. Tim KAIST AI memperkenalkan pendekatan baru, Odds Ratio Preference Optimization (ORPO), yang menjanjikan untuk merevolusi penyelarasan model dan menetapkan standar baru untuk AI yang etis. Metode Tradisional vs ORPO Metode tradisional untuk meningkatkan penyelarasan PLM bergantung pada penyesuaian halus yang diawasi (SFT) dan pembelajaran penguatan dengan umpan balik manusia (RLHF). Proses ini rumit, biasanya melibatkan prosedur penyelarasan multi-tahap yang memerlukan model referensi tambahan, sehingga pelatihan menjadi intensif sumber daya dan memakan waktu. ORPO menyederhanakan proses ini dengan mengintegrasikan penyelarasan preferensi langsung ke dalam fase SFT. Dengan menghilangkan kebutuhan akan model referensi terpisah, ORPO sangat menyederhanakan proses pelatihan model. Cara Kerja ORPO ORPO

Integrasi Data Multimodal: Revolusi Analisis Literatur Ilmiah dengan Uni-SMART

Analisis Literatur Ilmiah Analisis literatur ilmiah sangat penting untuk kemajuan penelitian, tetapi pertumbuhan pesat artikel ilmiah menimbulkan tantangan untuk analisis menyeluruh. Model Bahasa Besar (LLM) menjanjikan untuk merangkum teks tetapi membutuhkan bantuan dengan elemen multimodal seperti struktur molekul dan bagan. Tantangan Mengekstrak informasi yang ditargetkan dari literatur ilmiah memakan waktu, bergantung pada tinjauan manual dan basis data khusus. LLM saat ini unggul dalam ekstraksi teks tetapi kesulitan dengan konten multimodal seperti tabel dan reaksi. Ada kebutuhan mendesak akan sistem cerdas yang dengan cepat memahami dan menganalisis berbagai data ilmiah, membantu peneliti menavigasi lanskap informasi yang kompleks. Uni-SMART Peneliti dari DP Technology dan AI for Science Institute, Beijing, telah mengembangkan Uni-SMART (Universal Science Multimodal Analysis and Research Transformer), sebuah model terobosan yang dirancang untuk menganalisis literatur ilmiah multimodal secara komprehens

Hidet: Kompiler Pembelajaran Mendalam Berbasis Python Sumber Terbuka

Permintaan untuk Beban Kerja Inferensi yang Dioptimalkan Permintaan akan beban kerja inferensi yang dioptimalkan sangat penting dalam pembelajaran mendalam. Temui Hidet, kompilator pembelajaran mendalam sumber terbuka yang dikembangkan oleh tim khusus di CentML Inc. Kompiler berbasis Python ini bertujuan untuk menyederhanakan proses kompilasi, menawarkan dukungan menyeluruh untuk model DNN dari PyTorch dan ONNX hingga kernel CUDA yang efisien, dengan fokus pada GPU NVIDIA. Mengatasi Tantangan Latensi Hidet muncul dari penelitian yang disajikan dalam makalah “Hidet: Task-Mapping Programming Paradigm for Deep Learning Tensor Programs”. Kompiler ini mengatasi tantangan mengurangi latensi inferensi model pembelajaran mendalam, aspek penting untuk memastikan penyajian model yang efisien di berbagai platform, dari layanan cloud hingga perangkat edge. Paradigma Pemrograman Pemetaan Tugas Pengembangan Hidet didorong oleh pengakuan bahwa mengembangkan program tensor yang efisien untuk operator pembelajaran mendalam ad