Istilah kunci untuk diketahui tentang lalu lintas bot dan monetisasi

Inilah jargon buster untuk membantu memahami kosakata ekonomi AI-media yang muncul, apa arti istilah-istilah ini, dan mengapa mereka penting sekarang.

Pay-per-crawl

Seperti apa: Kelas Kebugaran Balita

Apa artinya: Ide yang muncul (dan Taktik Negosiasi) di mana perusahaan AI akan membayar penerbit setiap kali bot merangkak situs mereka untuk menelan konten. Ini bukan lump sum seperti kesepakatan lisensi, tetapi akan mengenakan biaya untuk setiap gigitan digital. Jadi setiap kali LLM merangkak dan merekrut situs, itu akan membayar jumlah yang sudah disepakati sebelumnya kepada penerbit. Masih harus dilihat apakah itu skala.

Pay-per-Query

Seperti apa: Kebiasaan Google yang sangat mahal

Apa artinya: Ini tampaknya menjadi konsep pembayaran AI yang disukai di antara beberapa. Ini adalah model yang diusulkan di mana penerbit dibayar setiap kali konten mereka menjadi jawaban yang dihasilkan AI. Jadi tidak saat dirangkak, tetapi saat digunakan. (Argumennya adalah satu perayapan dapat memberi makan beberapa hasil kueri, yang penerbit tidak akan dibayar.)

Anda memiliki agen

Seperti apa: Asisten robot dengan agendanya sendiri

Apa artinya: Salah satu istilah panas tahun ini, bot ini menggunakan teknologi AI generatif untuk menyelesaikan tugas atas nama pengguna. Mereka dapat bertindak seperti asisten virtual. Ini adalah bot AI yang lebih canggih (kadang -kadang digunakan secara bergantian, tetapi “bot” biasanya melakukan tugas yang lebih sederhana dalam format percakapan – seringkali dengan respons skrip terhadap petunjuk) yang dapat bertindak secara mandiri. Mereka dapat membeli bahan makanan dan memesan reservasi restoran atas perintah pengguna. Menurut definisi Google, bot “reaktif” sementara agen AI “proaktif.”

Agen Pengguna AI

Seperti apa: Avatar di dunia virtual

Apa artinya: Istilah ini juga sering digunakan secara bergantian dengan “agen AI,” tetapi agen pengguna AI secara khusus berinteraksi dengan konten online atas nama pengguna. Misalnya, pengguna dapat menanyakan sistem AI, “Apa itu Google Zero?” Sistem akan memberi tahu agen pengguna AI untuk mengambil informasi itu, itu akan merangkak situs seperti Digiday untuk mendapatkan informasi itu, dan kemudian sistem AI akan menghasilkan respons kepada pengguna berdasarkan info itu. Beberapa contoh agen pengguna AI teratas meliputi: GPTBOT, Google-Extended, Claudebot, Anthropic-AI, PerplexityBot, Bytespider dan ChatGpt-User.

Agen kain

Seperti apa: A Spy Who Moonlights sebagai pemeriksa fakta

Apa artinya: Ada banyak jenis bot yang merangkak web untuk informasi, dan ini adalah salah satunya. Kependekan dari pengambilan generasi augmented-proses teknis untuk mengekstraksi informasi dari konten untuk diberikan kepada LLM dan meningkatkan kualitas outputnya-agen AI ini mencari web dan mengambil informasi terbaru, informasi terbaru untuk menanggapi petunjuk pengguna dalam chatbot AI seperti chatgpt. Respons yang dihasilkan sering mencakup kutipan untuk sumber informasi asli. Prosesnya kadang -kadang disebut “inferensi,” yang mengacu pada waktu ketika model AI menjawab pertanyaan.

Pelatihan Data Crawler

Seperti apa: Robot yang haus konten yang tidak pernah tidur.

Apa artinya: Tidak seperti agen kain, jenis bot AI ini mengumpulkan data untuk melatih LLM, seperti Meta’s Llama atau Openai’s GPT. Bot ini menjelajahi web dan mengunduh konten untuk membangun set data besar untuk mengajarkan LLM cara menghasilkan tanggapan terhadap pertanyaan.

Beberapa perusahaan teknologi memisahkan perayap web yang mereka gunakan untuk melatih model AI mereka dari bot yang mengikis web untuk informasi real-time, sehingga penerbit dapat memblokir bot tersebut. Tapi beberapa, seperti Google, jangan.

Misalnya, Google-Extended adalah bot Google yang merangkak internet untuk melatih model AI-nya. Ini dapat diblokir dengan robot.txt (lihat di bawah). GoogleBot, sementara itu, merangkak situs untuk pengindeksan pencarian dan untuk memberi daya hasil real-time dalam ikhtisar AI Chatbot Gemini dan AI, ringkasan yang dihasilkan AI Google dalam hasil pencariannya. Ini menjadi titik lengket yang nyata bagi penerbit, yang tidak dapat memblokir bot dan melindungi konten mereka dari digunakan untuk melatih produk AI Google, tanpa menghapus diri mereka dari hasil pencarian.

Rag bot mengikis menyalip aktivitas pengikis bot pelatihan tahun ini, menurut sebuah laporan oleh Tollbit, pasar data untuk penerbit dan perusahaan AI.

“Goresan kain akan jauh lebih banyak karena agen AI terus meningkat, sementara goresan untuk pelatihan akan jauh lebih sedikit dan berpotensi lebih berharga. Juga lebih sulit untuk memberi harga konten untuk pelatihan, sedangkan penggunaan kain lebih mudah untuk harga dan dapat dinamis karena merupakan konstan, akses yang berulang,” kata Toshit Panigrahi, Tollbit Co-Tollbit dan Tollbit Co-Tollbit.

Protokol Konteks Model

Seperti apa: Buku peraturan sci-fi

Apa artinya: Kerangka kerja ini, yang dibuat oleh perusahaan AI Anthropic, adalah cara untuk mengindeks konten dan mencolokkannya ke LLM sehingga dapat secara langsung menarik informasi dari dataset. Jika Rag seperti jembatan dari sistem AI ke konten online, MCP seperti sistem AI yang terhubung langsung ke outlet konten itu.

Misalnya, pengguna dapat mengambil semua langganan berita mereka dan memasukkannya ke chatbot sehingga mereka dapat mengakses semua konten berita mereka di antarmuka itu, daripada pergi ke situs penerbit untuk mendapatkan informasi itu, menurut Nicholas Diakopoulos, profesor jurnalisme komputasi di Northwestern University.

Itu mungkin terdengar menakutkan bagi penerbit yang sudah melihat penurunan lalu lintas di tempat – tetapi ini bisa menjadi platform lain untuk distribusi konten, dan bahkan monetisasi, kata Diakopoulos.

“Sebagai pengguna akhir … Saya bisa mendapatkan semua nilai konten yang saya berlangganan melalui antarmuka apa pun yang saya inginkan. Dan saya pikir pemikiran yang berorientasi pengguna semacam itu mungkin memiliki nilai,” katanya. “Apakah saat ini ada pasar untuk itu? Bukan yang bisa saya lihat, tetapi mungkin ada satu, dan saya akan berpikir bahwa organisasi berita mungkin berada di garis depan menciptakan pasar itu.”

Robots.txt

Seperti apa: Instruksi untuk mesin perilaku baik

Apa artinya: File teks yang sederhana ini memberi tahu bot mana bagian dari situs kami yang diizinkan untuk merangkak. Secara teori, ini seperti tanda “Keep Out” untuk pencakar AI. Tetapi dalam praktiknya, sebagian besar LLM mengabaikannya, salah membaca, atau sepenuhnya melanggarnya. Beberapa bahkan akan membuat perayap baru dengan nama baru jika yang asli telah diberitahu untuk berhenti merangkak. Bane Penerbit.

Google Zero

Seperti apa: Film dystopian baru di mana tidak ada yang menang

Apa artinya: Saat ketika Google tidak lagi menjadi pintu gerbang ke internet dan menjadi mesin jawaban bertenaga AI untuk pertanyaan pengguna. Era baru ini didorong oleh ikhtisar AI. Ini akan menjadi akhir dari saluran lalu lintas utama ke penerbit.

Rasio merangkak-rujukan

Seperti apa: Kelas matematika yang aneh

Apa artinya: Ini mengacu pada rasio perayapan halaman web terhadap rujukan halaman web, berdasarkan platform. Cloudflare melacak ini, dengan data yang menunjukkan bahwa rasio perayapan terhadap rujukan perusahaan AI sangat besar dibandingkan dengan Google. (Misalnya, pada bulan Juni 2025, situs web Google Crawls sekitar 14 kali untuk setiap rujukan, dibandingkan dengan rasio perayapan-ke-rujukan Openai 1.700: 1). Dengan kata lain, bot mengikis situs penerbit, jauh lebih dari mereka merujuk orang sungguhan kembali ke situs -situs itu.

AI Browser

Seperti apa: Browser yang mengenal Anda lebih baik dari sahabat Anda

Apa artinya: Browser telah jauh sejak OG Internet Explorer. Platform baru ini ditenagai oleh teknologi AI tidak hanya menampilkan tautan ke situs dan menyediakan pintu gerbang ke web. Mereka dapat melakukan tugas, memahami bahasa alami, mengirim email, menghasilkan brief dan pertemuan buku. Browser AI yang terkenal termasuk DIA (dari Browser Company of New York), Comet (dari kebingungan) dan Browser Openai, dilaporkan segera hadir.

Konten llm ingest API

Seperti apa: Smoothie untuk robot

Apa artinya: Inisiatif IAB Tech Lab untuk membuat standar pasar untuk pengikis bot yang disetujui penerbit, yang menghubungkan dan mengkompensasi penerbit ketika konten mereka dikikis. Ini mendukung baik bayar per-mercrawl dan bayar per Query.

Tombol merah

Seperti apa: Sesuatu dari film mata -mata

Apa artinya: “Tombol merah” Cloudflare (diluncurkan pada 1 Juli) pada dasarnya adalah sakelar panik bagi penerbit untuk memblokir crawler AI. Ini menjadi sangat dikenal di kalangan penerbit sebagai tombol merah.

Nreb

Seperti apa: Jaring futuristik yang dibangun oleh alien

Apa artinya: Protokol web bahasa alami Microsoft yang memulai debutnya pada bulan Mei. Tujuan di balik proyek NLWEB adalah untuk memudahkan pemilik situs web untuk menambahkan “antarmuka percakapan” (seperti chatbots) ke situs mereka. Ini juga dapat membantu membuat situs web lebih mudah diakses oleh agen AI yang mendukung MCP. Microsoft berpikir ini akan menjadi versi baru HTML. Ini bisa menjadi kerangka kerja untuk lebih banyak model monetisasi lalu lintas bot.

A2A

Seperti apa: Jenis Baterai

Apa artinya: Protokol Google yang disebut Agent2Agent, diumumkan pada bulan April. Ini bertujuan menciptakan bahasa umum untuk membantu agen AI yang dibangun di atas kerangka kerja yang berbeda untuk “berbicara” satu sama lain, dan menciptakan sistem yang lebih interoperable. Seperti NLWEB, itu juga mendukung MPC. Itu disumbangkan ke Linux Foundation nirlaba pada bulan Juni.