Google AI Ikhtisar CloudFlare Robots.txt Penerbit Berita

Bagi penerbit, perbedaan itu penting karena menggeser file robots.txt dari alat yang tumpul atau-tidak menjadi cara membedakan antara pencarian, pelatihan AI dan output AI. Dan perbedaan itu masuk ke jantung bagaimana konten mereka digunakan, dihargai dan berpotensi dimonetisasi.

Ini termasuk opsi untuk memberi sinyal bahwa sistem AI tidak boleh menggunakan materi mereka untuk hal -hal seperti ikhtisar atau inferensi Google AI.

Beberapa penerbit Digiday telah berbicara selama beberapa bulan terakhir telah pada satu titik atau yang lain menggambarkan robot saat ini.txt sebagai “tidak layak untuk tujuan.” Dan sementara upgrade ini masih tidak memastikan kepatuhan AI, ia setidaknya menetapkan preseden baru untuk transparansi yang lebih baik dan berarti penerbit dapat menjelaskan, dalam warna hitam dan putih, bagaimana mereka ingin crawler AI menggunakan konten mereka – sebuah langkah yang disambut oleh banyak penerbit yang telah lama ditutup.

Namun, tidak ada yang buta terhadap hal yang sangat jelas: tanpa keteguhan, risikonya tetap bahwa platform AI masih akan mengekstraksi nilai dari pekerjaan mereka tanpa kompensasi.

“Kebijakan ini memisahkan pencarian, AI-train, dan AI-Crawl, yang merupakan pemahaman yang berkembang dengan baik tentang bagaimana penerbit harus berpikir tentang AI,” kata Justin Wohl, Wakil Presiden Strategi untuk Aditude dan mantan Chief Revenue Officer untuk Snopes situs pengecekan fakta dan trope TV.

Kebijakan Cloudflare membedakan antara berbagai cara sistem AI menggunakan konten: ‘Cari, di mana materi mungkin ditarik ke dalam sesuatu seperti tinjauan AI dengan potensi atribusi atau rujukan; ‘Latih,’ di mana konten dicerna untuk membangun model itu sendiri, seringkali tanpa kompensasi; dan ‘Crawl,’ di mana bot secara sistematis mengikis halaman. Untuk penerbit, memisahkan masalah penggunaan ini penting – karena hanya satu dari mereka yang menawarkan bahkan kemungkinan pengembalian, sementara yang lain berisiko mengekstraksi nilai tanpa hadiah, kata Wohl.

“Kebijakan Sinyal Konten adalah solusi yang semakin penting karena ketika Google membuat ikhtisar AI -nya, bot -bot itu agak tidak dapat dibedakan dari manusia ketika mereka menavigasi situs, dan akan menyebabkan skor IVT penerbit untuk meledak, jika agen pengguna belum dapat diidentifikasi dan dampak skornya.

Lima penerbit Digiday berbicara untuk artikel ini mengatakan pembaruan untuk robot.txt sinyal adalah awal yang baik dalam membiarkan penerbit menentukan bagaimana data mereka digunakan untuk pencarian versus pelatihan AI. “Nuansa yang sangat dibutuhkan itu sudah lewat waktu dan langkah maju yang benar-benar positif,” kata Eric Hochberger, CEO dan salah satu pendiri Mediavine. “Saya ingin melihatnya lebih jauh untuk benar -benar memberdayakan penerbit untuk mendapatkan kembali kendali atas konten mereka,” tambahnya.

Itu adalah sesuatu yang inisiatif lain seperti Standar Lisensi AI yang bertanggung jawab (RSL), sedang dikembangkan oleh kelompok -kelompok termasuk Reddit, dengan cepat dan penerbit berita, sedang dikerjakan. Sedangkan pembaruan Cloudflare adalah tentang memberi penerbit kemampuan untuk menentukan apa yang mereka lakukan memungkinkan konten mereka digunakan oleh AI crawler, RSL telah menciptakan standar bagi penerbit untuk kemudian mengatur remunerasi AI – pada dasarnya royalti untuk kapan pun konten mereka dikikis untuk pengambilan generasi augmentasi (Rag.)

CloudFlare akan menambahkan bahasa kebijakan baru ke robots.txt untuk pelanggan yang menggunakannya untuk mengelola file mereka, dan menerbitkan alat untuk orang lain yang ingin menyesuaikan bagaimana crawler menggunakan konten mereka.

Kemajuan, tetapi masih seekor gajah di ruangan itu

Untuk semua hal positif, baik pembaruan RSL maupun Cloudflare tidak membahas gajah di dalam ruangan: apakah crawler AI akan benar -benar menghormati sinyal -sinyal ini, terutama yang paling peduli pada penerbit – Google.

Google secara teknis memisahkan crawler pencarian (GoogleBot) dan crawler AI-nya (Google-Extended), tetapi dalam praktiknya mereka tumpang tindih. Bahkan jika penerbit memblokir Google-Extended, konten mereka masih dapat muncul dalam ikhtisar AI, karena itu terkait dengan pencarian Google. Dengan kata lain, ikhtisar AI dibundel dengan crawler pencarian inti, tidak diperlakukan sebagai opt-in terpisah. Itu berarti sebagian besar penerbit belum dapat memilih keluar dari crawler AI Google karena takut lalu lintas pencarian mereka terpengaruh.

“Saya pikir itu [content signals policy] adalah ide yang menarik. Tetapi saya tidak melihat indikasi bahwa Google dan yang lainnya akan mengikutinya, “kata seorang eksekutif senior di sebuah organisasi berita besar, yang berbicara dengan syarat anonim.” Google telah cukup jelas bahwa mereka melihat ringkasan AI sebagai penggunaan yang adil. “

Awal bulan ini, grup media Penske menjadi penerbit terbesar untuk menuntut Google secara khusus karena diduga merusak lalu lintasnya dengan ikhtisar AI dan karena dugaan pengikisan konten ilegal. Sementara itu, raksasa teknologi saat ini sedang mengerjakan solusi dengan DOJ di pengadilan, untuk menentukan bagaimana ia memperbaiki apa yang telah dianggap sebagai monopoli ilegal dari pertukaran iklan dan server iklannya.

“Penerbit semua biasanya harus selaras bahwa AI dan pencarian crawler harus dapat dibedakan dan diperlakukan secara berbeda,” kata Wohl. “Saya berharap Google, mungkin melalui tim Chrome, akan melihat kepekaan dalam hal ini dari perspektif bagaimana browser mereka bekerja dan berdampak pada partai -partai hilir,” tambahnya.

Sementara penerbit menyambut pembaruan Cloudflare karena kejelasan tambahan, banyak yang mengakui itu hanya penghentian: tanpa penegakan yang dijamin, risiko sebenarnya dari AI masih hanya sebagian ditangani. Tapi, itu kemajuan.

Ini menetapkan preseden hukum yang penting, kata Paul Bannister, Cro of Raptive. “Ini menempatkan parameter yang harus diikuti oleh aktor yang baik dan jika tidak, Anda dapat mengambil [legal] tindakan. Anda mungkin tidak menang, tetapi Anda dapat mengambil tindakan. Anda dapat, tentu saja, mengabaikan hal -hal hukum, tetapi jika Anda melakukannya, Anda mengambil risiko nyata bahwa mungkin ada masalah di sana. Begitu banyak dari ini adalah meletakkan dasar untuk penampilan semua ini. Ini langkah kecil ke depan, tetapi mendorong bola ke arah yang benar. ”