Компании, разрабатывающие большие языковые модели, нашли новый источник данных для обучения своих нейросетей — физические книги, напечатанные до 2022 года. Они скупают их десятками тысяч, разрезают на страницы с помощью гидравлических машин, сканируют промышленным оборудованием, а затем утилизируют. Этот процесс использует юридическую лазейку, известную как доктрина первой продажи, которая позволяет покупателю делать с приобретенным товаром всё что угодно без согласия правообладателя.
Почему именно старые книги
Книги, изданные до массового распространения больших языковых моделей, считаются «чистыми» данными — они не содержат текстов, сгенерированных искусственным интеллектом, которые уже загрязнили интернет и более новые издания. Сервис ISBNdb, который специализируется на поиске и продаже книг, прямо заявляет на своем сайте: «Лучшие в мире данные для обучения ИИ лежат на полках». Компания помогает AI-лабораториям закупать от одной до миллиона книг за один заказ, гарантируя анонимность покупателей.
Как это происходит
По данным издания 404 Media, один из мелких продавцов книг рассказал, что в апреле его продажи внезапно выросли с 20 книг в неделю до сотен. Он почти уверен, что покупателями являются AI-лаборатории, судя по случайному выбору книг и тому факту, что все они имеют ISBN. Его инвентарь полон редких и распроданных изданий, что означает, что AI-компании могут уничтожать одни из немногих сохранившихся копий.
Реакция продавцов
Продавец признался, что у него смешанные чувства: с одной стороны, это приносит финансовую выгоду и позволяет избавиться от старого инвентаря, который вряд ли бы продался иначе. С другой стороны, ему не нравится конечное использование книг и тот факт, что редкие издания уничтожаются. Аналогичная ситуация наблюдается в Нидерландах, где продавцы редких книг также сталкиваются с массовыми закупками, которые, как они подозревают, связаны с AI-индустрией.
Юридическая лазейка
Процесс использует доктрину первой продажи, которая позволяет покупателю делать с приобретенным товаром всё что угодно без согласия оригинального правообладателя. Поскольку компании превращают физические тексты в цифровые, а не распространяют их как новые копии, суд признал это «трансформативным» использованием и защитил его доктриной добросовестного использования. Компании, занимающиеся этим, осознают, что практика выглядит сомнительно.
На сайте ISBNdb признают: «Проблема репутации реальна. Заголовок "AI-компания уничтожает два миллиона книг" не вызывает сочувствия». Тем не менее, они продолжают предоставлять услуги по анонимной массовой закупке книг для AI-лабораторий. Потери редких и антикварных изданий вызывают обеспокоенность у продавцов и библиофилов, которые видят, как культурное наследие уничтожается ради обучения алгоритмов, способных затем генерировать тексты, лишенные той самой человеческой уникальности, которую эти книги хранили.
