Викиновости:Заявки на статус бота/2022

IluvatarBot

Здесь находятся завершившиеся обсуждения. Просьба не вносить изменений.

---

По просьбе участника Ssr сделал бота в замен бота Крассоткина, который создаёт страницу комментариев к публикуемым новостям и обновляет статистику самых посещаемых статей предыдущего дня.

• Техническая реализация комментариев: python3 через SSE-стрим revision-create, хостинг — Toolforge. Логика: если новая страница в ОП в первой версии не является редиректом, создаётся страница комментариев в случае её отсутствия. Работа непрерывная, задержка до нескольких секунд. Если будет часто отваливаться (из-за падения самих стримов), то переведу на API. Код: [1]
• Техническая реализация редиректов категорий: python3 через SSE-стрим revision-create, хостинг — Toolforge. Логика: если новая страница — это категория, создаётся редирект из ОП в случае его отсутствия. Работа непрерывная, задержка до нескольких секунд. Если будет часто отваливаться (из-за падения самих стримов), то переведу на API. Код: [2]
• Техническая реализация просмотров: python3 через rest API (метод pageviews), хостинг — Toolforge. Логика: исключает ЗС и все страницы, кроме страниц в ОП. Запуск как и прежде в 01:15 по UTC. Код: [3]
• Техническая реализация страниц статистики: python3 через методы API categorymembers (для страниц из ОП с шаблоном «Опубликовано») и recentchanges (для новых категорий), хостинг — Toolforge. Запуск каждые 5 минут. Код: [4], [5]

Прогоны для редиректов/страниц статистики и комментов по всему массиву ранее созданных страниц планирую сделать позже, после получения флага. Код будет требовать изменений. Также отмечу, что создание комментов, редиректов и статистики игнорирует переименования страниц. Не вижу особой надобности, поскольку при переименовании всё равно нужно переименовывать и старые комменты/статистику/редирект — в ином случае придётся запрашивать их удаление. Возможно, когда-нибудь добавлю переименование ботом.--Iluvatar (обсуждение) 11:37, 6 февраля 2022 (UTC)

Тест окончен. Остановил бота (кроме статистики самых популярных новостей) до получения флага.—Iluvatar (обсуждение) 07:10, 8 февраля 2022 (UTC)

Обсуждение (IluvatarBot)

•  За, большое спасибо коллеге за помощь в нашей трудной ситуации! --ssr (обсуждение) 12:27, 5 февраля 2022 (UTC)
•  За --Kaganer (обсуждение) 18:58, 5 февраля 2022 (UTC)
• Думаю, что не нужно препятствовать стремлению коллеги направить силы на наведение технического порядка в проекте. Он справляется и это хорошо. Так что  За. Dimetr (обсуждение) 15:52, 6 февраля 2022 (UTC)
•  За VladimirPF (обсуждение) 07:34, 8 февраля 2022 (UTC)
•  За --Dmitry Rozhkov (обсуждение) 21:34, 9 февраля 2022 (UTC)
•  За. --Erokhin (обсуждение) 12:53, 14 февраля 2022 (UTC)

Вопросы (IluvatarBot)

• @Artem Korzhimanov:, а ты бота можешь присваивать? Я нет. --ssr (обсуждение) 15:11, 22 февраля 2022 (UTC)

  Могу Artem Korzhimanov (обсуждение) 13:58, 24 февраля 2022 (UTC)

Итог (IluvatarBot)

Необходимая поддержка продемонстрирована. Проблем не вижу. Статус бота присвоен. Artem Korzhimanov (обсуждение) 13:58, 24 февраля 2022 (UTC)

ArtushakBot

Здесь находятся завершившиеся обсуждения. Просьба не вносить изменений.

---

По просьбе Ерохина сделал бота для заливки новостей с сайта «Простопроспорт». В будущем могу добавить

Бот состоит из двух скриптов:

• скрипт для выгрузки новостей: prostoprosport_news_fetcher
• скрипт для заливки: wiki_tool_python

Скрипты написаны на 3-м Питоне, с использованием библиотеки requests.

Работать бот может с моего сервера artushak.ru с запуском по таймеру, скажем, раз в сутки или раз в неделю.

— Artushak (обсуждение) 18:38, 9 февраля 2022 (UTC)

@Artushak: Я не разбираюсь в технических деталях и не могу оценить скрипты. Предлагаю сделать загрузку некоторого количества новостей и посмотреть, что получится. десятка полтора вполне достаточно. VladimirPF (обсуждение) 12:22, 14 февраля 2022 (UTC)

•  Комментарий: поясню для коллег предысторию. Сначала в рамках работы Викиновости:Спортивная редакция было это: Сайт ProstoProSport.Ru перешёл на свободную лицензию. Красоткин до своего глобального блока неоднократно писал, что у него нет времени на новых ботов, и попросил подыскать кого-нибудь ещё. Я нашёл и предложил помочь Русским Викиновостям коллегу Artushak. Он любезно согласился выступить волонтёром и написал этого бота, и выложил его в публичный доступ, вот ссылка https://github.com/ArtUshak/prostoprosport_news_fetcher Далее, он был запущен Крассоткиным, и работал видимо от его имени, как это было технически не знаю, но работало, потомучто новости грузились. То есть ЭТОТ БОТ УЖЕ РАБОТАЛ в Викиновостях. И вот залитые этим ботом материалы Категория:Материалы Prostoprosport.ru, всего 75 923 новости. После глобального бана Красоткина, я попросил коллегу Artushak восстановить этого бота от своего имени. Ссылка на предыдущее обсуждение Викиновости:Форум/Общий/Архив/2021#Prostoprosport.ru.--Erokhin (обсуждение) 12:45, 14 февраля 2022 (UTC)

  Спасибо за ответ. И отдельное спасибо за бота. И два отдельных спасибо за работу с редакцией сайта. VladimirPF (обсуждение) 14:06, 14 февраля 2022 (UTC)

•  Комментарий: коллега Artushak пожалуйста ещё посмотрите и оцените бота на предмет соответствия требованиям m:Bot_policy/ru, особенно раздел «Скорость редактирования и редактирование в „часы пик“», раньше за этим Красоткин следил, но сейчас необходимо, чтобы вы были самостоятельно и автономно в курсе. И ждём тестовую заливку в личном подпространстве. --Erokhin (обсуждение) 08:41, 16 февраля 2022 (UTC)

Обсуждение (ArtushakBot)

•  За хороший бот, поскольку он уже работал в Викиновостях, и был одобрен, только сейчас он под новым именем. --Erokhin (обсуждение) 12:55, 14 февраля 2022 (UTC)
•  За больше ботов хороших и разных . В первую очередь хороших. --VladimirPF (обсуждение) 14:07, 14 февраля 2022 (UTC)
•  За, верю коллегам, что сработает. --ssr (обсуждение) 09:37, 15 февраля 2022 (UTC)
  • На всякий случай: у меня нет полномочий на присвоение флага бота, итог по ботам не могу подводить. --ssr (обсуждение) 09:38, 15 февраля 2022 (UTC)
•  За, знаю его как хорошего техника. Dimetr (обсуждение) 11:58, 15 февраля 2022 (UTC)
•  За --Dmitry Rozhkov (обсуждение) 08:50, 16 февраля 2022 (UTC)
•  За, но ниже у меня будет несколько вопросов. --Kaganer (обсуждение) 17:42, 17 февраля 2022 (UTC)

Вопросы (ArtushakBot)

@Artushak, несколько орг. вопросов:

1. Сейчас у бота нет страницы обсуждения. При возникновении вопросов по его работе, Вы будете отслеживать его СО, или поставите перенаправление на свою СО?

2. У ботозаливок всегда проблемы с категориями, и хорошо бы иметь какой-то способ сказать боту, что, к примеру, вместо "Федор Кудряшов" нужно указывать "Фёдор Кудряшов" или даже "Фёдор Кудряшов (1987)". Это может быть вики-страничка. куда бот будет смотреть при заливке, или, к примеру, какой-то внешний файл на том же ГитХабе.

3. По поводу расширения списка источников - я правильно понимаю, что скрипт выгрузки придется пилить отдельно для каждого сайта, а скрипт заливки, по сути, универсальный?

4. Сможете ли Вы сделать так, чтобы бот работал на серверах Викимедиа (Toolforge), или нужно, чтобы кто-то другой взял Ваш код и туда перенес?

--Kaganer (обсуждение) 17:59, 17 февраля 2022 (UTC)

1. Только что поставил редирект на СО.

2. Пока что категории не проставляются, но если надо, могу доработать.

3. Верно.

4. Пока не знаю, как получить доступ к этому Toolforge, есть ли там какой-то SSH, но если это будет нужно, и я смогу получить доступ, то помещу. Artushak (обсуждение) 18:21, 17 февраля 2022 (UTC)

По п.2 перепутал, категории всё-таки проставляются, могу сделать какой-то конфиг для переименования тегов. Artushak (обсуждение) 18:23, 17 февраля 2022 (UTC)

Было бы идеально, если бы это была вики-страничка, где будут строчки вида

Исходный тег//Исправленный тег

Для старта можно будет выгрузить c сайта список всех тегов, потом я его сравню со списком уже сделанных перенаправлений для категорий, и все найденные совпадения залью в эту страничку. И дальше по мере перекатегоризации буду её дополнять. --Kaganer (обсуждение) 16:16, 5 марта 2022 (UTC)

По п.4 см. Toolforge/Quickstart. Там всё есть. Высокая скорость обращения с тулфоржа к API проектов прилагается. Единственное жёсткое условие: код должен быть под свободной лицензией. Iluvatar (обсуждение) 10:10, 18 февраля 2022 (UTC)

Подал заявку на Тулфордж. Artushak (обсуждение) 06:15, 19 февраля 2022 (UTC)

@Artushak, вы могли бы произвести тестовую заливку? Я понимаю, что бот уже работал из-под другой учётки, но для верности, хотелось бы убедиться, что ничего не сломалось. Artem Korzhimanov (обсуждение) 16:13, 30 мая 2022 (UTC)

Я провёл тестовую заливку, нужна будет ещё мелкая доработка (по ошибке заливался не тот шаблон). — Artushak (обсуждение) 17:15, 4 июля 2022 (UTC)

@Artem Korzhimanov: --ssr (обсуждение) 17:28, 4 июля 2022 (UTC)

@Artushak Sorry for commenting in English. I noticed the recent activity of ArtushakBot, and I'd like to point your attention towards two documents regarding bot operation: mw:API:Etiquette (which asks for sending requests in a speed that's considerable to the site resources) and m:User-Agent_policy (which asks for an informative user-agent header). I'd like to especially highlight the maxlag parameter, which will help you to keep to a safe request speed. Thank you for your understanding, Martin Urbanec (обсуждение) 17:52, 4 июля 2022 (UTC)

Sorry, I am too stupid to remember all those regulations, but now I will add a delay between requests. But I want to notice that all this bureaucracy creates situation when only a few, the most patient people can actually contribute to the projects. I do not get paid for this, and I do not like this kind of work, so just think about how all those rules influence athmosphere for users. Artushak (обсуждение) 17:57, 4 июля 2022 (UTC)

«И помогай после этого людям, называется» :-) Artushak (обсуждение) 17:57, 4 июля 2022 (UTC)

Слушайте, но это же самые минимальные правила. В других сервисах вы должны пройти семь кругов ада, чтобы получить доступ к API. Здесь же доступ ко всему, что вообще есть. Бесплатно, без ограничений, даже без регистрации (кроме записи через API), даже почти без технических лимитов, даже хостинг бесплатный дают. Естественно, что с этим нужно обращаться очень аккуратно: с большими правами приходит большая ответственность. Тут же всё элементарно: не обрушь серверы (обитатели Викиновостей могут рассказать об этом подробнее, есть опыт) и добавь юзер-агент (1 строчка в коде). Iluvatar (обсуждение) 16:08, 5 июля 2022 (UTC)

And maybe you should throttle edits on the server side instead (just a suggestion)? Artushak (обсуждение) 18:00, 4 июля 2022 (UTC)

@Artushak, я бы не сердился на Мартина за это замечание. Всё-таки он смотрит из точки, в которой сотни (а может уже и тысячи) ботов, написанных людьми очень разной квалификации, могут запросто заDDOSить сервера (из самых добрых побуждений), если их как-то не ограничивать. --Kaganer (обсуждение) 18:51, 4 июля 2022 (UTC)

Понял :-) Artushak (обсуждение) 19:09, 4 июля 2022 (UTC)

Artushak, здорово, что разобрались с викиапи. В целом всё отлично, но есть несколько вопросов:

1. В новостях, залитых с Metaratings не тот шаблон в источниках. Нужен этот.

2. Строчку про "Читайте Metaratings, чтобы быть в курсе свежих новостей российского и мирового спорта, эксклюзивных инсайдов и экспертных мнений." не нужно включать в итоговый текст при заливке.

3. Не хватает категорий. В целом для спортивных сайтов можно уверенно проставлять категорию спорт.

4. Шаблон тема можно не включать в статьи. Он не работает.

5. Для каждой статьи при заливке следует вставлять заготовку для иллюстрации. Вот такую: [[File:Wikinews-logo-ru.svg|thumb|left|300px|]]

6. Почему для сегодняшних новостей ставится шаблон {{Загружено ботом в архив}}, а не {{Загружено ботом}}? Например, для этой.

DonSimon (обсуждение) 20:42, 4 июля 2022 (UTC)

Принял, сейчас создам задачу на Гитхабе и постараюсь до конца четверга внести доработки. Artushak (обсуждение) 05:27, 5 июля 2022 (UTC)

@Artushak и, если не сложно, удалите, пожалуйста, жирный шрифт. В викиновостях он не принят. Artem Korzhimanov (обсуждение) 07:22, 5 июля 2022 (UTC)

Понял. Artushak (обсуждение) 18:46, 5 июля 2022 (UTC)

Залил ещё тестовую страницу: Участник:ArtushakBot/22 свободных агента с российским паспортом: как клубам РПЛ бесплатно набрать два крутых состава, так нормально? Если надо, могу убрать лишние пустые строки. Artushak (обсуждение) 18:04, 16 июля 2022 (UTC)

@Artushak, да, я думаю, пробелы лучше удалить. По поводу конкретно этого материала у меня ещё есть и сомнения в формате. Всё же это не новость. Artem Korzhimanov (обсуждение) 09:37, 19 июля 2022 (UTC)

Итог (ArtushakBot)

В целом, поддержка продемонстрирована, серьёзных проблем я не вижу, замечания можно доработать в рабочем порядке. Статус присвоен. Artem Korzhimanov (обсуждение) 09:37, 19 июля 2022 (UTC)

InternetArchiveBot

Здесь находятся завершившиеся обсуждения. Просьба не вносить изменений.

---

InternetArchiveBot fixes broken links on wiki pages by replacing/adding links to equivalent online archives. InternetArchiveBot is approved to operate on over 100 Wikimedia wikis, including as a global bot as well as individual approval on many wikis, and is supported by a development team. InternetArchiveBot can be configured to recognize any custom citation or web-archive template you use on Russian Wikinews, and in fact the bot is operating successfully on English, Dutch, and Portuguese Wikinews. Please let me know if you have any questions. Harej (обсуждение) 17:15, 2 марта 2022 (UTC)

Русскоязычный перевод (от яндекса): Бот интернет-архива исправляет неработающие ссылки на вики-страницах, заменяя / добавляя ссылки на эквивалентные онлайн-архивы. Бот Internet Archive одобрен для работы на более чем 100 вики-сайтах Викимедиа, в том числе в качестве глобального бота, а также для индивидуального одобрения на многих вики-сайтах, и поддерживается командой разработчиков. Бот интернет-архива может быть настроен на распознавание любой пользовательской цитаты или шаблона веб-архива, который вы используете в русских Викиновостях, и фактически бот успешно работает в английских, голландских и португальских Викиновостях. Пожалуйста, дайте мне знать, если у вас возникнут какие-либо вопросы. --VladimirPF (обсуждение) 10:55, 4 марта 2022 (UTC)

Обсуждение (InternetArchiveBot)

 За. Только нужно его аккуратно настроить на наши шаблоны. --Kaganer (обсуждение) 13:22, 4 марта 2022 (UTC)

•  За, очень полезный давно знакомый бот. --ssr (обсуждение) 13:36, 4 марта 2022 (UTC)
•  За я то же поддерживаю, но, увы, не понимаю как это работает VladimirPF (обсуждение) 15:08, 4 марта 2022 (UTC)

  Нужно читать m:InternetArchiveBot/Documentation --Kaganer (обсуждение) 14:23, 5 марта 2022 (UTC)

  Я там ещё слегка доделаю переводы интерфейса. --Kaganer (обсуждение) 15:36, 5 марта 2022 (UTC)

•  За, настроив, а дело важное.--Arbnos (обсуждение) 22:14, 19 марта 2022 (UTC)
•  За. --Erokhin (обсуждение) 14:32, 19 мая 2022 (UTC)

Вопросы (InternetArchiveBot)

• @Harej There were concerns in discussion section that the bot may possibly interfere with some of our templates. Could you please make some test edits in order to be sure that everything is working as expected? Artem Korzhimanov (обсуждение) 16:15, 30 мая 2022 (UTC)
  • Artem Korzhimanov, the bot has made dozens of test edits. Please review them and let me know if there are errors. Harej (обсуждение) 20:51, 22 августа 2022 (UTC)
    • Harej Thank you! Looks fine to me. Artem Korzhimanov (обсуждение) 09:55, 30 августа 2022 (UTC)

Итог (InternetArchiveBot)

Everythng seems fine. Status approved. Artem Korzhimanov (обсуждение) 09:55, 30 августа 2022 (UTC)

Участник:VladimirPF-Bot

Здесь находятся завершившиеся обсуждения. Просьба не вносить изменений.

---

По рекомендации Iluvator хочу получить флаг бота для автоматизации расстановки массовых категорий тип Россия, Владимир Путин (1952) и тд. Бот будет использоваться именно для массовых однотипных категорий, не требующих создания новых метакатегорий. Одновременно с расстановкой категорий бот будет вносить типовые исправления из списка автозамен Участник:VladimirPF/MediaWiki:Gadget-wfTypos.js - это стандартные автозамены, которые используются в ру-википедии. VladimirPF (обсуждение) 13:40, 20 сентября 2022 (UTC)

@Artem Korzhimanov: коллега, прошу не обходить вниманием. VladimirPF (обсуждение) 09:47, 6 октября 2022 (UTC)

Обсуждение (VladimirPF-Bot)

•  За. DonSimon (обсуждение) 18:08, 20 сентября 2022 (UTC)
•  За, думаю полезно и упростит работу участнику. A.Morgunovskaya (обсуждение) 13:27, 29 сентября 2022 (UTC)
•  За,--Dmitry Rozhkov (обсуждение) 15:36, 30 сентября 2022 (UTC)

Вопросы (VladimirPF-Bot)

Итог (VladimirPF-Bot)

Не вижу проблем, статус присвоен. Artem Korzhimanov (обсуждение) 07:53, 7 октября 2022 (UTC)