Фонд Викимедиа сломал Русские Викиновости опять
26 июля 2021 года
Фонд Викимедиа вновь отключил ключевой функционал Русских Викиновости из-за хорошо известной техническим специалистам критической проблемы, которую они не решают почти год. Очередное отключение последовало после глобального сбоя в инфраструктуре Фонда, продолжавшемся около 20 минут.
Около 13:30 по мск (10:30 UTC) в понедельник, 26 июля 2021 года, все вики-проекты Викимедиа на всех языках стали испытывать затруднения с доступом и вскоре вовсе перестали отвечать, выдавая сообщение:
ошибка подключения или отключения/сброс перед заголовками. причина сброса: переполнение
Оригинальный текст(англ.)
upstream connect error or disconnect/reset before headers. reset reason: overflow
|
Сбой был зафиксирован по всему миру. В проекте Phabricator, фиксирующем ошибки проектов Викимедиа открыли тикет phab:T287362.
Через некоторое время инженер Амир Сарабадани (англ. Amir Sarabadani; Ladsgroup/Amir Sarabadani (WMDE)) написал:
Обновление статуса: я отключил DPL на ruwikinews, и теперь все нормализуется
Оригинальный текст(англ.)
Status update: I disabled DPL on ruwikinews and now things are getting back to normal
|
Таким образом, Фонд Викимедиа в очередной раз пожертвовал Русскими Викиновостями, чтобы поднять остальные проекты.
Ближе к вечеру Амир закрыл тикет, посчитав, что выключение одного из крупнейших проектов Фонда Викимедиа не является срочной проблемой и может решаться в рабочем, спокойном режиме.
-
Ошибка при запросе сайтов Русской Википедии и Русских Викиновостей
-
Отсутствие лент новостей после отключения серверного программного обеспечения DynamicPageList (DPL)
Проблема, которая привела к сбою на серверах Фонда Викимедиа известна, по словам инженеров, очень давно. Она заключается в том, что одна из составляющих серверного программного обеспечения, под название DynamicPageList (DPL), работает некорректно и потребляет повышенные ресурсы, которые резко возрастают вслед за увеличением проекта. Расширение DPL широко используется в проектах Викиновостей на всех языках. В частности, на нём реализованы ленты новостей — главная составляющая любого новостного проекта.
В сентябре 2020 года сбой в DPL уже приводил к отключению Русских Викиновостей. Однако тогда вопрос решили установкой кеширования данных на сервере (данные новостных лент стали медленней обновляться). Кроме того, тогда было предложено ряд мер, которые призваны были решить проблему. Например, переписать DPL с прямых обращений к базам данных на использование прогрессивного поискового движка CirrusSearch. В частности, на таком механизме реализован бот, обновляющий новостные ленты на порталах Русской Википедии и работающий быстро и безотказно. Его написание заняло менее часа.
Однако за почти год, никто так и не взялся за решение известной и очень критичной проблемы.
При этом Русские Викиновости росли и развивались, поднявшись на 16 место в рейтинге всех проектов Викимедиа по количеству статей в основном пространстве и на пятое место по общему количеству страниц. Фактически сейчас это один из крупнейших проектов Викимедиа.
Примечательно, что для крупных проектов Викимедиа инженеры создают выделенную инфраструктуру, однако Русские Викиновости так и остались находиться в общем пуле небольших проектов, несмотря на свой гигантский размер.
Игнорирование проблемы предсказуемо привело к очередному коллапсу инфраструктуры Фонда Викимедиа, который, вслед за пулом небольших проектов, перекинулся на все сайты. Любопытно, что в сбое обвинены были не технические специалисты и руководство организации, знающие о проблеме и не решающие её, а сообщество волонтёров Русских Викиновостей, фактически за то, что посмели развиваться. При этом никаких сообщений о необходимости замедлить развитие со стороны руководства Фонда и инженеров сообществу Русских Викиновостей ни разу не поступало.
В настоящее время все ленты Русский Викиновостей (проектные и по тегам) не работают, а новости сортируются лишь по алфавиту. Пользоваться проектом, как новостным порталом невозможно. Руководство Фонда Викимедиа никак не проявляет себя и не позиционирует эту проблему как критичную. Инженеры Фонда предлагают решить её участникам Русских Викиновостей самостоятельно:
Напишите <программу на сервере Фонда> сами, у нас же добровольный проект. |
Продолжение: Русские Викиновости скрыли ошибки Фонда Викимедиа |
Предыдущая новость: Фонд Викимедиа сломал Русские Викиновости |
См. также
- T287362: General site outage caused by ruwikinews usage of DPL: «upstream connect error or disconnect/reset before headers. reset reason: overflow».
- T287380: Decide on the future of DPL.
- w:en:Wikipedia:Don't worry about performance.
Источники
Комментарии
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.
- Ну, в принципе, так и есть: в википроектах кому больше всех надо, тот и делает. Почему фонд не может решить это своими силами — непонятно, но суть, в общем-то, понятна: им проще отломать неисправный механизм, чем починить его, и они делают то, что проще. — Это неподписанное сообщение добавлено Фред-Продавец звёзд (обс · вклад) 21:53, 26 июля 2021 (UTC)
- Следующий шаг полнейшей импотенции Фонда — это просто некому будет написать и некого будет спросить что делать. В рядах освоителей $140 млн/год нет программистов, они же сообщество, они могут встречаться он-лайн/офф-лайн, праздновать, поздравлять друг друга, сожалеть что кто-то ушел, кто-то пришёл, принимать годами кодексы--Леонид Макаров (обсуждение) 07:03, 27 июля 2021 (UTC)
- This article is practically a rant/not news. I suggest it be deleted. --Firestar464 (обсуждение) 09:29, 27 июля 2021 (UTC)
- +1. MBH (обсуждение) 10:46, 27 июля 2021 (UTC)
- «Кто вы?» В проектах Википедии, Викиучебника, Викиверситета есть такая кнопка слева «Создать книгу», которая по мнению Фонда работает и только в обсуждении указывается "любая функциональность рендеринга книг или коллекций в любой загружаемый формат была выведена из эксплуатации. Любые средства на любую разработку замены или ремонта любой такой функциональности были изъяты", что это задача оказывается неприоритетна и заморожена. А кнопка осталась--Леонид Макаров (обсуждение) 04:01, 28 июля 2021 (UTC)
- Как это связано? --Firestar464 (обсуждение) 08:02, 28 июля 2021 (UTC)
- А так не ясно? Википроекты остро нуждаются в развитии интерактивных инструментов обработки информации. Их ничтожно мало, да и те почему-то ломаются вместо их развития. Фонд забрал «Книгу» у Википедии и Викиучебника, DPL у Викиновостей. Что дал в этом году? Новый кодекс?--Леонид Макаров (обсуждение) 08:18, 28 июля 2021 (UTC)
- Okay, how is this news? --Firestar464 (обсуждение) 06:26, 29 июля 2021 (UTC)
- ааа, так ты не фондовец. я то думаю, неужели с фонда запоговорить спустились--Леонид Макаров (обсуждение) 09:10, 29 июля 2021 (UTC)
- What do you mean? --Firestar464 (обсуждение) 04:52, 30 июля 2021 (UTC)
- ааа, так ты не фондовец. я то думаю, неужели с фонда запоговорить спустились--Леонид Макаров (обсуждение) 09:10, 29 июля 2021 (UTC)
- Okay, how is this news? --Firestar464 (обсуждение) 06:26, 29 июля 2021 (UTC)
- А так не ясно? Википроекты остро нуждаются в развитии интерактивных инструментов обработки информации. Их ничтожно мало, да и те почему-то ломаются вместо их развития. Фонд забрал «Книгу» у Википедии и Викиучебника, DPL у Викиновостей. Что дал в этом году? Новый кодекс?--Леонид Макаров (обсуждение) 08:18, 28 июля 2021 (UTC)
- Как это связано? --Firestar464 (обсуждение) 08:02, 28 июля 2021 (UTC)
- Вполне обоснованное заявление инженеров Фонда, считаю. Кто-то за вас должен что-то писать? Пишите сами, раз вы такие умные. Найти способ создания крупнейшего ботопроекта смогли? Ну так ищите способ обеспечить стабильную работу этого неконтролируемо разрастающегося ботоцарства… V; обс. 06:10, 29 июля 2021 (UTC)
- Я всегда думал, что проекты Викимедиа — это коллективные проекты. Каждый занимается тем что умеет лучше всех. Ну вот я пишу статьи и ботов забесплатно, а Фонд Викимедиа за 100 млн долларов содержит серверы, разрабатывает программное обеспечение, мониторит и предупреждает если что пошло не так. При этом мы все помогаем друг другу, поддерживаем друг друга. А в реальности совсем не так. Вот приходит Vit Koz и вытирает об меня ноги. За что? За то что я день и ночь вкалывал на благо человечества и движения Викимедиа? Да и чем мы тебя лично задели что ты не поленился своим комментарием в нас ткнут? В любом случае, хоть какая-то обратная связь для понимания что происходит. Ну и спасибо тебе, чувак, за поддержку, за доброту твою и за ласку. Конечно же мы не правы, ну а кто ещё, логично. Вон программисты и менеджеры Фонда Викимедиа тоже заявляют: за год мы съели 100 млн долларов, но мы никогда тебе не вернём новостную ленту, потому что мы, сука, обиделись на то, что ты всем показал как мы хреново работаем и за год не смогли полечить баг, о котором все знали и который очевиднейшим и неминуешим образом должен был привести к краху, но мы ничего не делали. Мне не вернёте? Я то тут при чём? Ты ещё так говоришь, как будто это наш частный проект и мы тут бабло намываем. Нет, это не так совсем. Это проект Фонда. Нет никакого движения, есть организация — Фонд Викимедиа, которая с этого всего получает профиты. Меня вот прямо сейчас T&S подразделение этого самого Фонда Викимедиа хочет заблочить навсегда, а этот проект достанется Фонду. Меня тут не будет, а Фонд будет говорить — вона какой у нас крутой свободный новостной архив, где за каждый день с 2000 года все новости написаны. Вот мы какие молодцы, дайте нам ещё бабла спустить на наши маргинальные идеи. Я же тут никто, и зовут меня никак, и наживаться на том что я тут делаю будут совершенно другие люди. Поэтому у меня большая просьба к тебе и к коллегам, хоть вы-то не пинайте. Мы с вами тут в одной лодке одинаковые дурачки. --cаша (krassotkin) 07:36, 29 июля 2021 (UTC)
- На странице обсуждения, кстати, обсуждают удаление этой новости. Присоединяйтесь. --cаша (krassotkin) 07:36, 29 июля 2021 (UTC)