Google - swalker-888/google-indexing-api-bulk - скрипт для сбора ссылок в urls.txt и запуск - 2026

Published: 2026-07-22

Google - swalker-888/google-indexing-api-bulk — это удобный bash-скрипт для автоматического сбора свежих ссылок из вики и отправки их в Google Indexing API через утилиту swalker-888/google-indexing-api-bulk.

Скрипт парсит страницу последних статей вики, извлекает первые 30 ссылок (без URL-кодирования, в читаемом виде на русском), сохраняет их в файл urls.txt и запускает индексацию.

Полный код скрипта

#!/bin/bash

mkdir -p /root/google-indexing-api-bulk

curl -s "https://wiki.iphoster.net/wiki/Wiki.iphoster.net_-_%D0%BF%D0%BE%D1%81%D0%BB%D0%B5%D0%B4%D0%BD%D0%B8%D0%B5_%D1%81%D1%82%D0%B0%D1%82%D1%8C%D0%B8?$(date +%s)" | python3 -c "
import sys, re
from urllib.parse import unquote

content = sys.stdin.read()
ol_start = content.find('<ol>')
ol_end = content.find('</ol>', ol_start)
ol_html = content[ol_start:ol_end+5]

links = re.findall(r'href=\"/wiki/([^\"]+)\"', ol_html)
for l in links[:30]:
    print('https://wiki.iphoster.net/wiki/' + unquote(l))
" > /root/google-indexing-api-bulk/urls.txt

echo "Done. $(wc -l < /root/google-indexing-api-bulk/urls.txt) links saved."

cd /root/google-indexing-api-bulk && node index.js

Как это работает

Шаг 1: Создание директории

mkdir -p /root/google-indexing-api-bulk

Создаёт целевую папку для хранения списка ссылок, если она ещё не существует.

Шаг 2: Получение списка ссылок

Скрипт делает GET-запрос к странице последних статей на вики:

К URL добавляется ?$(date +%s) (текущий timestamp), чтобы сбросить кэш на стороне сервера и CDN.
Ответ (HTML) передаётся на обработку в Python.

Шаг 3: Парсинг HTML

Python-скрипт внутри here-document делает следующее:

Находит в HTML тег <ol> — именно в нём MediaWiki выводит список новых страниц (через плагин Special:Newestpages).
Извлекает все атрибуты href="/wiki/..." внутри этого списка.
Декодирует percent-encoding (например, %D0%BF → п), чтобы ссылки были читаемыми, с русскими символами.
Берёт первые 30 ссылок.
Добавляет к каждой префикс https://wiki.iphoster.net.

Полный список сохраняется в файл /root/google-indexing-api-bulk/urls.txt.

Шаг 4: Запуск индексации

cd /root/google-indexing-api-bulk && node index.js

Скрипт переходит в директорию проекта и запускает index.js из репозитория swalker-888/google-indexing-api-bulk, который отправляет URL-ы из urls.txt в Google Indexing API.

Особенности

Ссылки сохраняются без percent-кодирования — в человекочитаемом виде, с кириллицей.
Скрипт устойчив к дубликатам — каждый URL попадает в список только один раз (в рамках одного запуска).
Кэш-бастинг через timestamp гарантирует, что вы получаете актуальный список статей, а не закэшированную версию.
Скрипт обрабатывает только основные статьи (namespace 0), исключая служебные страницы с двоеточием в пути (например, Special:, Category:).

Требования

bash
curl
python3
node.js
Утилита swalker-888/google-indexing-api-bulk, установленная в /root/google-indexing-api-bulk/

Резюме

Данный скрипт автоматизирует рутину: сбор свежих ссылок и отправку их в Google Indexing API одной командой. Это полезно для SEO-специалистов и вебмастеров, которые хотят ускорить индексацию новых материалов на вики.

Ссылки

×