SEO: Краулер всего сайта (в браузере)

Внимание: запускай этот блок на том же домене, который сканируешь.
Если fetch даёт opaque (CORS), страницы помечаются как заблокированные.
Ограничение браузера — не наш код.