Пишем краулер на раз-два 1.0
Веб-краулер (или веб-паук) — это важная составная часть поисковых систем для обхода веб-страниц с целью занесения информации о них в базы данных, в основном, для их дальнейшей индексации. Такая штука есть у поисковиков (Google, Yandex, Bing), а также у SEO-продуктов (SEMrush, MOZ, ahrefs) и не только. И штука эта — довольно интересная: как в плане потенциала и вариантов использования, так и для технической реализации. Этой статьей мы начнем итеративно создавать свой велосипед краулер, разбирая многие особенности и встречая подводные камни. От простой рекурсивной функции до масштабируемого и расширяемого сервиса. Должно быть интересно! Читать дальше →
Источник:
Если Вы хотите оставить заказ на разработку сайта или получить предварительную консультацию воспользуйтесь формой по ссылке ниже.
Обратная связь
Наш специалист ответит вам в течении суток.
Похожие публикации
Хватит паранойи или почему вам не светит 100 баллов в Page Speed
Йо-йо! Отличная штука SEO. Никто не знает, что делать наверняка, почему сайт «не в топ» и почему онлайн-бизнес не работает. И в поисках истинной причины владельцы сайтов становятся как сорокалетние... читать далее
[Из песочницы] BEM'a не должно существовать
Здравствуйте. BEM'а не должно существовать. Есть огромное количество причин не использовать эту методологию, но из-за её простоты использования и непонимания работы CSS и HTML, методология... читать далее
Разработка изоморфного RealWorld приложения с SSR и Progressive Enhancement. Часть 4 — Компоненты и композиция
В предыдущей части туториала мы решили проблемы изоморфного роутинга, навигации, фетчинга и начального состояния данных. В итоге, получилась довольно простая и лаконичная основа для изоморфного... читать далее
SEO в разработке eCommerce проектов (20 правил для разработчика)
В последний год мы написали много статей по UX / UI проектированию eCommerce проектов и не только. Концепция проекта и интерфейсы – это, безусловно, очень важно, однако есть еще несколько крайне... читать далее
Поисковая оптимизация / [Из песочницы] Подбор ключевых слов с помощью базы Пастухова
Периодически задаюсь вопросом как облегчить труд нашим менеджерам по продажам. В этот раз речь зашла о подборе запросов, по которым будет вестись продвижение сайтов клиентов в поисковых системах. В... читать далее
Каскадные Таблицы Стилей / [Ссылка] Frame: Фреймворк нового поколения
После заевшегося 960.gs и Blueprint, захотелось чего то нового. Долго и упорно насиловал гугл, наткнулся на помесь того, что мне и было нужно. Смесь довольно интересная, реализует концепты... читать далее
Прокомментировать
Облако тегов
API CSS dle habrahabr.ru HTML JavaScript ReactJS seo SEO на Хабрахабре trademod Веб-дизайн Интернет-маркетинг Поисковая оптимизация Поисковые технологии Программирование Разработка веб-сайтов Уроки CSS на Хабрахабре Учебный процесс в IT Я пиарюсь автомобильный сайт блог верстка дизайн интернет-магазин информационный ресурс корпоративный сайт модуль мы рекомендуем портфолио разработка сайтов редизайн сайт-визитка скрипты снег на сайте советы управление проектами уроки хаки шаблон
Реклама на сайте