Пишем краулер на раз-два 1.0
Веб-краулер (или веб-паук) — это важная составная часть поисковых систем для обхода веб-страниц с целью занесения информации о них в базы данных, в основном, для их дальнейшей индексации. Такая штука есть у поисковиков (Google, Yandex, Bing), а также у SEO-продуктов (SEMrush, MOZ, ahrefs) и не только. И штука эта — довольно интересная: как в плане потенциала и вариантов использования, так и для технической реализации. Этой статьей мы начнем итеративно создавать свой велосипед краулер, разбирая многие особенности и встречая подводные камни. От простой рекурсивной функции до масштабируемого и расширяемого сервиса. Должно быть интересно! Читать дальше →
Источник:
Если Вы хотите оставить заказ на разработку сайта или получить предварительную консультацию воспользуйтесь формой по ссылке ниже.
Обратная связь
Наш специалист ответит вам в течении суток.
Похожие публикации
Поисковая оптимизация / [Из песочницы] Подбор ключевых слов с помощью базы Пастухова
Периодически задаюсь вопросом как облегчить труд нашим менеджерам по продажам. В этот раз речь зашла о подборе запросов, по которым будет вестись продвижение сайтов клиентов в поисковых системах. В... читать далее
Разработка изоморфного RealWorld приложения с SSR и Progressive Enhancement. Часть 4 — Компоненты и композиция
В предыдущей части туториала мы решили проблемы изоморфного роутинга, навигации, фетчинга и начального состояния данных. В итоге, получилась довольно простая и лаконичная основа для изоморфного... читать далее
SEO в разработке eCommerce проектов (20 правил для разработчика)
В последний год мы написали много статей по UX / UI проектированию eCommerce проектов и не только. Концепция проекта и интерфейсы – это, безусловно, очень важно, однако есть еще несколько крайне... читать далее
[Из песочницы] BEM'a не должно существовать
Здравствуйте. BEM'а не должно существовать. Есть огромное количество причин не использовать эту методологию, но из-за её простоты использования и непонимания работы CSS и HTML, методология... читать далее
Каскадные Таблицы Стилей / [Ссылка] Frame: Фреймворк нового поколения
После заевшегося 960.gs и Blueprint, захотелось чего то нового. Долго и упорно насиловал гугл, наткнулся на помесь того, что мне и было нужно. Смесь довольно интересная, реализует концепты... читать далее
Хватит паранойи или почему вам не светит 100 баллов в Page Speed
Йо-йо! Отличная штука SEO. Никто не знает, что делать наверняка, почему сайт «не в топ» и почему онлайн-бизнес не работает. И в поисках истинной причины владельцы сайтов становятся как сорокалетние... читать далее
Прокомментировать
Облако тегов
angular css CSS es6 frontend habrahabr.ru html HTML html5 JavaScript javascript js react ReactJS seo SEO на Хабрахабре skillfactory vue Блог компании RUVDS.com Блог компании SkillFactory Веб-дизайн Интернет-маркетинг Поисковая оптимизация Программирование Разработка веб-сайтов Уроки CSS на Хабрахабре автомобильный сайт браузеры верстка вёрстка дайджест интернет-магазин корпоративный сайт модуль мы рекомендуем портфолио разработка ссылки фронтенд
Реклама на сайте