Урл фильтр что такое
Урл фильтр что такое
Каждый URL Filter состоит из набора URL правил, количество которых неограничено. URL правило определяет адрес или часть адреса при нахождении которого в адресе WEB-запроса, данный WEB-запрос будет блокироваться. Например, URL Filter c URL правилами:
будет блокировать доступ ко всем сайтам содержащим в своем имени строки microsoft.com или odnoklassniki.ru
Согласно RFC 3986, адрес WEB-запроса состоит из следующих компонент:
TMeter осуществляет поиск на совпадение URL правила в частях hostname (имя хоста) и/или URI-path (URI-путь) WEB-запроса.
Конструирование URL правил
Помимо простых URL правил, состоящих из частей WEB-адресов (таких как microsoft.com или odnoklassniki.ru), в URL правилах разрешается использование некоторых специальных символов, изменяющих логику поиска на успех совпадения.
определяет, что поиск шаблона URL правила должен осуществляться в начале имени хоста или URI-пути (например, ^forum будет генерировать успех для адреса forum.tmeter.ru, однако для адреса www.forum.tmeter.ru работать не будет)
соответствует любой комбинации символов, например forum*.ru
Разрешает (не блокирует) адрес, который будет соответствовать шаблону. Данный символ можно применять только в начале шаблона
Все описанные модификаторы разрешно использовать только один раз в одном URL правиле.
Особенности работы URL фильтрации
URL фильтрация осуществляется в прозрачном режиме (т.е. нет необходимости использовать какой-либо прокси-сервер и специальным образом настраивать браузеры на клиентах). Технология URL фильтрации анализирует каждый TCP пакет на предмет наличия в нем заголовка HTTP-запроса. Если заголовок HTTP-запроса найден в пакете и совпал шаблон URL правила для блокирования сайта, то TMeter формирует ответную HTML-страничку «доступ запрещен» и посылает ее клиенту как бы от имени WEB-сервера. В дополнение, TMeter посылает TCP пакеты с флагом FIN для закрытия TCP-соединения.
Примеры URL фильтров
Запрещает загрузку содержимого с указанных сайтов
Обратите внимание
Как мы писали URL-фильтрацию Ростелекому
DPI и блокировка по IP
Начать видимо стоит с DPI. Они в некотором количестве на сети имеются, но поставить их на весь трафик стоило бы РТК несколько десятков миллионов долларов и постоянно требовало бы новых инвестиций в связи с ростом потребления скучающим населением. Ни предыдущие, ни теперешние руководители на такое не решились (возможно лишь пока), потому как никаких новых услуг с осязаемыми объемами доходов внедрение DPI не обещает.
Поскольку блокировать разные ресурсы РТК должен был и раньше (суды вершат без оглядки на законы), то и делал это по IP’ческим адресам. Соответственно, простейшая фильтрация на границах решала проблему. Аналогично стали решать и проблему с реестром запрещенных ресурсов: специально обученный человек выгружал реестр, там есть и URL и IP и дальше добавлял записи в списочек, а скрипт правил access list.
ПО управления фильтрацией
Мы автоматизировали общение с реестром и тут, как всем понятно, магии никакой (ее и дальше то особо нет). Запротоколировали внесение изменений в реестре и реализацию цензуры на сети. Добавили мелкие рюшечки, связанные с распределенной структурой ответственности на сети РТК, исключением из действия фильтра части абонентов (в частности запредельных операторов). Ну и суды никто не отменял, поэтому есть возможность внести любой ресурс из судебного решения. Помимо этого, управляющее ПО настраивает перенаправление трафика на узлы фильтрации, готовит отчеты о поисковых запросах пользователей, мониторит узлы фильтрации и протоколирует все активности.
Поворот трафика и фильтрация
Трафик направляемый абонентами на IP адреса соответсвующие блокированным URL’ам на PE поворачивали в специальный VPN, где defult смотрит на пару рутеров в центре. Используя SCU/DCU (похожая функциональность вроде и на кисках имеется) на границе же исключали по адресам источника трафик от абонентов, фильтрации не подлежащих. Софт управления формировал /32 маршруты по IP адресам реестра, правил конфиг на центральном маршрутизаторе и изменения вступали в силу. От посылки BGP апдейтов, помнится, отказались, потому как нехорошо это.
На двух центральных маршрутизаторах настраивали копирование проходящего трафика уже с учетом портов. Соответственно на весь РТК получалось от силы несколько мегабит. Копировать можно было либо на внешний сервер, либо на MS-DPC. И там и там принцип дальнейшей обработки был одинаков. ПО фильтрации ловит пакет, если в нем get с URL’ом из списка, то в сторону сервера шлем сброс, а в сторону браузера редирект на сайт с рассказом про то, как важны моральные принципы для современного российского общества.
Минимальное время ответа от серверов, входивших в реестр год назад, превышало 100 мс, а софтина, анализирующая URL, выдавала ответ за 5-6 мс при нагрузке в 3 Гб/с. Посему решили, что городить прокси, обеспечивать его надежность и прочее в том же духе смысла не имеет. При сбое ПО фильтрации все будет работать, кроме фильтрации понятно. Правда по просьбе РТК запроектировали все равно по паре серверов фильтрации.
Сейчас понятно, что можно было и чуть проще сделать, использовать маленький DPI в центре вместо своего ПО фильтрации. Но так мы уже другому оператору сделали. Может статься, что выбранные внедренцы скомбинируют свое ПО работы с реестром с обычным DPI, через который пойдет только выбранный трафик. Нам же на тот момент хотелось понять есть ли хоть какая-то задача, которую стоило бы реализовывать на сервисных модулях в маршрутизаторе, а не снаружи. То, что Juniper закрыл для внешних разработчиков доступ к модулям, дает четкий ответ на этот вопрос, но нас тогда еще мучили сомнения.
Что касается стоимости, то из того миллиона, о котором идет речь, больше половины составляли серверы, так что большой прибыли на софте там не планировалось.
Родительский контроль с помощью роутера
Содержание
Содержание
Интернет несет в себе множество соблазнов, поэтому желание родителей как-то обезопасить детей от «тлетворного влияния» всемирной паутины вполне понятно. В то же время, полностью запрещать Интернет — не лучший выход: в сети много полезной и важной информации. К счастью, отделить «полезный» Интернет от «вредного» вполне возможно и для этого достаточно правильно настроить роутер, раздающий дома Wi-Fi.
Что лучше — роутер или специальные программы?
Для родительского контроля создано большое количество приложений, которые устанавливаются на компьютер или смартфон и не дают посещать с него сайты с сомнительным содержанием.
Некоторые брандмауэры и антивирусы тоже имеют функцию родительского контроля. За счет более глубокого вмешательства в системные процессы, они способны контролировать и ограничивать установку небезопасных программ, устанавливать лимиты времени работы и доступа к Интернет, блокировать доступ к приложениям, сайтам, социальным сетям, вести учет деятельности в сети и даже определять «нежелательные» слова в переписке, которую ведет ребенок.
Однако минусы у программ родительского контроля тоже есть. Во-первых, большинство из них платные. Во-вторых, смышленые дети исхитряются обойти блокировку. В-третьих, приложение защищает только то устройство, на которое установлено (а иногда защита и вовсе работает только в одном браузере). Стоит ребенку войти в сеть с другого телефона или компьютера — и никаких ограничений не будет.
Другое дело — родительский контроль на роутере. Он будет распространяться на все подсоединенные к нему устройства. И избавиться от этого контроля не так просто.
Что нужно знать для настройки роутера
Нужно понимать, что такое MAC-адрес и IP-адрес.
МАС-адрес — это уникальный физический адрес устройства, подключающегося к сети. Состоит из восьми пар цифр и букв (от a до f), разделенных двоеточием. Выглядит примерно как 4f:34:3a:27:e0:16.
IP-адрес — это сетевой адрес устройства в локальной сети или сети Интернет, он состоит из четырех чисел (от 0 до 255), разделенных точкой (например, 124.23.0.254).
Любое устройство, даже обесточенное, имеет МАС-адрес. IP-адрес устройство получает, когда подключается к сети. Очень часто роутеры выдают IP-адреса динамически, из незанятых. Утром устройство может получить один IP-адрес, а вечером — уже другой. А на другом роутере — вообще третий.
Можно использовать следующую аналогию: МАС-адрес — это ФИО человека, а IP-адрес — его прозвище в коллективе. «Иванов Иван Иванович», «Ванёк», «сынок» и «Иваныч» могут обозначать одного и того же человека, но «Иванов Иван Иванович» он всегда, а «сынок» — только для родителей.
МАС-адрес используется для физической идентификации клиента и именно по этому адресу настраивается фильтрация в маршрутизаторе. Разобраться, кого как зовут поможет вкладка «Клиенты» веб-интерфейса роутера — там обычно есть полный список подключенных устройств, МАС-адреса, сетевые имена и IP-адреса.
IP-адрес меняется, а MAC-адрес — нет. В принципе, его можно сменить, но на некоторых устройствах (смартфонах, некоторых сетевых картах, сетевых устройствах) это сделать довольно непросто.
Настройка роутера с помощью специальных вкладок родительского контроля
Родительский контроль — проблема весьма актуальная и производители роутеров массово оснащают прошивки своих устройств средствами для блокирования нежелательного контента. У роутеров D-link и ТР-Link блокировка настраивается через вкладку «Яндекс.DNS», а у TP-Link и Sagemcom вкладка называется «Родительский контроль».
Подобные вкладки есть и у других производителей, с особыми названиями и тонкостями — универсальной инструкции по настройке не существует.
Вкладка «Яндекс.DNS» роутеров D-link и TP-link использует бесплатную одноименную службу, о которой будет подробнее написано ниже. Вообще Яндекс.DNS можно использовать на любом роутере, но роутер D-link с новой прошивкой позволяет задать ограничения конкретным устройствам в сети.
С помощью этой вкладки можно оставить «полный» доступ только с определенных устройств, а все новые, входящие в сеть, будут входить в ограниченном режиме — например, в «детском». Для этого следует закрепить за «родительскими» устройствами определенные IP-адреса на странице LAN.
Затем на вкладке «Яндекс.DNS-Устройства и правила» выставить им правило «Без защиты».
На вкладке «Яндекс.DNS-Настройки» следует задать режим по умолчанию «Детский».
Готово. Теперь роутер позволяет смотреть всё подряд только разрешенным устройствам, а все остальные — под контролем.
У роутеров TP-link есть несколько версий прошивки с родительским контролем. В старых прошивках в этой вкладке можно создать черный или белый список сайтов и, в зависимости от выбранного режима работы, запретить доступ к сайтам в списке или, наоборот, разрешить доступ только к указанным в списке.
Фактически это просто URL-фильтр, который есть в любом роутере. Единственная разница — здесь можно задать МАС-адрес контролирующего компьютера, к которому правила родительского контроля применяться не будут.
На прошивках поновее можно также задать расписание включения контроля и задать список устройств, на которые будет распространяться контроль.
А вот новейшая прошивка TP-Link предоставляет побольше возможностей. Здесь уже можно к различным устройствам применить разные уровни фильтрации контента.
Настройки позволяют широко варьировать уровень фильтрации как по возрасту посетителей «всемирной сети» (Дошкольники, Школьники, Подростки, Совершеннолетние), так и по категориям контента (Материалы для взрослых, Азартные игры, Социальные сети и т. д.).
Функционал прошивки может поспорить и с некоторыми платными программами и сервисами. Здесь же можно настроить и расписание действия родительского контроля.
Вкладка «Родительский контроль» на роутерах Sagemcom скрывает обычный URL-фильтр без возможности определения клиентов, для которых он будет действовать и расписание доступности Интернета.
Расписание, в отличие от URL-фильтра, можно привязать к отдельным клиентам.
Настройка роутера без вкладок родительского контроля
Если вкладки «Родительский контроль» нет в веб-интерфейсе вашего устройства, нужно попробовать обновить прошивку. Если же и после обновления ничего похожего не появилось, придется обойтись штатными возможностями, которые есть во всех моделях маршрутизаторов — фильтрацией по URL и сменой адреса DNS-сервера.
Настройка URL-фильтра
URL-фильтр позволяет ограничить доступ к определенным сайтам по их именам.
В большинстве устройств URL-фильтр может работать одном из двух режимов: черного или белого списка. В режиме черного списка будут доступны все сайты, кроме перечисленных.
В режиме белого списка будут доступны только перечисленные сайты.
Поскольку перечислить все «неблагонадежные» сайты абсолютно нереально, чаще всего роутер настраивается по «жесткому» второму варианту. В качестве основы можно использовать какой-нибудь рекомендованный белый список и добавлять в него сайты по необходимости.
URL-фильтр удобен, если его действие можно применять или не применять к определенным устройствам в сети. Редкие роутеры позволяют гибко настраивать каждый разрешенный адрес на каждое устройство. Обычно маршрутизаторы позволяют задать как минимум список клиентов, на которых URL-фильтр не действует. Если и такой возможности устройство не предоставляет, вам придется менять настройки роутера каждый раз, как потребуется посетить сайт не из «белого списка». Это совсем неудобно и лучше воспользоваться другими функциями ограничения доступа.
Смена адреса DNS-сервера
DNS-сервер (сервер имен) конвертирует привычное нам имя сайта (например, yandex.ru) в IP-адрес сервера яндекса. Только получив этот IP-адрес, браузер сможет открыть запрошенный сайт. Защита от нежелательного контента с помощью DNS предполагает, что вместо простого DNS-сервера вы используете DNS-сервер специальный, который не просто конвертирует имя сайта в его IP-адрес, но и проверяет его «благонадежность». И если запрашиваемый сайт включен в «черный список» службы, вместо искомого сайта на экране браузера появится «заглушка». Просто и достаточно эффективно.
Удобнее всего пользоваться такими сервисами, если настройки роутера позволяют задавать разный DNS-сервер для разных клиентов (или групп клиентов, или хотя бы сетей). Иначе вам, опять же, придется менять настройки роутера всякий раз, как вы увидите «заглушку» вместо нужного сайта.
В некоторых вариантах соединения с провайдером DNS-сервер задать невозможно — он предоставляется провайдером автоматически и в настройках соединения его просто нет. В этом случае можно попробовать задать его с помощью настроек DHCP-сервера роутера — DNS-сервер службы следует вписать в строку Primary DNS.
Из наиболее распространенных сервисов родительского контроля на основе DNS можно отметить Яндекс.DNS, OpenDNS и SkyDNS.
Яндекс.DNS — российский сервис, предоставляющий два уровня защиты — «безопасный» (без мошеннических сайтов и вирусов) и «семейный» (то же, плюс блокируются еще сайты для взрослых).
Для установки «безопасного» режима следует указать в качестве адреса DNS-сервера один из двух серверов Яндекса: 77.88.8.88 или 77.88.8.2. Для «семейного» режима адреса другие — 77.88.8.7 или 77.88.8.3.
Плюсы сервиса — отличная скорость, высокая эффективность и полная бесплатность. Минусы — нельзя настроить или добавить категории блокируемых сайтов. Социальные сети, например, не блокируются. Если вы хотите запретить ребенку доступ к «Вконтакте», вам придется использовать URL-фильтр в дополнение к Яндекс.DNS.
OpenDNS (он же Cisco Umbrella) — служба DNS-серверов, принадлежащая американской компании Cisco.
Кроме общедоступных DNS-серверов, OpenDNS предоставляет сервера с защитой от нежелательного содержимого. Например, Family Shield c защитой от сайтов для взрослых имеет адреса DNS серверов 208.67.222.123 или 208.67.220.123. А вот бесплатный вариант Home с возможностью настройки блокируемого контента в России недоступен — можно использовать только платный вариант Home VIP.
В плюсах у OpenDNS — платные варианты с возможностью конфигурирования. В минусах — нет безопасного варианта без фильтрации «взрослого» контента, да и фильтр нацелен, в основном, на обслуживание англоязычного сегмента Интернета, так что некоторые русскоязычные сайты для взрослых могут пройти сквозь фильтр.
SkyDNS — платный сервис фильтрации нежелательного контента. Приобретя аккаунт, вы получите богатые возможности по конфигурированию фильтра. Можно выбрать, сайты какой категории блокировать (тут и безопасность, и сайты для взрослых, и социальные сети, и игры, и многое другое), задать различные профили с разными настройками блокировок, установить расписание действия того или иного профиля, и многое другое.
Существует расширение для роутеров Zyxel, которое упрощает настройку сервиса и позволяет применять к разным устройствам в сети разные профили.
Это сильно расширяет возможности контроля и наблюдения — в личном кабинете сервиса можно получить полную статистику по сетевой активности из вашей сети.
Плюс сервиса — широчайшие возможности настройки. Минусы — кроме отсутствия бесплатных сервисов — ваш профиль должен быть привязан к статическому IP-адресу. Если провайдер выдает вам при подключении динамический IP-адрес (что происходит в 99,9% случаев) вам придется разбираться с конфигурированием DDNS на вашем роутере, подключать одну из служб DDNS и привязывать к ней ваш профиль. Или же подключать услугу статического IP у провайдера. Впрочем, на сайте SkyDNS есть описание настроек DDNS для большинства распространенных роутеров.
Как не позволить обойти родительский контроль
У многих людей любая попытка контроля вызывает желание его обойти, даже если в этом нет никакой реальной надобности, и ваши дети — не исключение. Самый строгая фильтрация Интернета будет абсолютно бесполезна, если вы оставите «лазейки» для её обхода.
Во-первых, смените имя и пароль доступа к веб-интерфейсу на что-нибудь посложнее стандартного admin/admin.
Во-вторых, имея физический доступ к роутеру, пароль на нем можно сбросить (правда, это ведет и к сбросу всех остальных настроек).
В-третьих, заблокируйте различные способы обхода блокировки. Tor Browser, например, без малейших проблем обходит любые сервисы на основе DNS. Единственный способ пресечь этот обход — жесткая фильтрация по белому списку.
Если вы фильтруете контент не для всей сети, а только для определенных устройств, то смена МАС-адреса моментально выведет гаджет вашего ребенка «из-под колпака».Наиболее сложен для обхода URL-фильтр в режиме «белого списка» для всей сети (без привязки к МАС-адресам), но подумайте — нужна ли такая жесткая блокировка? Ведь есть мобильные сети, общедоступные Wi-Fi сети и т. п. Если совсем «перекрыть кислород» ребенку, он может начать искать совершенно неподконтрольные вам способы получения информации — нужно ли вам это? В родительском контроле (и не только в нем) наилучший эффект дает именно «золотая середина».
Фильтр отслеживания по URL
Встречайте наш новый фильтр отслеживания по URL! Он вырезает параметры запросов из URL-адресов страниц.
Не то чтобы это что-то радикально новое. В модуле Антитрекинг AdGuard всегда была функция вырезания параметров отслеживания. «Так зачем изобретать велосипед?» — можете спросить вы. Скоро узнаете! Но сначала давайте разберёмся, что вообще такое параметры отслеживания.
Что такое параметры отслеживания и как они используются
Обычно параметры в адресе страницы используют для трекинга. Вы наверняка видели в адресах страниц параметры вида utm_source или utm_campaign — это и есть параметры отслеживания.
Давайте посмотрим на пример того, как их используют:
Казалось бы, ну видит и видит, что в этом плохого? Но есть проблемы:
Зачем удалять параметры из URL-адресов и почему мы создали фильтр для этой цели
Причины удаления UTM-параметров и других отслеживающих параметров, кажется, не нуждаются в объяснении после прочтения пунктов выше. Вы едва ли хотите, чтобы ваша личная информация была доступна третьим лицам, не говоря уже о том, чтобы каждый ваш шаг отслеживали, не так ли?
Теперь перейдём ко второму вопросу. Мы в AdGuard неплохо справляемся с фильтрацией — постоянно дорабатываем и обновляем фильтры, и делаем это ежедневно, учитывая новые веяния. Но проблема в том, что список вырезаемых параметров зашит в программу, его нельзя дополнять так, как мы делаем с нашими фильтрами.
Так что мы решили, что пришло время собрать все самые популярные трекинговые параметры и объединить их в один фильтр. Результатом стал герой сегодняшнего дня — фильтр отслеживания по URL, который будем обновлять и пополнять также активно, как и остальные наши фильтры. И самое лучшее — теперь вы можете удалять параметры отслеживания, используя один этот фильтр.
В будущих версиях наших продуктов мы доработаем модуль Антитрекинга так, чтобы он сам включал новый фильтр AdGuard.
Сейчас фильтр отслеживания по URL можно использовать в AdGuard для Windows, Mac и Android. Пользователи наших браузерных расширений для Chrome, Firefox, Edge и Opera увидят его в следующем обновлении 3.6. Следите за обновлениями!