Фиас и гар в чем разница
Сделали «ФИАС» на основе ГАР. Пока он открыт для всех. Подойдет вместо почившего справочника ФНС
Если у вас есть учетные системы, которые работают на ФИАСе и не понимают ГАР, вы можете бесплатно получать обновления у нас. Ссылка внутри поста.
Зачем понадобился еще один ФИАС
С 31 августа ФНС перестала обновлять ФИАС — Федеральную информационную адресную систему. Остался ГАР — Государственный адресный реестр. Теперь актуальные адреса налоговая отдает только в ГАР. О тонкостях мы рассказывали на вебинаре «ГАР: что это такое и как жить без ФИАС».
Это плохие новости для крупных компаний. В энтерпрайзе полно важных систем, которые работают на ФИАСе. Та же «1С» или «АСВ чекер». Они больше не получают обновления адресного справочника.
Чтобы помочь заказчикам и рынку вообще, мы разработали справочник, который можно использовать вместо почившего ФИАС.
Что внутри «ФИАС» от HFLabs
Справочник — не точная копия ФИАС, поэтому название пишем в кавычках. Мы перенесли только необходимое. Внутри:
таблица ADDROBJ — объекты до дома (улицы, районы, регионы и т. д.);
SOCRBASE — классификатор типов.
Исторические записи мы выгрузили для одной ADDROBJ. В других таблицах пока лежат только актуальные записи. Остальные — в разработке, об их появлении сообщим в телеграме.
В таблице ADDROBJ больше нет индексов. ФНС удалила их из ФИАС в последней версии 31 августа, а из ГАР ещё раньше. Это значит, что теперь почтовые индексы проставлены только у домов, не выше.
Формат справочника — только DBF, без XML.
Это бета-версия
Мы тестируем справочник всеми силами, но структура ГАР сильно отличается от ФИАС. Поэтому в релизе могут быть несостыковки. Если найдете ошибку, пожалуйста, пишите на gar_fias@hflabs.ru.
Как часто будем обновлять
Новый «ФИАС» будем релизить два раза в неделю. Но, естественно, с оглядкой на ФНС: если налоговая не опубликует ГАР вовремя, нам негде будет взять данные.
Как получить «ФИАС» от HFLabs
Укажите свое имя и емейл в форме. На введенный адрес придет письмо со ссылкой на скачивание.
Емейл нужен, чтобы делиться новостями о нашем «ФИАСе» и приключениях с ГАР. Писать будем по делу, без спама. Отписаться можно в любой момент.
Имя просим, чтобы по-человечески обратиться к адресату.
Никаких ограничений на использование нашего «ФИАСа» нет, пользуйтесь на здоровье.
На этом пока все. Следите за телеграм-каналом @hflabs_official, чтобы узнать, когда в наш «ФИАС» завезут исторические записи о домах, квартирах, участках и всем остальном.
ГАР БД ФИАС или очень полная БД ФИАС
01.06.2020 ИФНС опубликовала новый формат выгрузки данных
17.12.2020 Мягко намекнула, что в 2021 будет использоваться только он
01.09.2021 Это свершилось: теперь просто «полная БД ФИАС» перестала обновляться и требуется использовать ГАР БД ФИАС
Частично импортируем ГАР БД ФИАС в MySQL на PHP.
Новость, мягко говоря, не очень, для тех кому нужно получить иерархию улиц и список домов с почтовыми индексами, особенно учитывая, что КЛАДР до сих жив. А не очень из-за того, что файлик данных с 12Гб резко пополнел до 28Гб. Конечно, можно возразить, что скачал один раз и по чуть-чуть обновляйся. Да, можно, если хранить нужные файлы данных целиком и постоянно накатывать на них обновления, но. наличие багов (даже в полной версии) добавит радости.
Таблица gar_addr, ключевое поле id. Иерархию определяют указывающие на него owner_adm и owner_mun. Субъекты РФ (и Байконур) имеют level=1, owner_adm=owner_mun=0. Содержит информацию о названиях адресных объектов (NAME, TYPENAME) и говорящие за себя OKATO, OKTMO, KLADR. OBJECTGUID, ранее в ФИАС именовался AOGUID, является идентификатором адресного объекта (уникальный для актуальных записей; не уникальный, если используются исторические устаревшие записи). OBJECTID аналогичен по значению OBJECTGUID, но уже целочисленный.
Импорт и частичное описание структуры.
Всё описанное ниже реализовано в исходниках.
a) Прежде чем начать, проверим zip файл. Убедимся, что он похож на нужный нам и в нём хотя бы есть файлы as_addr_obj. для каждого интересующего нас региона.
Ранее в ФИАС был один файл со всеми регионами, теперь данные о каждом регионе в своей директории.
b) Импортируем файлы AS_ADDR_OBJ_(дата)_(идентификатор).XML, содержащие информацию об адресных объектах.
e) Проиндексируем дома по OBJECTID и убедимся, что все записи уникальны.
f,g) Настало время создать иерархию. Анализируем файлы AS_ADM_HIERARCHY_. и AS_MUN_HIERARCHY_. отбирая только актуальные записи. Пара OBJECTID и PARENTOBJID указывает на OBJECTID объекта.
В этих файлах собрана информация по всем объектам региона. В моём случае PARENTOBJID может быть только адресный объект, но реально в PARENTOBJID может быть и дом. Дочерним у него будет является, например, квартира (файлы AS_APARTMENTS_. ).
h) Проиндексируем gar_addr по owner_adm и owner_mun
ГАР, полная выгрузка
В файле AS_ADDR_OBJ_20210906_2a908987-3309-454e-9364-b75afd551e12.XML
есть объект с ISACTUAL=»1″ ISACTIVE=»1″
однако, его OBJECTID=»95254004″ вообще не встречается в AS_ADM_HIERARCHY_20210906_221e769c-cfac-4af6-9a20-04cc9c2e1fe5.XML AS_MUN_HIERARCHY_20210906_214fdb76-13c8-49cf-90ef-b5f05c4ee6df.XML
Надеяться, что дом обычно расположен на конкретной улице и owner_adm должен совпадать с owner_mun не получится. Крайне малое количество домов имеют разных владельцев, например один и тот же дом «Х»:
Башкортостан, Уфимский р-н, Зубовский с/с, д. «Х»
Башкортостан, Уфимский м.р-н, с.п. Зубовский сельсовет, тер. СНТ Авиатор, ул N1, д. «Х»
k) Настало время заполнить OKATO, OKTMO и KLADR. Информация о них в файле AS_ADDR_OBJ_PARAMS_. и надо выбрать VALUE из актуальных записей соответствующего TYPEID (6,7,11). Какие данные ещё есть в этом файле указано в AS_PARAM_TYPES_. XML
m) Удаляем вспомогательные столбцы и индексы
n,o) Выполняем слияние всех таблиц по регионам в одну общую.
p) Создаём нужные индексы
q) Переименовываем временные таблицы в нормальные имена
Чтобы получить этот результат надо обработать:
Парсим ГАР БД ФИАС в удобный формат в питоне. Бесплатно, без регистрации и СМС
Если вам зачем-то понадобилась полная адресная база России, то самый простой и дешевый способ ее заполучить — это скачать на сайте налоговой. Да, вот так вот просто все. Ну почти.
Да, это полная официальная адресная база России, просто в открытом доступе, никто ничего не спрашивает, просто раздают. Сделали на наши налоги, и честно всем, как скамейку в парке, отдают в пользование. Прекрасно? Да!
«В чем же подвох?», — спросите вы, прищурившись.
Кратко: формат ужасен, документация очень плоха и должного единообразия данных не наблюдается, чем успешно пользуются коммерческие компании, перепродающие бесплатные данные (иногда пылесосят имейлы). Но такую несправедливость можно исправить.
Что это за база и зачем ее парсить
ГАР — Государственный Адресный Реестр | БД — База Данных | ФИАС — Федеральная Информационная Адресная Система
Как это всегда бывает, база в том виде, в котором она поставляется, может отличаться немного от региона к региону. Заполняются одни и те же поля тоже не обязательно в единой манере.
Всех проблем не перечислишь, казусов там много, выясняются они потом, во время эксплуатации, и скрипты обрастают хардкодом и гусями. Как правило, это отличие формальности от реальности. Из запоминающегося — Адлер, который вроде как формально — Адлерский район Сочи, но в реальности вроде как бы и нет.
В этой статье я вам сначала расскажу немного про ФИАС, его особенности и альтернативы, а кому сразу же хочется перейти к туториалу и коду — то колаб доступен по ссылке вместе с комментариями. Мы решили показать все на одном конкретном регионе (база структурирована по регионам) в Google Colab, который от Jupyter Notebook отличается номинально. Если у вас достаточно места на гугл диске, можно скачать более новую и полную базу напрямую на диск, там же разархивировать и радоваться. Учитывайте, что если архив базы весит 30 Гб, то в разархивированном виде, как это часто бывает с пережатыми текстами, ее раздувает в 10 раз, и она занимает уже все 300 Гб. В подтягивающемся репо есть небольшой, но достаточный для туториала, кусок ноябрьских данных. Скорее всего, на него вам места точно хватит. Дисклеймер: Я не гарантирую, что код будет работать для всех регионов и апдейтов. Я не гарантирую, что данный код способен распарсить все актуальные адресные цепочки из базы и не распарсит неактуальные. Не используйте этот код в проде, это просто туториал. Если что-то сделано менее эффективно, чем могло бы быть, и вам это не дает покоя, ваш вклад в репозиторий приветствеуется.
Мы используем ФИАС у себя в проде больше двух лет. Некоторое время назад ФИАС полностью перешел на формат ГАР, о чем они ранее предупреждали, и мы решили освежить свои скрипты, а заодно и прочувствовать по новой «красоту и единообразие» нашей адресной системы. Надо сказать, что она стала капельку лучше (но легче от этого стало незначительно). Так же мы изменили подход к сбору адресных цепочек и решили поделиться своим безудержным весельем со всеми желающими.
Нам удобно использовать датафреймы из пандаса и обычные питоновские словари. Первые легко агрегируются, но ужасно медленны при итерировании и доступу по ключам. Вторые безумно быстрые для доступа по ключу. Городить что-то более сложное, с хадупами, кубернетисами и модными ETL-инструментами, нам не нужно, такого набора достаточно для наших задач. Если же без этих ваших кубернетисов жить ну никак нельзя, то вы и сами справитесь, не скромничайте.
Альтернативы
Ну есть OSM, бесплатный, да, не для всей России, не всегда актуален, держится на усилиях очень идейных людей, судя по всему. Названия там зачастую отличаются от официальных и порой встречаются сразу несколько вариантов одного и того же топонима. Поэтому несколько годен для сбора синонимов и разговорных названий. Выхлоп небольшой, но есть. По количеству усилий на очистку и слияние с официальной базой работать с ним куда более неприятно, чем с ФИАС. Но работать можно, и жаловаться грешно.
Из бесплатного, пожалуй, все. Если это не так — подскажите в комментах, будем благодарны.
Остальные базы платные, предоставляют доступ к API и обязательно ставят заградительные цены на всю базу (что абсолютно логично, кому нужны конкуренты?), либо прямо запрещают ее хранить и собирать. Там бывают бесплатные лимиты (например, до 10 000 запросов в сутки), или они требуют указывать, откуда вы получили данные, в своем приложении. Перечислять их смысла нет.
Есть компании, перепродающие ФИАС, иногда с дополнениями (DaData) или собирающие ваши данные (HFLabs). Несомненно, работа по очистке, поддержка, сбор координат из росреестра или другого источника, чего-то стоят, и кто-то не готов ее сам чистить и поддерживать, но готов заплатить, в том числе своими данными, и это нормально. Как относиться к тому, что в таком случае они не указывают первоисточник данных, где можно тупо скачать базу без вопросов, решайте сами.
Что там внутри ФИАС такого страшного
Вообще, правильнее с документации начинать в первую очередь (мы так и делаем), но если нет конкретной задачи, это превращается в муку. Всю структуру описывать не будем, тем более, что мы используем далеко не все возможное оттуда.
Важнее понять, как в целом подходить к ФИАС, и что она из себя представляет. Главный столп нашей адресной системы: Адресная система — это дерево, ветви (адресные цепочки) которого имеют разную длину и состав. Что это означает, объясню на примерах ниже.
Цепочки можно вытянуть из двух файлов, один с административным делением (историческим), другой с муниципальным (актуальным). Судя по моим изысканиям, отличия минимальные и затрагивают верхние уровни подчинения (административные и муниципальные районы).
Поэтому работаем с муниципальным делением. А вообще, чтобы помочь Даше отыскать все 10 различий, можно зайти сюда, выбрать деление и сравнить поля.
В лучших традициях ФИАС многие объекты «гуляют по уровням», например, всякого рода дачные и садовые территории могут считаться как улицей, так и элементом планировочной структуры, так и населенным пунктом. Все это делает приведение адресных цепочек к стандартному разговорному «населенный пункт, улица, дом» страшным геморроем. Вообще, то, как люди называют адреса в реальности может иметь мало общего с формальностью. Особенные названия микрорайонов, ЖК, топонимы из советского прошлого, — только малая часть того, что сразу приходит в голову.
У нас бывают улицы с одинаковыми названиями в одном городе в разных микрорайонах, бывают деревни и СНТ внутри городов, отсутствуют улицы в деревнях, бывают деревни-тезки в разных муниципальных районах, и прочие радости жизни. К счастью, цепочки от уровня здания теперь можно представить в едином виде с элементами от 10 до 1, где 10 — это дом, а 1 — регион, и подчиняются они именно в таком порядке.
А еще регион может быть населенным пунктом (города федерального значения, которые сами себе регион).
Иногда микрорайон или деревня, входящая в состав города, включается в название улицы в скобках, очень удобно (нет).
Если обратиться к цифрам, то примерно вот так представлены адресные цепочки в России:
Чтобы использовать этот зоопарк на практике, мы пытаемся структурировать полученные цепочки таким образом: дом, улица, населенный пункт, остаток (leftover), муниципальный/административный район. Встает вопрос, вот допустим, есть город Мухосранск, в нем есть деревня Кочерыжкино, в деревне — улица Ватрушкина, на улице — дом 42. Что считать населенным пунктом при приведениии цепочки? Город или деревню? Зависит от того, где вы будете это применять и как. Мы обычно деревню определяем в остаток. Остаток может быть пустым. Муниципальный район редко используется, как правило, он нужен для различения одноименных городов и деревень-сателлитов.
Со зданиями (домами) все тоже зажигательно. Для номеров домов в ФИАС есть целых три колонки, видимо, чтобы уместить корпуса, строения, владения и прочие вынужденные отклонения от простоты и красоты. И три колонки для указания типа здания в довесок. И вот колонки есть, а как их заполнять, на местах все решили по-своему. Где-то все уместили в одну колонку вместе с литерами и корпусами. Где-то разнесли. Где-то одну и ту же информацию продублировали дважды или трижды во все колонки. Где-то вместо очевидного типа «Литера» подставлен другой неподходящий тип. Поэтому, собирая адресную строку, не стоит бездумно конкатенировать все три или шесть колонок и считать, что это настоящий номер дома. Придется разобрать все возможные виды извращенства и почистить вилкой.
Из менее раздражающих свойств ФИАСа можно заметить, что единые названия одних и тех же сущностей в разных таблицах не всегда практикуются, и в туториале можно наблюдать, как я переименовываю сразу колонки, чтобы не таскать за собой мусор из дублирующихся колонок с разным названием и одинаковым содержанием.
И что дальше
Публичные бесплатные данные — это прекрасно. И понятно, почему ФИАС такой всратый — потому что легаси, потому что унификация большой системы — это сложно, потому что всегда в подчинении оказываются немотивированные элементы, которые на все годные движухи хотели класть болта, потому что верхнее звено в субординации не откликается на зов подчиненных, и т.д. и т.п. Тем не менее, база становится все лучше, и однажды она наверняка станет замечательной, и может, координаты туда завезут из коробки, главное — пользуйтесь сами. Правильно ли кормить тех, кто протер скамейку в парке, првязал к ней бантик и просит теперь 10 рублей в час за нее? Так, глядишь, продадут народную скамейку, как Союзмультфильм продали.
Нужно, чтобы люди знали о существовании такой базы и пользовались ею. Чтобы люди понимали, что она бесплатная для всех, и даже вашу почту никто не спросит при скачивании. Расскажите об этом всем.
Теперь, когда у вас есть основные представления, остается лишь пройти по ссылке в колаб, и попробовать распарсить хотя бы один регион самостоятельно, разобравшись в коде.
На всякий случай кратенько опишу здесь, что в этом ноутбуке вообще происходит в каждом разделе:
Надеюсь, кому-то это окажется полезным. Ну а что делать с этим дальше, решать уже вам.
ФИАС: особенности, этапы перехода и обязательность применения
ФИАС: что это такое
Федеральная информационная адресная система (ФИАС) была создана в соответствии с распоряжением Правительства РФ от 10.06.2011 № 1011-р и начала работать уже с 01.11.2011 года. До этого времени в целях систематизации информации об адресах использовался КЛАДР – классификатор адресов, разработанный ФНС России исключительно в налоговых целях.
В ФИАС вносятся сведения обо всех имеющихся на территории России адресах, а также о реквизитах документов о присвоении, изменении и аннулировании этих адресов (ст. 4 Федерального закона от 28.12.2013 № 443-ФЗ «О федеральной информационной адресной системе…»).
Сведения об адресах включают в себя следующую информацию:
Также в ФИАС представлены присвоенные объектам коды ОКТМО и коды ОКАТО.
Информация об адресах в ФИАС постоянно актуализируется и дополняется. В случае изменения или аннулирования адреса все ранее внесенные сведения об адресе сохраняются в ФИАС со статусом «архивная информация».
Предоставление сведений об адресах в электронном виде осуществляется бесплатно. Для получения сведений на бумажном носителе потребуется заплатить пошлину (ч. 6 ст. 8 Федерального закона от 28.12.2013 № 443-ФЗ).
Чем ФИАС отличается от КЛАДР
Главное отличие между этими двумя системами заключается в том, что КЛАДР – это сугубо ведомственная база данных, а ФИАС – общая для всех министерств, организаций и физлиц адресная система.
В КЛАДР используются формализованные наименования элементов планировочной структуры и элементов улично-дорожной сети. В ФИАС же содержатся официальные наименования всех этих элементов.
ФИАС содержит больше информации об объектах адресации, адреса в ней стандартизированы, а предоставление сведений конечному пользователю осуществляется в более удобной и детализированной форме.
В отличие от КЛАДР, в ФИАС добавлены такие весьма важные компоненты, как:
Для рядовых пользователей учетных программ (приложений) и их разработчиков основное различие между ФИАС и КЛАДР сводится к тому, что файлы первой адресной системы гораздо «тяжелее» файлов второй. Так, если файлы КЛАДР «весят» 300 Мб, то файлы ФИАС занимают уже 9 Гб файлового пространства.
Данное обстоятельство обуславливает следующие моменты:
Этапы внедрения ФИАС
Федеральный закон от 28.12.2013 № 443-ФЗ «О федеральной информационной адресной системе…» вступил в силу с 1 июля 2014 года. С этого момента содержащиеся в ФИАС сведения об адресах стали обязательны для использования следующими субъектами:
Для организаций и ИП обязанности по использованию сведений, содержащихся в ФИАС, законом не установлено. Поэтому рядовые налогоплательщики по-прежнему могут пользоваться сведениями из КЛАДР (в случае их актуальности).
При этом ФНС России официально поддерживала и регулярно обновляла КЛАДР до 31.12.2017.
Но и сейчас ведомство по-прежнему регулярно выгружает ФИАС в формате КЛАДР и публикует его.
Организации и ИП могут использовать в отчетности не только коды по ФИАС, но и коды по КЛАДР. Форматы, передаваемые в ФНС, не требуют обязательного указания идентификатора адреса по ФИАС.
Единственным форматом, в котором требовался обязательный ввод идентификатора адреса по ФИАС, в январе 2018 года стал формат «Спецификации на обмен данными в электронном виде о нетрудоспособности и других сведениях…», используемый при оформлении документов на прямые выплаты пособий в пилотных регионах ФСС.
С 1 января 2018 года при заполнении данного формата нельзя было использовать коды из КЛАДР. Между тем, уже в ноябре 2018 года ФСС утвердил спецификацию версии 1.7.6, в которой изменилась обязательность полей. Вместо GUID из ФИАС появилась возможность передавать код того же адреса по КЛАДР.
Таким образом, в настоящее время среди форм отчетности, передаваемых в контролирующие органы, не осталось ни одной, где код по ФИАС был бы обязателен.
ФИАС в учетных решениях 1С
В программе «1С:Бухгалтерия 8» начиная с версии 3.0.37.25 в качестве источника адресной информации используется ФИАС. Вся линейка других современных программ 1С также поддерживает работу с ФИАС с 2014 года.
Проверка адреса по ФИАС доступна в разделе Администрирование – Общие настройки – Контактная информация.
ФИАС не поддерживается только в программах «старого поколения». К ним, в частности, относятся:
Вместо автоматической загрузки кодов ФИАС во всех этих программах предусмотрен ручной ввод адресов, без подсказок, автозаполнения и проверки корректности адресов.
Сделали «ФИАС» на основе ГАР. Пока он открыт для всех
Мы разработали справочник, который можно использовать вместо почившего ФИАС. Получить его можно уже сейчас, ссылка внутри поста.
Что внутри «ФИАС» от HFLabs
Справочник — не точная копия ФИАС, поэтому название и в кавычках. Мы перенесли только необходимое. Вот что внутри:
Исторические записи мы выгрузили для одной ADDROBJ. В других таблицах пока лежат только актуальные записи. Остальные — в разработке, об их появлении сообщим.
В таблице ADDROBJ больше нет индексов. ФНС удалила их из ФИАС в последней версии 31 августа, а из ГАР ещё раньше. Это значит, что теперь почтовые индексы проставлены только у домов, не выше.
Как часто будем обновлять
Новый «ФИАС» будем релизить два раза в неделю. Но, естественно, с оглядкой на ФНС: если налоговая не опубликует ГАР вовремя, то нам негде будет взять данные.
Это бета-версия
Мы тестируем справочник всеми силами, но структура ГАР сильно отличается от ФИАС. Поэтому в релизе могут быть несостыковки. Если найдете ошибку, пожалуйста, пишите на gar_fias@hflabs.ru.
Как получить «ФИАС» от HFLabs
Укажите свое имя и емейл в форме eepurl.com/hJw-1f. На введенный адрес придет письмо со ссылкой на скачивание.
Емейл нужен, чтобы делиться новостями о нашем «ФИАСе» и приключениях с ГАР. Писать будем по делу, без спама. Отписаться можно в любой момент.
Имя просим, чтобы по-человечески обратиться к адресату.
Никаких ограничений на использование нашего «ФИАСа» нет, пользуйтесь на здоровье.
На этом пока все. Следите за телеграм-каналом @hflabs_official, чтобы узнать, когда в наш «ФИАС» завезут исторические записи о домах, квартирах, участках и всем остальном.