APICrafter

Телеграм бот по классификации данных https:/t.me/DataClassifierBot теперь умеет распознавать типы файлы, их кодировку и разделители, если файлы в CSV формате. Теперь не надо преобразовывать данные для загрузки в бот, он автоматически идентифицирует необходимое и проведет классификацию полей данных.

Напомню что https:/t.me/DataClassifierBot анализирует структуру файла и на основе данных определяет содержание поля возвращает информацию о том что там содержится. Бот умеет определять такие виды данных как:
- Ссылки
- Email адреса
- ФИО и по отдельности фамилии, имена и отчества
- названия организаций
- Коды организаций ИНН/КПП/ОГРН/ОКПО
- Дату и время в любом формате
- Коды ОКВЭД, ОКПД, ОКВ, ОКФС и другие
- Названия городов
- Названия стран
- Адреса

и многое другое, полный перечень выявляемых идентификаторов и видов полей на сайте DataCrafter https://data.apicrafter.ru/class

Классификация данных DataCrafter Классификация данных DataCrafter: ОГРН, ИНН, кадастровый номер, ОКПО, ОКВЭД, коды бюджета, коды ГРБС и др.

В каталог DataCrafter'а добавлен открытый набор данных Реестр обязательных требований для организаций в городе Москве (https://data.apicrafter.ru/packages/mosknd) [1] полученный с сайта Открытый контроль (knd.mos.ru). Набор данных включает 87 тысяч записей, общим объёмом 470 МБ в формате JSONL и в 20 МБ в сжатом виде. Данные содержат обязательные требования предъявляемые организациям в зависимости от вида их деятельности.

Данные доступны через:
- в виде пакета данных (ZIP архив)
- в виде JSON lines файла экспорта
- через API платформы

Набор данных можно использовать, например, для создания сервиса определения перечня требований к организации по виду деятельности. На его основе можно создать специальный телеграм бот, мобильное приложение или веб интерфейс отличный от того что уже реализовано на портале Открытый контроль.

Ссылки:
[1] https://data.apicrafter.ru/packages/mosknd

Обновления в каталоге APICrafter

Что нового
1. Данные о пакетах данных теперь публикуются более компактно. Страница пакета данных теперь включает сведения о характеристиках, таблицах и сборках данных вместе. Например [1 (https://data.apicrafter.ru/packages/roszdravvendors)] [2 (https://data.apicrafter.ru/packages/datamos-dayhospital)]
2. Таблицы открытых наборов данных теперь можно скачать в форматах JSONl, CSV и Parquet. Ссылки на данные публикуются на странице таблицы, например, "Точки обмена" [3]

Экспорт данных сейчас работает со следующими ограничениями:
- экспорт только для наборов данных менее чем с 100 тысячами записей
- форматы csv и parquet доступны только для таблиц без вложенных объектов
- сборки данных включают все данные и доступны всегда

Формат Parquet [4 (https://tinyurl.com/mr4xjdmd)] популярен в data science и активно используется с помощью Jupyter Notebook.

Мы обязательно опубликуем примеры его использования.

Ссылки:
[1] https://tinyurl.com/2s3vuxaf
[2] https://tinyurl.com/2p89vp2k
[3] https://tinyurl.com/yckma22e
[4] https://tinyurl.com/mr4xjdmd

Если вы изучаете сферу образования, предлагаем вам воспользоваться наборами данных, опубликованными в каталоге DataCrafter:

— Сводный реестр лицензий на осуществление образовательной деятельности
https://data.apicrafter.ru/packages/eduorgsreg

— Реестр организаций, осуществляющих образовательную деятельность по аккредитованным образовательным программам
https://data.apicrafter.ru/packages/eduorgsaccred

— Реестр госзаданий — данные доступны по API. https://data.apicrafter.ru/packages/budgetgovru-regstatetask

Все данные доступны по API, для подключения к которому нужно зарегистрироваться.

Больше данных на другие темы вы найдете на сайте DataCrafter: https://data.apicrafter.ru

Если вы представляете некоммерческий, исследовательский или научный проект, и хотите получить данные, уже опубликованные на DataCrafter, но имеющие ограничения, напишите нам на эл. почту [email protected] с запросом.

Представляем наборы данных каталога DataCrafter из раздела «Классификаторы». Такие словари/ключевики помогают при обработке и анализе данных по финансово-экономическим темам из разрозненных источников и не только.

1. Общероссийский классификатор форм собственности — справочник содержит информацию о формах собственности России: код, наименование формы собственности. Ссылка: https://data.apicrafter.ru/packages/budgetgovru-okfs.

2. Общероссийский классификатор органов государственной власти и управления — справочник содержит информацию об органах государственной власти и управления России. Ссылка: https://data.apicrafter.ru/packages/budgetgovru-okogu.

3. Общероссийский классификатор организационно-правовых форм — справочник содержит информацию об организационно-правовых формах юридических лиц, которые являются коммерческими или некоммерческими. Также имеет сведения об организациях, созданных в соответствии с законодательством без прав юридического лица, международных организациях, и гражданах, которые ведут коммерческую деятельность или деятельность, не отнесенную законодательством к предпринимательству. Ссылка: https://data.apicrafter.ru/packages/budgetgovru-okopf.

4. Общероссийский классификатор стран мира — справочник содержит информацию об идентификации стран мира. Структурно состоит из трех блоков: цифровая идентификация, наименование, буквенная идентификация. Ссылка: https://data.apicrafter.ru/packages/budgetgovru-oksm.

5. Общероссийский классификатор валют — справочник содержит информацию о наименовании валюты, о цифровом и буквенном коде валюты, наименования стран и территорий, в которых данная валюта является денежной единицей. Ссылка: https://data.apicrafter.ru/packages/budgetgovru-okv.

Представленные наборы данных опубликованы как открытые данные и доступны для скачивания.

Больше данных на другие темы вы найдете на сайте DataCrafter: https://data.apicrafter.ru

Если вы представляете некоммерческий, исследовательский или научный проект, и хотите получить данные, уже опубликованные на DataCrafter, но имеющие ограничения, напишите нам на эл. почту [email protected] с запросом.

#классификатор #справочник

В каталоге данных DataCrafter вы найдете данные, связанные в основном с Россией. Чтобы изучить какую-либо проблему в разрезе всего мира, предлагаем вам посмотреть на открытые данные Всемирного банка (World Bank Open Data: https://data.worldbank.org), которые подойдут не только как альтернатива и источник обогащения данных, но и для верификации или сопоставления индикаторов и показателей, собранных российскими статистическими ведомствами.

Портал с открытыми данными Всемирного банка имеет собственный — WBGAPI. Это пакет Python для доступа к данным Всемирного банка. WBGAPI помогает делать следующее:

— Облегчает понимание и использование баз данных, предоставляя простой способ перечислить все доступные базы данных.
— Имеет простой поиск и обнаружение — например, получив доступ к данным одновременно для страны, экономики и временного периода в одном запросе.
— Позволяет делать запросы к метаданным.
— Поддерживает pandas, легко использует встроенные графические функции или любой графический пакет (ggplot, seaborn и т.д.).
— Облегчает поиск и вывод данных по странам — пакет включает бета-версию функции поиска названий стран, которая обычно может определить правильный код для названий стран в системе ООН, а также тех, которые используются другими международными организациями и донорами.

Ссылка на WBGAPI: https://pypi.org/project/wbgapi/

A Cookbook of WBGAPI Recipes:
https://nbviewer.org/github/tgherzog/wbgapi/blob/master/examples/wbgapi-cookbook.ipynb

Источник: https://blogs.worldbank.org/opendata/introducing-wbgapi-new-python-package-accessing-world-bank-data

Смотрите также Awesome Datasets World Bank Catalog: https://datahub.io/collections/world-bank

В каталог Datacrafter загружены данные 19 реестров и справочников из Федерального информационного фонда по обеспечению единства измерений (ФГИС - «АРШИН») и государственной информационной системы Росстандарта.

Это наборы данных:
— Аттестованные методики (методы) измерений (https://data.apicrafter.ru/packages/arshin-16) — 39 тысяч записей.
— Эталоны единиц величин (https://data.apicrafter.ru/packages/arshin-11) — 114 тысяч записей.
— Утверждённые типы средств измерений (https://data.apicrafter.ru/packages/arshin-4) — 99 тысяч записей.

Все данные можно найти в разделе «Справочники и классификаторы» (https://data.apicrafter.ru/topics/classifiers).

Данные доступны бесплатно для свободного использования через API DataCrafter, а также есть возможность получить полный набор данных в виде базы MongoDB.

Мы продолжаем работу по классификации и анализу всех загруженных метаданных в наборах данных.

Больше открытых данных на другие темы вы найдете на сайте DataCrafter: https://data.apicrafter.ru.

Адресный реестр объектов недвижимости города Москвы

В каталоге DataCrafter вы можете найти данные Москвы об адресах земельных участков, зданий, сооружений, объектов незавершенного строительства, помещений и машино-мест.

Объем набора данных: более 440 тысяч записей, 765,7 мб.

Режим доступа: открытые данные.

Ссылка: https://beta.apicrafter.ru/packages/datamos-addressreestr.

Больше открытых данных на другие темы вы найдете на сайте DataCrafter: https://data.apicrafter.ru.