Новые технологии, широкое использование цифровых устройств, повсеместная генерация цифровой информации делает доступной в реальном времени информацию из различных источников, таких как GPS навигаторы, камеры видеонаблюдения, спутниковые данные, мобильные телефоны, электронная торговля, банковские карты, социальные сети, интернет запросы в поисковиках, электронные сообщения, карты местности пользователя и др. Например, только один сервис коротких сообщений Twitter генерирует поток 8 терабайт (1012 байт) в сутки. Если все подобные данные накапливать для дальнейшей обработки, то их суммарный объем будет измеряться десятками и сотнями петабайт (1015 байт) 1. Совокупность объемных и неструктурированных данных из всех таких источников принято обозначать термином «большие данные» 2.

БОЛЬШИЕ ДАННЫЕ – это изначально не систематизированные данные о социально-экономическом развитии и окружающей среде, генерируемые на основе информационно-коммуникационных технологий вне официальной статистики.

Большие данные характеризуются такими признаками, как большой объем информации, высокая скорость изменения информации, разнообразие и разнородность данных 3.
Эти характеристики определяют стратегическую ценность больших данных для официальной статистики:

  • большой объем данных может способствовать получению более детализированных сведений по конкретным направлениям статистики;

  • высокая скорость изменения информации способствует увеличению частоты статистических оценок;

  • разнообразие больших данных может открыть возможности для производства статистики в новых областях 4 (например, дистанционного зондирования и географических информационных систем), получения информации о не наблюдаемых официальной статистикой сферах;

  • разнородность происхождения больших данных может способствовать многоаспектности измерения и, тем самым, повышению надежности статистических оценок.

Большие данные присутствуют едва ли не во всех сферах деятельности человека, в первую очередь – научно-исследовательской и коммерческой.

Применение больших данных в официальной статистике сопряжено с решением проблем обеспечения конфиденциальности 5, финансирования соответствующих работ, а также наличия специалистов для ведения больших данных и аналитики.

 1 См. статью Большие данные (Big Data) на http://www.tadviser.ru
 2
International Conference on Big Data for Official Statistics Organized by UNSD and NBS China 28-30 October 2014, Beijing China Concept Note (as of 13 August 2014)
 3
«How big is big data», UNECE, p.4
 4
«Re-make/Re-model: Should big data change the modeling paradigm in official statistics?», Statistics Journal of the IAOS 31 (2015), p.193-201
 5
«Uses of big data for official statistics: privacy, incentives, statistical challenges and other issues»

Основные игроки
 Основные игроки

Проблема взаимодействия официальной статистики и больших данных уже несколько лет серьезно рассматривается в мире. В числе основных игроков (ведущих мировых центров, рассматривающих эту тему) стоит выделить следующие.

СТАТИСТИЧЕСКАЯ КОМИССИЯ ООН – высший мировой форум официальной статистики – на своей 45-й сессии (март 2014 года) начала подробное рассмотрение темы Больших данных.
 

В марте 2016 года на заседании 47-ой сессии Статистической Комиссии ООН Глобальная рабочая группа  подготовила доклад «Report of the 2015 Big Data Survey», в котором приведены информационные материалы, документы о получении доступа к большим данным и партнерских отношениях в связи с их использованием, аналитические документы по видам классификации больших данных и методологии, итоги глобального обследования по вопросам, касающимся больших данных. Список первоочередных вопросов и краткосрочная программа работы предусматривают реализацию экспериментальных проектов по использованию больших данных для расчета показателей достижения целей в области устойчивого развития.

В марте 2015 года на 46-й сессии Статистической Комиссии ООН был представлен доклад – Results of UNSD/UNECE survey on organizational context and individual projects of BigData, в котором было дано определение «больших данных», приведены результаты анкетирования стран по организационным аспектам использования больших данных, существующим и будущим проектам их использования.

ГЛОБАЛЬНАЯ РАБОЧАЯ ГРУППА ПО БОЛЬШИМ ДАННЫМ В ОФИЦИАЛЬНОЙ СТАТИСТИКЕ  6 (Global Working Group on BigData for official statistics) – образована решением 45-й сессии Статистической комиссии ООН для разработки руководства по вопросам больших данных. 31 октября 2014 года состоялась первая встреча Глобальной рабочей группы, на которой был представлен доклад – Доклад Глобальной рабочей группы по вопросам использования больших данных для подготовки официальной статистики, о результатах исследования применения больших данных в официальной статистике.


ПРОЕКТ ООН «ГЛОБАЛЬНЫЙ ПУЛЬС» (UN Global Pulse) – созданная по инициативе Генерального секретаря ООН сеть инновационных лабораторий, координирующих исследования применения больших данных в магистральных направлениях деятельности ООН: климат и устойчивость, защита конфиденциальности данных, экономическое благополучие, пища и сельское хозяйство, гендерные вопросы, гуманитарные вопросы, здоровье общества, цели устойчивого развития после 2015 года, оценка в режиме реального времени.

 

 

ВСЕМИРНЫЕ КОНФЕРЕНЦИИ ПО ИСПОЛЬЗОВАНИЮ БОЛЬШИХ ДАННЫХ В ОФИЦИАЛЬНОЙ СТАТИСТИКЕ отражают признание необходимости выработки общих подходов и рассмотрения проблем больших данных.

  

III Глобальная международная конференция по использованию больших данных в официальной статистике состоится в г. Дублин (Ирландия) с 30 августа по 1 сентября 2016 года.



 



II Глобальная международная конференция по использованию больших данных в официальной статистике прошла в г. Абу-Даби (ОАЭ) с 20 по 22 октября 2015 года.

 

 

 

I-я Международная конференция по использованию больших данных в официальной статистике состоялась в г. Пекине (КНР) 28-30 октября 2014 года.

 


 6 Австралия, Бангладеш, Камерун, Китай, Колумбия, Дания, Египет, Индонезия, Италия, Мексика, Мароко, Нидерланды, Оман, Пакистан, Филиппины, ОАЭ, Объединённая республика Танзания, США; ЭСКАТО ООН, ЕЭК ООН, Евростат, Международный союз электросвязи (МСЭ), ОЭСР, Статистический центр совета сотрудничества арабских государств Персидского залива, Статистический отдел департамента по экономическим и социальным вопросам ООН, UN Global Pulse, Всемирный банк, Всемирный почтовый союз.

b02
 Рекомендуемые материалы

Статкомитет СНГ предлагает ознакомиться с несколькими публикациями по вопросам больших данных:
 

 
 

Big Data: Potential, Challenges, and Statistical Implications
Cornelia L. Hammer, Diane C. Kostroch, Gabriel Quirós, and STA Internal Group

International Monetary Fund, Statistics Department, September 2017

 

Большие данные: потенциал, проблемы и применение в статистике
Корнелия Хаммер, Диана Костроч, Габриэль Кирос и сотрудники Департамента статистики
Международный Валютный Фонд, Департамент статистики, Сентябрь 2017.
Перевод на русский язык
: Статкомитет СНГ
 

   
 
  Решение Статистической Комиссии ООН 47/104 «Большие данные» для целей официальной статистики
Статистическая Комиссия ООН, Сорок седьмая сессия
, 8-11 марта 2016 года
 
  Доклад Глобальной рабочей группы по вопросам использования больших данных для подготовки официальной статистики    
Статистическая комиссия ООН, Сорок шестая сессия, 3–6 марта 2015 года
 
 

Решение Статистической Комиссии ООН 45/110 «Большие данные» и модернизация статистических систем
Статистическая Комиссия ООН, Сорок пятая сессия
, 4-7 марта 2014 года
 

 
 

Big data, official statistics and some initiatives by the Australian Bureau of Statistics
Siu-Ming Tam and Frederic Clarke

International Conference on Big Data for official statistics, Beijing, October 28-30, 2014

© John Wiley & Sons Ltd.

 

Большие данные, официальная статистика и некоторые инициативы Австралийского Бюро статистики
Сиу-Минг Там и Фредерик Кларк
Международная конференция по использованию больших данных в официальной статистике г. Пекин (КНР) 28-30 октября 2014 года. Перевод на русский язык: Статкомитет СНГ
 

 

  Web scraping techniques to collect data on consumer electronics and airfares for Italian HICP compilation
Federico Polidoro et al.
Statistical journal of the International association for official statistics (IAOS)
©
IOS Press
 

Методы извлечения данных из веб-страниц для сбора информации о ценах на товары потребительской электроники и на авиаперевозки для построения гармонизированного индекса потребительских цен в Италии
Федерико Полидоро и соавторы.
Статистический журнал международной ассоциации для официальной статистики.
Перевод на русский язык: Статкомитет СНГ
 

 

  Измерение трансграничной мобильности между Эстонией и Финляндией с помощью наборов данных мобильного позиционирования
Конференция Европейских Статистиков, Шестьдесят вторая пленарная сессия, Париж, 9−11 апреля 2014 года.
 
 

 

Use of mobile phone data to estimate mobility flows. Measuring urban population and inter-city mobility using big data in an integrated approach
Barbara Furletti et al.
The study has been jointly developed by ISTAT, CNR and University of Pisa

©
The Authors

 

Использование данных системы мобильной связи для оценки мобильности населения. Оценка мобильности городского населения и потоков между городами с использованием больших данных в рамках интегрированного подхода
Барбара Фурлети и соавторы.
Исследование проведено Национальным институтом статистики Италии (ISTAT), Итальянским национальным исследовательским советом (СNR), Университетом Пизы.
Перевод на русский язык: Статкомитет СНГ
 

 

 

Использование спутникового мониторинга для контроля данных всероссийской сельскохозяйственной переписи
© Росстат
 

 
 

Assessing the use of Google Trends to predict credit developments
Edwige Burdeau and Etienne Kintzler
Banque de France
 

 

Assessing the use of Google Trends to predict credit developments (.ppt)
Edwige Burdeau and Etienne Kintzler
Banque de France
 

 

Оценка использования Google Trends для прогнозирования развития кредитования
Эдвиге Бюрдо и Этьен Кинцлер
Банк Франции
Перевод на русский язык: Статкомитет СНГ

 

   

 


 

© Межгосударственный статистический комитет Содружества Независимых Государств