Статистичні методи аналізу великих даних

Abstract

У статті проаналізовано значення великих даних з часу їх створення та розуміння бізнесом їх важливості. Обґрунтовано використання великих даних, оскільки вони допомагають виявити нові можливості та підвищити ефективність діяльності, що допоможе збільшити прибуток, завоювавши більше клієнтів. Встановлено, що наявні підходи та методи аналізу інформації уже не виконують повноцінно свої функції та стають менш актуальними, тому виникає потреба пошуку нових можливостей. Для різноманітних великих даних потрібні нові статистичні ідеї та методи, що зосереджені на адаптації стандартних статистичних моделей до великих даних, розмір яких перевищує потужність одного комп’ютера через його великий обсяг і високу швидкість. Запропоновано використання методів статистичного аналізу, що передбачає збір, упорядкування, аналіз даних на основі встановлених принципів для виявлення закономірностей і тенденцій та виконує кілька функцій: прогнозування, моделювання, створення моделей, зниження ризику та виявлення тенденцій. Статистичний аналіз дозволить отримати висновки з даних. Розглянуто методи статистичного аналізу, які застосовуються для аналізу доказів своїх гіпотез, щоб допомогти бізнесу робити прогнози та приймати рішення щодо їхніх продуктів і послуг; для отримання точної інформації з числових даних. Статистичні методи використовуються для виявлення закономірностей і кореляцій, створених аналізом даних, і намагаються підтвердити їх за допомогою строгих наукових методологій. Доведено, що використання статистичних методів для аналізу великих даних потребує розробки принципово нової політики з управління інформацією, її захисту, стосунків із респондентами, процесу підготовки фахівців.

-

Abstract. Introduction. Big data has been in the spotlight since its inception as organizations understand its importance and use it in their business. The adoption of big data helps businesses discover new opportunities and improve efficiency, which helps increase profits by attracting more customers. In today’s world, the concept of big data is considered the most important for the following reasons: Cost reduction – big data technologies are more cost-effective. And it is the best tool for storing large amounts of data at a lower cost; Fast decision making. With in-memory analytics and the ability to analyze new data sources, big data helps companies analyze data and information faster than ever before.

Purpose. Analyze the features of statistical methods of big data analysis with the growing importance of the features of big data presentation technologies.

Results. It has been established that the existing approaches and methods of information analysis no longer fully fulfill their functions and are becoming less relevant, therefore there is a need to find new opportunities. The diversity of big data requires new statistical ideas and methods that focus on adapting standard statistical models to big data, the size of which exceeds the capacity of a single computer due to its large volume and high speed. The use of statistical analysis methods is proposed, which involve the collection, organization and analysis of data based on established principles to identify patterns and trends and perform several functions: forecasting, modeling, creating models, reducing risk and identifying trends. Statistical analysis will allow you to draw conclusions from the data. Learns the statistical analysis techniques used to analyze the evidence for one’s hypotheses to help businesses make predictions and make decisions about their products and services; get accurate information from numerical data. Statistical methods are used to identify patterns and correlations created by data analysis and attempt to confirm using rigorous scientific methodologies.

Conclusions. It has been proven that the use of statistical methods for the analysis of big data requires the development of a fundamentally new policy regarding information management, its protection, relations with respondents, and the process of training specialists.