Valialkin A. V. Real-time method of accurate unique IPs counting across high number of distinct dimensions and distinct time frames for big data systems / A. V. Valialkin, O. I. Konashevych // Электрон. моделирование. - 2016. - 38, № 3. - С. 63-73. - Бібліогр.: 9 назв. - англ.Описан метод, позволяющий подсчитать число уникальных IP адресов из большого количества различных наборов данных (кортежей). Методы, основанные на сканировании логов и вероятностном подсчете, привели к неудовлетворительным результатам. Предложенный метод позволяет избежать чрезмерного использования ресурсов (процессора, оперативной и постоянной памяти), как при использовании метода сканирования необработанных логов и вероятностного метода подсчета, а также избежать большой статистической погрешности, как при использовании вероятностного метода на малых количествах уникальных значений. Основная идея метода состоит в том, что подсчет уникальных IP адресов в различных кортежах в реальном времени проводится в оперативной памяти. Обработка данных выполняется на коротких интервалах и затем они передаются в постоянную память с помощью алгоритма слияния. Обработанные счетчики IP адресов поступают в обычную базу данных из файлов с пятиминутным, часовым, суточным, недельным или месячным интервалом. Індекс рубрикатора НБУВ: З970.61
Рубрики:
Шифр НБУВ: Ж14163 Пошук видання у каталогах НБУВ Повний текст Наукова періодика України
Якщо, ви не знайшли інформацію про автора(ів) публікації, маєте бажання виправити або відобразити більш докладну інформацію про науковців України запрошуємо заповнити "Анкету науковця"
|