bsuirДоклады БГУИРDoklady BGUIR1729-76482708-0382БГУИР10.35596/1729-7648-2022-20-2-46-52bsuir-3310Research ArticleЭЛЕКТРОНИКА, РАДИОФИЗИКА, РАДИОТЕХНИКА, ИНФОРМАТИКАELECTRONICS, RADIOPHYSICS, RADIOENGINEERING, INFORMATICSВложенное преобразование с сохранением семантики исходных данныхEmbedding With Preservation of Semantics of the Original DataВаткинМ. Е.VatkinM. E.

Ваткин Максим Евгеньевич - к.т.н., главный специалист по данным

220005, г. Минск, Бульвар Мулявина 6

тел. +375-29-278-13-78

Vatkin Maksim Evgenyevich - Cand. of Sci., Chief Data Scientist

220005, Minsk, Mulyavina blv., 6

tel. +375-29-278-13-78

mevatkin@bps-sberbank.byВоробейД. А.VorobeyD. A.

Специалист по данным

220005, г. Минск, Бульвар Мулявина 6

тел. +375-29-278-13-78

Data Scientist

220005, Minsk, Mulyavina blv., 6

tel. +375-29-278-13-78

ЯковлевМ. В.YakovlevM. V.

Специалист по данным

220005, г. Минск, Бульвар Мулявина 6

тел. +375-29-278-13-78

Data Scientist

220005, Minsk, Mulyavina blv., 6

tel. +375-29-278-13-78

КривоваМ. Г.KrivovaM. G.

Специалист по данным

220005, г. Минск, Бульвар Мулявина 6

тел. +375-29-278-13-78

Data Scientist

220005, Minsk, Mulyavina blv., 6

tel. +375-29-278-13-78

ОАО «Сбер Банк»“Sber Bank”2022050420222024652Copyright © Ваткин М.Е., Воробей Д.А., Яковлев М.В., Кривова М.Г., 20222022Ваткин М.Е., Воробей Д.А., Яковлев М.В., Кривова М.Г.Vatkin M.E., Vorobey D.A., Yakovlev M.V., Krivova M.G.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://doklady.bsuir.by/jour/article/view/3310

В современном мире данные, используемые для описания объектов, часто представлены в виде разряженных векторов с большим количеством признаков. Работа с такими данными является вычислительно неэффективной, что зачастую приводит к переобучению при моделировании. Поэтому используются алгоритмы понижения размерности данных, одними из которых являются автокодировщики. В статье предложен новый подход для оценки свойств полученных векторов меньшей размерности, а также основанная на этом подходе функция потерь. Идея предложенной функции потерь состоит в вычислении качества сохранения семантической структуры в пространстве вложений и добавлении этой метрики в функцию потерь, что позволяет сохранить отношения объектов в пространстве вложений и таким образом сохранить больше полезной информации об объектах. Полученные результаты показывают, что использование комбинации среднеквадратичной функции потерь вместе с предложенной позволяет улучшить качество полученных вложений.

In the modern world, the data used to describe objects is often presented as sparse vectors with a large number of features. Working with them can be computationally inefficient, and often leads to overfitting; therefore, the data dimension reduction algorithms are used, one of which is auto encoders. In this article, we propose a new approach for evaluating the properties of the obtained vectors of lower dimension, as well as a loss function based on this approach. The idea of the suggested loss function is to evaluate the quality of preserving the semantic structure in the embedding space, and to add that metric to loss function to save object relations in the embedding space and thus save more useful information about objects. The results obtained show that using a combination of the mean squared loss function together with the suggested one allows to improve the quality of the embeddings.

данныевложениевекторфункция потерьлинейное пространствоавтокодировщикмашинное обучениеdataembeddingvectorloss functionlinear spaceautoencodermachine learningReferencesGupta P., Banchs R.E., and Rosso P. Squeezing bottlenecks: exploring the limits of autoencoder semantic representation capabilities. Neurocomputing. 2016;175:1001–1008.Gupta P., Banchs R.E., and Rosso P. Squeezing bottlenecks: exploring the limits of autoencoder semantic representation capabilities. Neurocomputing. 2016;175:1001–1008.Mikolov Т., Sutskever I., Chen К., Corrado G.S., Dean J. Distributed representations of words and phrases and their compositionality. NIPS. 2013:3111–3119.Mikolov Т., Sutskever I., Chen К., Corrado G.S., Dean J. Distributed representations of words and phrases and their compositionality. NIPS. 2013:3111–3119.Bourlard H., Kamp Y. Auto-association by multilayer perceptrons and singular value decomposition. Biol. Cybern. 1988;59(September (4)):291-294. DOI: 10.1007/bf00332918.Bourlard H., Kamp Y. Auto-association by multilayer perceptrons and singular value decomposition. Biol. Cybern. 1988;59(September (4)):291-294. DOI: 10.1007/bf00332918.Al-Shabi M.A. Credit Card Fraud Detection Using Autoencoder Model in Unbalanced Datasets. JAMCS. 2019;33(5):1-16.Al-Shabi M.A. Credit Card Fraud Detection Using Autoencoder Model in Unbalanced Datasets. JAMCS. 2019;33(5):1-16.Saito T., Rehmsmeier M. The Precision-Recall Plot is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets. PLoS One. 2015;10(3).Saito T., Rehmsmeier M. The Precision-Recall Plot is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets. PLoS One. 2015;10(3).Husejinović А. Credit card fraud detection using naive Bayesian and C4.5 decision tree classifiers. Periodicals of Engineering and Natural Sciences. 2020;8(1):1-5.Husejinović А. Credit card fraud detection using naive Bayesian and C4.5 decision tree classifiers. Periodicals of Engineering and Natural Sciences. 2020;8(1):1-5.

The authors declare that there are no conflicts of interest present.