Beginning Anomaly Detection Using



Download 26,57 Mb.
Pdf ko'rish
bet2/283
Sana12.07.2021
Hajmi26,57 Mb.
#116397
1   2   3   4   5   6   7   8   9   ...   283
Bog'liq
Beginning Anomaly Detection Using Python-Based Deep Learning

Table of Contents

About the Authors ���������������������������������������������������������������������������������������������������� ix

About the Technical Reviewers ������������������������������������������������������������������������������� xi

Acknowledgments ������������������������������������������������������������������������������������������������� xiii

Introduction �������������������������������������������������������������������������������������������������������������xv

www.allitebooks.com




iv

Networking ���������������������������������������������������������������������������������������������������������������������������� 22

Medicine �������������������������������������������������������������������������������������������������������������������������������� 22

Video Surveillance ����������������������������������������������������������������������������������������������������������������� 23

Summary������������������������������������������������������������������������������������������������������������������������������������� 23

Chapter 2

Traditional Methods of Anomaly Detection ������������������������������������������� 25



Data Science Review ������������������������������������������������������������������������������������������������������������������ 25

Isolation Forest ��������������������������������������������������������������������������������������������������������������������������� 34

Mutant Fish ���������������������������������������������������������������������������������������������������������������������������� 34

Anomaly Detection with Isolation Forest ������������������������������������������������������������������������������� 36

One-Class Support Vector Machine��������������������������������������������������������������������������������������������� 51

Anomaly Detection with OC-SVM ������������������������������������������������������������������������������������������ 63

Summary������������������������������������������������������������������������������������������������������������������������������������� 71

Chapter 3

Introduction to Deep Learning��������������������������������������������������������������� 73



What Is Deep Learning? �������������������������������������������������������������������������������������������������������������� 73

Artificial Neural Networks ����������������������������������������������������������������������������������������������������� 74

Intro to Keras: A Simple Classifier Model ������������������������������������������������������������������������������������ 84

Intro to PyTorch: A Simple Classifier Model������������������������������������������������������������������������������� 111

Summary����������������������������������������������������������������������������������������������������������������������������������� 122

Chapter 4

Autoencoders �������������������������������������������������������������������������������������� 123



What Are Autoencoders? ����������������������������������������������������������������������������������������������������������� 123

Simple Autoencoders ���������������������������������������������������������������������������������������������������������������� 125

Sparse Autoencoders ���������������������������������������������������������������������������������������������������������������� 140

Deep Autoencoders ������������������������������������������������������������������������������������������������������������������� 142

Convolutional Autoencoders������������������������������������������������������������������������������������������������������ 144

Denoising Autoencoders ����������������������������������������������������������������������������������������������������������� 153

Variational Autoencoders ���������������������������������������������������������������������������������������������������������� 163

Summary����������������������������������������������������������������������������������������������������������������������������������� 178

Table of ConTenTs

www.allitebooks.com




v

Chapter 5

Boltzmann Machines ��������������������������������������������������������������������������� 179



What Is a Boltzmann Machine? ������������������������������������������������������������������������������������������������� 179

Restricted Boltzmann Machine (RBM) �������������������������������������������������������������������������������������� 181

Anomaly Detection with the RBM - Credit Card Data Set ���������������������������������������������������� 187

Anomaly Detection with the RBM - KDDCUP Data Set ��������������������������������������������������������� 197

Summary����������������������������������������������������������������������������������������������������������������������������������� 212

Chapter 6

Long Short-Term Memory Models ������������������������������������������������������� 213



Sequences and Time Series Analysis ���������������������������������������������������������������������������������������� 213

What Is a RNN? ������������������������������������������������������������������������������������������������������������������������� 216

What Is an LSTM? ��������������������������������������������������������������������������������������������������������������������� 218

LSTM for Anomaly Detection ����������������������������������������������������������������������������������������������������� 223

Examples of Time Series ����������������������������������������������������������������������������������������������������������� 243

art_daily_no_noise �������������������������������������������������������������������������������������������������������������� 243

art_daily_nojump ���������������������������������������������������������������������������������������������������������������� 244

art_daily_jumpsdown ���������������������������������������������������������������������������������������������������������� 246

art_daily_perfect_square_wave ����������������������������������������������������������������������������������������� 248

art_load_balancer_spikes ��������������������������������������������������������������������������������������������������� 250

ambient_temperature_system_failure �������������������������������������������������������������������������������� 251

ec2_cpu_utilization ������������������������������������������������������������������������������������������������������������� 253

rds_cpu_utilization �������������������������������������������������������������������������������������������������������������� 254

Summary����������������������������������������������������������������������������������������������������������������������������������� 256

Chapter 7

Temporal Convolutional Networks ������������������������������������������������������ 257



What Is a Temporal Convolutional Network? ����������������������������������������������������������������������������� 257

Dilated Temporal Convolutional Network ���������������������������������������������������������������������������������� 262

Anomaly Detection with the Dilated TCN ����������������������������������������������������������������������������� 267

Encoder-Decoder Temporal Convolutional Network ������������������������������������������������������������������ 283

Anomaly Detection with the ED-TCN ����������������������������������������������������������������������������������� 286

Summary����������������������������������������������������������������������������������������������������������������������������������� 295

Table of ConTenTs



vi

Chapter 8

Practical Use Cases of Anomaly Detection������������������������������������������ 297



Anomaly Detection �������������������������������������������������������������������������������������������������������������������� 298

Real-World Use Cases of Anomaly Detection ���������������������������������������������������������������������������� 299

Telecom ������������������������������������������������������������������������������������������������������������������������������� 300

Banking ������������������������������������������������������������������������������������������������������������������������������� 302

Environmental ��������������������������������������������������������������������������������������������������������������������� 303

Healthcare ��������������������������������������������������������������������������������������������������������������������������� 304

Transportation ��������������������������������������������������������������������������������������������������������������������� 306

Social Media ������������������������������������������������������������������������������������������������������������������������ 307

Finance and Insurance �������������������������������������������������������������������������������������������������������� 308

Cybersecurity����������������������������������������������������������������������������������������������������������������������� 309

Video Surveillance ��������������������������������������������������������������������������������������������������������������� 312

Manufacturing ��������������������������������������������������������������������������������������������������������������������� 313

Smart Home ������������������������������������������������������������������������������������������������������������������������� 315

Retail ����������������������������������������������������������������������������������������������������������������������������������� 315

Implementation of Deep Learning-Based Anomaly Detection �������������������������������������������������� 316

Summary����������������������������������������������������������������������������������������������������������������������������������� 317

Appendix A: Intro to Keras ������������������������������������������������������������������������������������ 319

What Is Keras? �������������������������������������������������������������������������������������������������������������������������� 319

Using Keras ������������������������������������������������������������������������������������������������������������������������������� 320

Model Creation �������������������������������������������������������������������������������������������������������������������� 321

Model Compilation and Training ������������������������������������������������������������������������������������������ 322

Model Evaluation and Prediction ����������������������������������������������������������������������������������������� 326

Layers ���������������������������������������������������������������������������������������������������������������������������������� 328

Loss Functions��������������������������������������������������������������������������������������������������������������������� 340

Metrics �������������������������������������������������������������������������������������������������������������������������������� 343

Optimizers ��������������������������������������������������������������������������������������������������������������������������� 345

Activations ��������������������������������������������������������������������������������������������������������������������������� 348

Callbacks ����������������������������������������������������������������������������������������������������������������������������� 351

Back End (TensorFlow Operations) �������������������������������������������������������������������������������������� 358

Summary����������������������������������������������������������������������������������������������������������������������������������� 360

Table of ConTenTs



vii

Appendix B: Intro to PyTorch �������������������������������������������������������������������������������� 361

What Is PyTorch? ����������������������������������������������������������������������������������������������������������������������� 361

Using PyTorch ��������������������������������������������������������������������������������������������������������������������������� 362

Sequential vs� ModuleList ��������������������������������������������������������������������������������������������������� 376

Layers ���������������������������������������������������������������������������������������������������������������������������������� 377

Loss Functions��������������������������������������������������������������������������������������������������������������������� 387

Optimizers ��������������������������������������������������������������������������������������������������������������������������� 390

Temporal Convolutional Network in PyTorch ����������������������������������������������������������������������������� 392

Dilated Temporal Convolutional Network ����������������������������������������������������������������������������� 393

Summary����������������������������������������������������������������������������������������������������������������������������������� 408

Index ��������������������������������������������������������������������������������������������������������������������� 409

Table of ConTenTs



ix


Download 26,57 Mb.

Do'stlaringiz bilan baham:
1   2   3   4   5   6   7   8   9   ...   283




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©www.hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish