Amlek.AI: ML & AI Podcast

Episode 18: AlgoTrading

Marketech — Tue, 27 Apr 2021 20:00:00 +0000

בפרק זה, התארחנו ב weel.com, ואירחנו את יגאל ויינברגר, שדיבר איתנו על AlgoTrading. שוחחנו על סוגי אלגוטריידינג (Sell side, Buy side, HFT), ועל גישות האלגוריתמים בתחום: כלים סטטיסטיים סטנדרטיים, LSTM, Reinforcement Learning. בנוסף, הצגנו כיצד אפשר להיכנס לתחום, ויגאל אפילו נתן לנו אלגוריתם baseline להתחיל לשחק איתו. האותיות הקטנות של האזהרה: כן לנסות את זה בבית, אבל לא כ"כ מהר על כסף אמיתי!

קישורים רלוונטיים:

Episode 17: Models Discrimination

Marketech — Wed, 07 Apr 2021 07:00:00 +0000

בפרק זה, נארח את אופיר יוקטן - שמתעסק בניבוי התאמה של קורות חיים. אופיר יציג כיצד הוא מתמודד עם מודלים מפלים על רקע מגדרי\גזעני. נעסוק בשיטות להתמודדות עם הבעיה הזו: העלמת או הינדוס פיצ'רים, אימון עם Database מאוזן, ושיטת Gradient reversal layer.

קישורים:

"What is Adverse Impact? And Why Measuring It Matters." 26 Mar. 2018, https://www.hirevue.com/blog/hiring/what-is-adverse-impact-and-why-measuring-it-matters. Accessed 15 Dec. 2020.
"Bias in Natural Language Processing (NLP): A Dangerous But ...." 1 Sep. 2020, https://towardsdatascience.com/bias-in-natural-language-processing-nlp-a-dangerous-but-fixable-problem-7d01a12cf0f7. Accessed 15 Dec. 2020.
"Adversarial Removal of Demographic Attributes from Text Data." 20 Aug. 2018, https://arxiv.org/abs/1808.06640.
"Unsupervised Domain Adaptation by Backpropagation." 26 Sep. 2014, https://arxiv.org/abs/1409.7495.

Episode 16: GAN - Generative Adversarial Networks

Marketech — Tue, 16 Mar 2021 20:23:00 +0000

בפרק זה, נדבר על מודלים ג'נרטיביים, ובפרט על מהפכת ה-GAN=Generative Adversarial Networks. איך עובד הקסם? תחרות בין מודלים - האחד שמזייף, והשני שמגלה זיופים. וקצת על כל הנגזרות של האלגוריתם, שבאו כפטריות אחרי הגשם.

קישורים:

Episode 15: Transformers - האבולוציה של ניתוח סדרות בזמן

Marketech — Tue, 02 Mar 2021 20:38:00 +0000

בפרק זה, נסקור את ההשתלשלות של ניתוח סדרות בזמן החל מ-RNN, דרך Attention Models ועד ל-Transformers.
נדבר על Self Attention, Multi Headed Attention, LSTM, RNN, GRU, Transformers ו-DeTR.

קישורים רלוונטיים:

Attention Models
הסבר טוב בוידאו על Transformers
Talk to Transformer
The Illustrated Transformer
End-to-End Object Detection with Transformers

Episode 14: Graph Neural Nets - שיכון גרפים

Marketech — Tue, 16 Feb 2021 14:08:00 +0000

בפרק זה נארח את אלה בור, שתספר לנו על מהם גרפים (קשתות וצמתים), על בעיות המיוצגות ע"י גרפים ועל שיכון גרפים במרחב אוקלידי (GNN, Node2Vec).
קישורים:

Node2vec - https://arxiv.org/pdf/1607.00653.pdf, https://towardsdatascience.com/node2vec-embeddings-for-graph-data-32a866340fef
GNN - https://arxiv.org/pdf/1812.08434.pdf
Graph embeddings - https://towardsdatascience.com/graph-embeddings-the-summary-cc6075aba007

Episode 13: 3D

Marketech — Tue, 02 Feb 2021 20:41:00 +0000

בפרק זה אנו נארח את פיטר נפתליאב הבלוגר ומנהל קהילת /r/2D3DAI שידבר איתנו על עולם התלת מימד.

נעסוק ביישומים ובסוגי הבעיות בתחום. נסקור ייצוגים של DATA תלת מימדי: Cad, Mesh, Voxel, Points Cloud.

קישורים רלוונטיים:

Episode 12: Gaussian process regression/ Kriging

Marketech — Tue, 19 Jan 2021 20:03:00 +0000

בפרק זה נדבר על שיטת רגרסיה, שנקראת Kriging או Gaussian process regression - שיטה בייסיאנית שהחלה במטרה לאתר מכרות זהב. נדבר על מושגי מבוא, כמו: משתנה אקראי גאוסי ותהליך אקראי גאוסי, ועל משפט הגאוסיאני המותנה. קישורים רלוונטיים:

Episode 11: Curriculum Learning - תכניות אימון למודלים

Marketech — Tue, 05 Jan 2021 20:28:00 +0000

בפרק זה נעסוק בתחום ה-Curriculum Learning - מה זה ולמה זה טוב? איך מסדרים בסדר מוצלח יותר את דוגמאות האימון ולפי אילו מדדים? בשיחה, נדבר על המרכיבים המקובלים - scoring ו-pacing, ועל מתודולוגית Teacher-Student.

קישורים רלוונטיים:

Episode 10: Fourier Transform - אינטרו לפורייה

Marketech — Wed, 23 Dec 2020 04:22:00 +0000

בפרק זה, נשוחח על מהי התמרת פורייה. מוטיבציות, שימושים, Time Series והקשר ללמידה עמוקה.
קישורים רלוונטיים:

Episode 9: Adversarial Training - איך לבלבל מודלים?

Marketech — Wed, 09 Dec 2020 07:05:00 +0000

בפרק זה, נדבר על Adversarial Attacks, על איך מייצרים Adversarial Examples בשיטת FGSM, על התקפות White or Black box models ונזכיר Certifiable Robustness.

Episode 8: הורדת מימדים

Marketech — Wed, 25 Nov 2020 08:14:00 +0000

בפרק זה נדבר על הורדת מימדים - Dimensionality reduction. נעסוק במוטיבציות (קללת המימדים), ובאלגוריתמים PCA, T-SNE, AutoEncoders, SOM.

קישורים רלוונטיים:

Episode 7: Clustering from a bird eye view

Marketech — Wed, 11 Nov 2020 08:48:00 +0000

בפרק זה נעסוק בבעיה הכי שכיחה בעולם unsupervised, הרי היא בעיית ה-clustering - ניתוח אשכולות. נדבר על משפחות אלגוריתמים (top down - bottom up, soft-hard, metric/ graph/ distribution based), ונעסוק במדדי הצלחה קלאסיים (silhouette, dunn index, DB index, Rand index) ובמדדי הצלחה תלויי בעיה.

קישורים רלוונטיים:

Episode 06: (XAI) פרשנות מודלים

Marketech — Wed, 28 Oct 2020 08:33:00 +0000

בפרק זה נעסוק באיך מפרשים מודלים ואיך מבינים את ההחלטות שלהם. תחום רחב זה נקרא Explainable artificial intelligence או Interpretable machine learning. בפרק נעסוק בטכניקות השונות שיש בתחום ובפרט ב ZF-NET, DeepDream, GradCam, Lime, Shap.

קישורים רלוונטיים:

Episode 05: NLPH (NLP In Hebrew)

Marketech — Wed, 14 Oct 2020 08:00:00 +0000

בפרק זה נדבר על עיבוד טקסט בעברית, ונציג כיצד הוא שונה משפות אחרות, ובפרט מאנגלית. נשוחח על ה-NLP Pipeline ועל למה הוא שבור בעברית, ונדבר על התחביר של עברית והתכונות הייחודיות של שפות שמיות.

רעות צרפתי

יואב גולדברג

המעבדה לעיבוד שפה טבעית בעברית

GPT

YAAP

Episode 04: All Multi's

Marketech — Wed, 30 Sep 2020 08:00:00 +0000

בפרק זה נדבר על כל ה-Multi's וננסה לעשות סדר במושגים שנוטים לבלבל:

multi class classification, multi label classification, multi task learning, Multi objective, Multiple modality.

נגדיר כל מושג, ניתן דוגמאות ונדון בסוגיות ומימושים סביב כל מושג. קישורים רלוונטיים:

https://ruder.io/multi-task/

Episode 03: Active Learning

Marketech — Wed, 16 Sep 2020 08:53:00 +0000

בפרק זה נדבר על מהי Active Learning, כמה זה נפוץ ומתי ניתן לעשות זאת. נדבר על קריטריוני החלטה (Query Strategies):

Least Confidence ,Margin Sampling ,Entropy Sampling ונזכיר את ההבדלים במתודולוגיות:
Membership Query Synthesis, Stream-Based Selective Sampling, Pool-Based Sampling.

לסיום נדון ב-Active Learning כבעיית Reinforcement Learning.

קישורים רלוונטים\שהזכרנו:

Episode 02: Reinforcement Learning - Introduction

Marketech — Wed, 02 Sep 2020 09:00:00 +0000

בפרק זה נדבר על למידה חיזוקית - Reinforcement Learning.

נדבר על מושגי היסוד בתחום (environment, state, policy, agent, reward), על סיווג של התחום הזה ב-Machine Learning, על למה זה נהיה מאוד פופולארי, על הקשיים בתחום ועל דילמת ה-Exploration - Exploitation.

קישורים שהוזכרו:

שיתוף פעולה בין סוכנים במשחק המחבואים

שיתוף פעולה בין סוכנים במשחק תפוס את הדגל

סדרת הרצאות של David Silver

Agent57 - מודל אחד שמשחק ברמה אנושית ב 57 משחקים

BRETT- הרובוט שמרכיב לגו

MuJoCo מנוע המדמה את חוקי הפיסיקה

Episode 01: The Lottery Ticket Hypothesis

Marketech — Wed, 19 Aug 2020 14:35:00 +0000

בפרק זה, נעסוק ב-Neural Network Pruning, כאשר נתקמד בפרט במאמר פורץ דרך מ2019, שנקרא "THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE TRAINABLE NEURAL NETWORKS", מבית היוצר של MIT.

במאמר זה, מציעים דרך מעניינת לקצץ רשת גדולה במעל 80% מהמשקלים שלה בצורה כזו שהביצועים (ה-accuracy) לא ייפגעו. קישורים שהוזכרו בפרק:

Episode 00: Who are we and what do we want?

Marketech — Wed, 19 Aug 2020 09:11:00 +0000

Amlek.AI: ML & AI Podcast

Episode 18: AlgoTrading

Episode 17: Models Discrimination

Episode 16: GAN - Generative Adversarial Networks

Episode 15: Transformers - האבולוציה של ניתוח סדרות בזמן

Episode 14: Graph Neural Nets - שיכון גרפים

Episode 13: 3D

בפרק זה אנו נארח את פיטר נפתליאב הבלוגר ומנהל קהילת /r/2D3DAI שידבר איתנו על עולם התלת מימד.

נעסוק ביישומים ובסוגי הבעיות בתחום. נסקור ייצוגים של DATA תלת מימדי: Cad, Mesh, Voxel, Points Cloud.

Episode 12: Gaussian process regression/ Kriging

Episode 11: Curriculum Learning - תכניות אימון למודלים

Episode 10: Fourier Transform - אינטרו לפורייה

Episode 9: Adversarial Training - איך לבלבל מודלים?

Episode 8: הורדת מימדים

Episode 7: Clustering from a bird eye view

Episode 06: (XAI) פרשנות מודלים

Episode 05: NLPH (NLP In Hebrew)

Episode 04: All Multi's

Episode 03: Active Learning

בפרק זה נדבר על מהי Active Learning, כמה זה נפוץ ומתי ניתן לעשות זאת. נדבר על קריטריוני החלטה (Query Strategies):

Episode 02: Reinforcement Learning - Introduction

בפרק זה נדבר על למידה חיזוקית - Reinforcement Learning.

נדבר על מושגי היסוד בתחום (environment, state, policy, agent, reward), על סיווג של התחום הזה ב-Machine Learning, על למה זה נהיה מאוד פופולארי, על הקשיים בתחום ועל דילמת ה-Exploration - Exploitation.

Episode 01: The Lottery Ticket Hypothesis

Episode 00: Who are we and what do we want?

זהו פרק מבוא קצרצר בו אנו מספרים מי הוא תמיר נווה ומי הוא אורי גורן, למה החלטנו להתחיל עם הפודקאסט, ומה היינו רוצים שיהיה בפרקים הבאים.