Contextual Object Detection with Multimodal Large Language Models & Enhancing Visual Text Generation with GlyphControl & Pix2Repair: Automated Shape Repair from Images

  

Contextual Object Detection with Multimodal Large Language Models

Article: https://arxiv.org/pdf/2305.18273.pdf

 

Introduction

Object detection, a crucial aspect of computer vision, involves understanding the objects present in a scene, enabling various applications like robotics, autonomous driving, and AR/VR systems. Recently, Multi-modal Language Models (MLLMs) such as Flamingo, PaLM-E, and OpenAI's GPT-4 have demonstrated remarkable abilities in vision-language tasks like image captioning and question answering. These models enable interactive human-AI interactions, necessitating the modeling of contextual information and relationships among visual objects, human words, phrases, and dialogues. Therefore, there is a need to enhance MLLMs by enabling them to locate, identify, and associate visual objects with language inputs for effective human-AI interaction.

 

Top of Form

Concepts

Multimodal Large Language Models (MLLMs) combine language comprehension with visual inputs, expanding the capabilities of Large Language Models (LLMs). Notable examples include GPT series, T5, PaLM, OPT, and LLaMA. MLLMs have excelled in vision-language tasks like image captioning and visual question answering. However, they are limited to generating text outputs. In contrast, ContextDET, built upon MLLMs, enables contextual object detection with bounding box outputs.

Prompting LLMs with Vision Experts has been explored, leveraging textual outputs from LLMs as prompts for vision expert models like DETR and SAM. In contrast, ContextDET employs an end-to-end training pipeline, utilizing latent features from MLLMs as conditional inputs for a visual decoder, enabling bounding box prediction.

Contextual understanding in object detection involves leveraging multimodal patterns and relationships between visual images and textual words. ContextDET leverages the contextual understanding capability of MLLMs for object detection and proposes new evaluation tasks like the cloze test to assess contextual understanding.

Zero-shot object detection remains challenging, especially in real-world scenarios. Open-Vocabulary Object Detection allows the utilization of additional image-text pairs. While CLIP has been widely used, ContextDET demonstrates the effectiveness of MLLMs in the open-vocabulary setting. It is not constrained by predefined base or novel classes, and the predicted object names align with the most contextually valid English words generated by the MLLMs.

Experiments

Reporting the results of ContextDET on various tasks, including contextual object detection, open-vocabulary object detection, and referring image segmentation. In the context of contextual object detection, we focus on presenting both quantitative and qualitative results for the cloze test setting, which poses a significant challenge due to inferring object words from a vast human vocabulary. Additionally, we provide qualitative results for contextual captioning and contextual question-answering.

Regarding implementation details, the method is implemented in PyTorch, and all models are trained on a single machine equipped with 4 NVIDIA A100 GPUs. During training, we apply data augmentation techniques such as random horizontal flipping and large-scale jittering. The batch size is set to 8, and the model is trained for 6 epochs. We utilize the AdamW optimizer with a learning rate of 1e-4 and a weight decay of 0.05.

 

Conclusion

ContextDET, highlights the untapped potential of Multimodal Large Language Models (MLLMs) in various perception tasks beyond vision-language tasks. Specifically, we focus on the contextual object detection task, which involves predicting precise object names and their locations in images for human-AI interaction. However, due to the high annotation cost of associating object words with bounding boxes, we had to use less training data compared to previous MLLM papers, which may have impacted our final performance. To address this, future research could explore the use of semi-supervised or weakly-supervised learning techniques to reduce annotation costs.

Furthermore, while MLLMs demonstrate contextual understanding abilities, there are other unexplored capabilities that can be leveraged for downstream tasks. For example, we propose investigating their interactive ability for instruction tuning. Can MLLMs be utilized to refine detection outputs based on human language instructions? By providing specific instructions such as adjusting box positions, removing redundant boxes, or correcting predicted classes, can MLLMs adapt their predictions to meet desired expectations? Exploring these possibilities could revolutionize computer vision tasks.

 

 

 

 

 

 

Enhancing Visual Text Generation with GlyphControl

Article: https://arxiv.org/pdf/2305.18259.pdf

 

Introduction

GlyphControl is an innovative approach that improves text-to-image generation by incorporating glyph conditional information. It allows users to customize the content, location, and size of the generated text. In this blog post, we explore the advantages of GlyphControl and its superior performance compared to existing methods.

Advantages of GlyphControl

GlyphControl enhances the Stable-Diffusion model without requiring retraining. Users can customize the generated text according to their needs, resulting in visually appealing and accurate results.

The LAION-Glyph Benchmark Dataset

GlyphControl includes the LAION-Glyph training benchmark dataset, which helps researchers evaluate visual text generation approaches effectively.

 

Superior Performance

GlyphControl outperforms the DeepFloyd IF approach in terms of OCR accuracy and CLIP scores, demonstrating its effectiveness in generating high-quality visual text.

Future Implications

GlyphControl opens up new possibilities in content creation, design, and advertising. Further advancements are expected as researchers build upon GlyphControl's foundation.

Conclusion

GlyphControl is a powerful approach that improves text-to-image generation by leveraging glyph conditional information. It offers customization options, performs well compared to existing methods, and has promising implications for various applications.

 

 

 

 

Pix2Repair: Automated Shape Repair from Images

Article: https://arxiv.org/pdf/2305.18273.pdf

 

Introduction:

 Pix2Repair is an innovative approach that automates shape repair by generating restoration shapes from images. This eliminates the need for expensive 3D scanners and manual cleanup, making the process more accessible and scalable.

Problem:

Traditional shape repair methods rely on high-resolution 3D meshes obtained through costly 3D scanning. This approach is time-consuming and limits accessibility.

Solution:

Pix2Repair takes an image of a fractured object as input and generates a 3D printable restoration shape. It utilizes a novel shape function that deconstructs a latent code representing the object into a complete shape and a break surface.

 

 

 

Summary:

Pix2Repair revolutionizes shape repair by leveraging image-based restoration techniques. It eliminates the need for expensive 3D scanners and manual cleanup, offering a more accessible and scalable solution. Key Contributions: Image-Based Restoration: Pix2Repair generates restoration shapes directly from images, eliminating the need for 3D scanning. Novel Shape Function: The proposed shape function deconstructs a latent code into a complete shape and a break surface, enabling accurate restoration. Dataset Applications: Successful restorations were demonstrated for synthetic fractures and cultural heritage objects from various datasets. Overcoming Challenges: Pix2Repair handles axially symmetric objects by predicting view-centered restorations. Superior Performance: Pix2Repair outperforms shape completion approaches in terms of various metrics, including chamfer distance and normal consistency.

 

 

Conclusion:

Pix2Repair offers an automated shape repair solution by leveraging images, removing the need for expensive 3D scanning equipment. Its novel approach shows promising results in restoring fractured objects, making shape repair more accessible and efficient. This innovation has the potential to transform the field of object restoration and benefit researchers, conservators, and restoration professionals.

 

Brain Inspired Modular Training (BIMT)

 

Brain Inspired Modular Training:

An Innovative Approach to Mechanistic Interpretability

Blog post for Intelligent Systems and Automated Learning by Sebastian Delorean.

Discovering the Brain's Secrets to Improve Neural Networks

In a groundbreaking study, researchers have introduced an innovative method known as Brain-Inspired Modular Training (BIMT), designed to enhance the interpretability of neural networks. The human brain, a marvel of natural engineering, exhibits remarkable modularity. This feature, when incorporated into artificial neural networks, could greatly improve their interpretability. BIMT achieves this by placing neurons in a geometric space and then modifying the loss function to include a cost proportional to the length of each neuron connection. This prompts the neurons to communicate more efficiently, much like their biological counterparts.

Unleashing the Power of Locality

BIMT is inspired by the intricate connection dynamics of biological neurons. In nature, the connection cost between neurons depends on their spatial proximity, encouraging localized communication. This concept, known as locality, is the driving force behind BIMT. By embedding neurons within a 2D or 3D Euclidean space, researchers were able to visually demonstrate how BIMT promotes efficient, localized neural interactions.

BIMT in Action: From Symbolic Formulas to Algorithmic Datasets

Researchers tested BIMT on a variety of tasks, unveiling its potential to reveal useful structures and create interpretable decision boundaries for classification tasks. They found that BIMT can be effectively used in multiple contexts, from fully connected networks for vector inputs to other types of data and network architectures. BIMT was used to predict symbolic functions, apply to the two moon dataset for classification, and predict operations in modular addition and permutation group tasks.

Building on Previous Research

BIMT is part of the growing field of Mechanistic Interpretability (MI), which seeks to uncover the inner workings of neural networks. MI involves reverse engineering various components of neural networks, including image circuits, induction heads, transformer circuits, and more. While these networks may lack the inherent modularity of biological brains, BIMT allows for the emergence of modular structures within originally non-modular networks.

Looking Forward: The Future of BIMT

The introduction of BIMT has been met with enthusiasm as it offers a versatile approach that can be applied to various types of data and network architectures. However, the authors acknowledge that BIMT currently comes with a minor trade-off - a slight performance degradation. They intend to refine BIMT to simultaneously achieve high interpretability and performance.

Future studies aim to test this training strategy on larger-scale tasks, such as large language models, to assess its effectiveness in enhancing their interpretability. As we continue to uncover the secrets of the brain, it's exciting to see how these insights can be used to improve the performance and interpretability of artificial neural networks.

 

Source: Brain Inspired Modular Training for Mechanistic Interpretability

Video Surveillance for Road Traffic Monitoring - Brainstormers v 2

 

Video Surveillance for Road Traffic Monitoring

                                     -Raul Sauca

            Articolul descrie cum a fost ales si implementat un algoritm de computer vision in 2 cazuri, MTSC si MTMC, unde MT vine de la “Multi Target”, SC vine de la “Single Camera” si MC de la “Multi Camera”.  

Pentru MTSC, se utilizează DeepSORT, TC și MOANA.

            DeepSORT este o metodă online care combină caracteristicile de deep learning cu urmărirea bazată pe filtrul Kalman și algoritmul lui Hungarian.

            TC utilizează o combinație de caracteristici vizuale și semantice pentru a clusteriza și asocia datele, în timp ce

            MOANA utilizează asociația de date spațio-temporale folosind un model adaptiv de aparență.

 

Pentru MTMC, re-ID asociază obiectele între camere. Re-ID-ul vehiculelor a câștigat mai multă atenție, cu propuneri precum cadrul PROVID (PROgressive Vehicle re-Identification) și metoda DRDL (Deep Relative Distance Learning).

            PROVID utilizează rețele neurale de deep learning pentru o căutare superficiala în domeniul de caracteristici și o căutare apropiată-până-la-distantă în spațiul fizic.

            DRDL exploatează o rețea de convoluție profundă cu două ramuri pentru a proiecta imaginile brute ale vehiculelor într-un spațiu euclidian, unde distanța poate fi utilizată direct pentru a măsura similaritatea a două vehicule.

 

MTSC (Multi-Target Single-Camera):

Sunt comparati diferiti algoritmi de deep learning, cum ar fi RetinaNet, YOLOv3, Mask RCNN, si Faster R-CNN, pentru a vedea care este cel mai consistent algoritm. Modelul pre--trained Faster R-CNN fiind cel mai bun cu o acuratete de 60%. Dupa fine-tuning cu restul de frame-uri de la camera, rezultatul acuratetii este de 97%.

            In primul rand, detectia pentru fiecare imagine este calculata separat. O metoda de abstractie a fundalului cum ar fi MOG este aplicata pentru a detecta doar obiectele in miscare, de asemenea o tehnica de post procesare este aplicata ulterior pentru a elimina din cadru alte obiecte in miscare cum ar fi biciclete sau pietoni, ramanand numai obiectele ce au dimensiuni similare cu o masina.

            Pentru a menține ID-ul aceleiași mașini, sunt implementate două strategii, una bazată pe suprapunerea maximă și cealaltă utilizând un filtru Kalman.

            Metoda de urmărire bazată pe suprapunerea maximă atribuie noi ID-uri fiecărui bounding box (BB) detectat în primul cadru și apoi atribuie ID-urile detectărilor anterioare către BB-urile noului cadru cu suprapunere maximă.

            Filtrul Kalman prezice poziția unui obiect în cadru următor, permițând menținerea ID-ului unei mașini urmărite de-a lungul secvenței, chiar dacă o detectare este pierdută într-un cadru. Fluxul optic este utilizat pentru a îmbunătăți urmărirea, iar implementarea SORT a filtrului Kalman este utilizată.

 

MTMC (Multi-Target Multi-Camera):

            Aceasta sectiune descrie un sistem pentru a re-identifica mașinile în mai multe camere într-o secvență video.

            În primul rând, se obțin fragmente de mașini din anotările de referință și se utilizează pentru a antrena rețeaua, pentru a crea perechi pozitive și negative. Ieșirea rețelei este folosită pentru a grupa vectorii de încorporare folosind similaritatea cosinus ca funcție de distanță. Apoi, se proiectează un sistem pentru a re-atribui ID-urile mașinilor între camerele diferite folosind acest spațiu de încorporare.

            Sistemul de re-ID utilizează o cameră de referință pentru a menține ID-urile mașinilor și compară fragmente de la o altă cameră pentru a atribui ID-uri. Procesul este repetat pentru toate camerele într-o schemă cascada. Sistemul utilizează mai multe fragmente pentru fiecare mașină pentru a asigura robustețea, iar fragmentele sunt selectate în funcție de apariția lor în cadre consecutive. Autorii remarcă că camerele nu sunt bine sincronizate, astfel încât o analiză spațio-temporală nu este efectuată.

            Pentru a evalua metodele de urmărire MTSC si MTMC, sa calculat IDF1 separat pentru toate camerele (10-15) ale secvenței 3 și media rezultatelor. O comparație între algoritmii implementați este prezentată în Tabelul 2. Cel mai bun rezultat este obținut utilizând detectorul de obiecte Faster R-CNN pre-antrenat, cu suprapunere maximă ca metodă de urmărire (IDF1 mediu de 0,72). Observăm, de asemenea, că performanța ambelor metode de urmărire este similară. Există unele inconsistențe în rezultatele camerelor 12 și 15, pe care le identifică ca probleme de teren. Aceste situații duc la unele comparații incorecte, de exemplu, când Faster R-CNN se comportă bine în camera 12 pentru că detecțiile cu această rețea sunt mai potrivite, în timp ce rezultatele celorlalte metode sunt slabe.

 

Concluzie

 

Autorii au implementat o tehnologie capabilă să urmărească cu succes mai multe vehicule pe o singură cameră. Cele mai bune rezultate s-au obținut cu Faster R-CNN, care a fost ajustat și optimizat special pentru acest set de date. Ambele metode de urmărire, suprapunere maximă și Kalman, au funcționat la fel de bine, cu prima fiind ușor mai bună. Cu toate acestea, rezultatele cantitative obținute au fost slabe din cauza inconsistentei.

            În scenariul MTMC, se bazeaza pe performanța rețelei, iar precizia sa scăzută afectează sistemul general de re-ID. În cele din urmă, lipsa informațiilor temporale face ca abordarea lor să fie o problemă, deoarece este imposibil să obțina o soluție în care două vehicule cu aceeași culoare și model să fie diferențiate fără o referință temporală. Lipsa de sincronizare între camere face dificilă proiectarea unui model care să rezolve această problemă fără a se suprasolicita la secvența utilizată. Acest lucru ar necesita o sincronizare manuală pentru fiecare secvență specifică de cadre și obiecte care trebuie urmărite.

 

Link Lucrare: https://arxiv.org/pdf/2105.04908v1.pdf

Avantajele recunoasteri obiectelor din magini folosit sistem radar in conditi neprielnice de mediu - Brainstormers v 2

 

Avantajele recunoasteri obiectelor din magini folosit sistem radar in conditi neprielnice de mediu

                                           Analiza realizata de Gherghinescu Mihai Andrei

 

Recunoasterea de imagini se realizeaza majoritar prin intermediul camerelor sau folosind LiDAR(Light Detection and Rangening), metoda ce se bazeaza pe raze laser pentru a masura distanta si a crea reprezentari 3D ale obiectelor si ale mediului. Problema este ca majoritatea abordarilor se bazeaza pe conditi prielnice de mediu, avand erori majore in conditii de ploaie, ceata, ninsoare etc.

Comparatie detectie obiecte imagini video, laser si radio in diferite conditii meto

In prima linie de imagini sunt prezente imagini generate cu ajutorul punctelor proiecatate prin intermediul LiDAR, cea de doua reprezinta imaginile radio, iar ultima o combinatie a imaginilor LiDAR si a imaginilor radio, prin poriectarea punctelor obiectelor detectate .  Din cate se poate observa, in conditi de mediu neprielnice, imaginile de pe prima si ultima coloanal devin alterate, ducand la o detectie de obiecte proasta. Pe de alta parte imaginile radio au o mai buna claritate si pastreaza semnificativ destul de multe detalii pentru o eventual detectie.

Pentru a remedia problema prezentata mai sus s-a incercat conceperea unui set de date bazat pe imagini radio pe nume RADIATE(Radar Dataset In Adverse Weather). De asemenea acest dataset contine date LiDAR GPS si imagini stereo si 8 tipuri de obiecte etichetate: masini, furgonete, motociclete campion, biticiclete pietoni si grupuri de pietoni. 

Comparatie intre dataseturile cele mai folosite si RADIATE

Majoritatea tehnologiilor radio folosesc tehnici MIMO(Multiple Input Multiple Output) care folosesc multiple transmitatoare si recievere pentru a masura DOA(direction of arrival). Chiar daca aceasta tehnica este relative necostisitoare duce lipsa de rezoluție azimutală (capacitatea de a distinge doua obiecte care sunt aflat in acelasi cadru , dar cu unghiuri azimutale diferite), astfel imaginile produse de catre radio ar avea prea putine detail pentru a fi folosite pentru detectie de obiecte. Insa, a fost dezvoltat un nou sistem ce se foloseste de o antenna in miscare, ce produce, in mare, o resolutie azimutala inbunatatita, satisfacatoare pentru a detecta obiecte. Dat faptul ca s-au folosit imagini radio, pentru partea de etichetare a obiectelor a fost nevoie de crearea unui nou sistem de anotare, folosind chenare 2D, rezprentate prin ox, oy, latime inaltime si unghi.

Pentru a crea datesetul au fost captate date in 8 scenarii diferite de vreme, iar ca si model de baza a fost folosit o alteratie a Faster R-CNN care are predefinite dimensiuni pt generare deoarece dimensiunea vehiculelor in imagini radar este cunoscuta si cu adaptarea mentionata mai sus de etichetare de obiectelor.  Setul de date a fost antrenat atat in conditi de vreme buna cat si in conditie de vreme bune si neprielnice, obtinand un AP de 0.5. Diferenta dintre training-ul in conditi bune de mediu si conditi bune si nefavorabile este insimnificativa, astfel demostrand eficienta setului de date in conditi rele de mediu.

Tabel PA fata de conditi de medeo si training set folosit

La o mai buna analiza a datelor putem observa ca in conditi bune de meteo pe timp de zi sa de noapte s-a optinut un ap de la 40% la 80%. Din nefericire, in conditi de zapada sau ploaie, acuratetea este insa scazuta, cu valori mici intre 33% si 5%. Insa, in conditii de ceata, setul de date a performat foarte bine, cu o acuratete de aproximativ 50%, deci detectia pe baza de imagini radio a dovedit a fi o alternativa mai buna de a detecta obiecte.

 

Link_lucrare:https://ieeexplore.ieee.org/abstract/document/9562089?casa_token=-vo_VNHv0hIAAAAA:uYv5nrdlAotX_zVtp68FUunalQQWiPCEPmt1SuM_mdzxYeSoENBQ27FGMzeqd4wzx-jv6VLRRt1pPA

MNIST Dataset / Rețeaua neuronală

 

 

 

Part 1: MNIST Dataset / Rețeaua neuronală

1.    MNIST Dataset

 

Setul de date MNIST constă într-o vastă colecție de 60.000 de exemple de formare și 10.000 de exemple de testare, fiecare reprezentând imagini în tonuri de gri ale cifrelor scrise de mână de la zero la nouă.

 

Task-ul de clasificare a cifrelor MNIST implică utilizarea învățării automate pentru a recunoaște și clasifica cifre scrise de mână. Aceasta este o sarcină crucială cu aplicații în domenii precum recunoașterea optică a caracterelor și sortarea automată a poștei. Setul de date MNIST, care constă în mii de imagini în tonuri de gri ale cifrelor, servește ca referință pentru evaluarea algoritmilor de învățare automată.

 

2.    Rețeaua neuronală

 

Pentru clasificarea cifrelor MNIST, rețelele neuronale pot fi construite într-o structură numită rețea neuronală convoluțională (Convolutional Neural Network - CNN). Această arhitectură este specializată în prelucrarea și extragerea de caracteristici din imagini, ceea ce o face potrivită pentru recunoașterea cifrelor scrise de mână.

 

Rețelele neuronale convoluționale utilizate în MNIST sunt compuse din mai multe straturi, inclusiv straturi de convoluție, straturi de poolare și straturi complet conectate. Straturile de convoluție aplică filtre pe imagine pentru a evidenția trăsăturile relevante, cum ar fi marginile și colțurile cifrelor. Straturile de poolare reduc dimensiunea trăsăturilor extrase și le generalizează. Iar straturile complet conectate preiau aceste caracteristici și le utilizează pentru a clasifica cifrele.

 

2.1.         Arhitectura

 

Arhitectura de bază a unei rețele neuronale pentru clasificarea cifrelor MNIST este relativ simplă și directă. Aceasta constă într-un strat de intrare, unul sau mai multe straturi ascunse și un strat de ieșire.

 

Stratul de intrare primește imaginile cifrelor și le transformă într-o reprezentare numerică pe care rețeaua neuronală o poate procesa. Această reprezentare este de obicei o matrice bidimensională de pixeli.

 

Straturile ascunse sunt responsabile de extragerea și învățarea caracteristicilor relevante ale cifrelor. Fiecare strat ascuns constă în neuroni interconectați care aplică operații matematice asupra datelor de intrare și transmit rezultatele către stratul următor. Aceste operații pot include convoluții, activări non-liniare și operații de agregare a informațiilor.

 

Stratul de ieșire este compus din neuroni care generează rezultatele clasificării, reprezentând probabilitatea că imaginea dată reprezintă o anumită cifră. De obicei, se utilizează funcția de activare Softmax pentru a obține aceste probabilități normalizate.

 

3.    Antrenament și testare a rețelei neuronale

 

         

Procesul de antrenament al unei rețele neuronale implică furnizarea rețelei datelor de intrare și ajustarea greutăților și a polarizărilor neuronilor în funcție de erorile produse în predicții. În cazul rețelei neuronale folosite pentru clasificarea cifrelor în setul de date MNIST, cele 60.000 de imagini de antrenament din setul de date MNIST sunt furnizate rețelei. Rețeaua produce apoi o predicție pentru fiecare imagine, iar diferența dintre cifra prezisă și cifra reală este calculată. Greutățile și polarizările neuronilor din rețea sunt ajustate pentru a minimiza această diferență sau eroare, utilizând algoritmul de retropropagare.

3.1   Backpropagation: Antrenând și Validând Rețele Neuronale cu Eficiență

 

Backpropagation este un algoritm popular pentru antrenarea rețelelor neuronale de tip feedforward. Acesta calculează gradientul erorii în funcție de greutățile și polarizările neuronilor din rețea. Acest gradient este utilizat pentru a actualiza greutățile și polarizările neuronilor, în scopul de a minimiza eroarea. Procesul este repetat pe parcursul mai multor epoci până când rețeaua neuronală atinge convergența și se minimizează eroarea.

O epocă reprezintă un ciclu complet prin întregul set de date de antrenament. În cazul rețelei neuronale utilizate pentru clasificarea cifrelor în setul de date MNIST, procesul de antrenament se repetă de-a lungul mai multor epoci. În fiecare epocă, setul complet de date de antrenament este introdus în rețea, iar greutățile și polarizările neuronilor sunt ajustate în funcție de erorile comise în predicții. Numărul de epoci utilizate în antrenament poate afecta precizia rețelei neuronale.

 

3.2   Validare

Pe parcursul procesului de antrenament, este important să monitorizăm performanța rețelei neuronale pe un set de date de validare separat. Acest set de date este utilizat pentru a evalua performanța rețelei pe date pe care nu le-a văzut anterior. Prin monitorizarea performanței rețelei pe setul de date de validare, este posibil să detectăm overfitting-ul, care apare atunci când rețeaua devine prea specializată pe setul de date de antrenament și prezintă o performanță scăzută pe date noi.

 

 

 

 

 

 

 

3.3     Testarea

După ce rețeaua neurală a fost antrenată pe setul de date de antrenament, aceasta este testată pe cele 10.000 de imagini de test din setul de date MNIST. Imaginile de test sunt introduse în rețeaua neurală, iar rețeaua produce o predicție pentru fiecare imagine. Precizia rețelei neuronale este calculată prin compararea cifrelor prezise cu cifrele reale din setul de testare. Precizia rețelei neuronale reprezintă măsura în care poate clasifica cifrele în setul de testare. Precizia este calculată prin împărțirea numărului de predicții corecte la numărul total de predicții efectuate. În cazul rețelei neuronale utilizate pentru clasificarea cifrelor din setul de date MNIST, o precizie de aproximativ 98% este considerată bună.

Există mai multe tehnici care pot fi utilizate pentru îmbunătățirea preciziei rețelei neuronale, cum ar fi creșterea numărului de straturi ascunse sau neuroni, utilizarea diferitelor funcții de activare sau a diferitelor algoritmi de optimizare. Este important să fim atenți în selectarea acestor tehnici, deoarece ele pot crește și riscul de supraantrenare (overfitting).

 

3.4     Concluzie

În acest studiu, am explorat utilizarea rețelelor neuronale în clasificarea cifrelor din setul de date MNIST. Rezultatele au demonstrat că rețelele neuronale convoluționale au obținut o precizie bună în recunoașterea și clasificarea cifrelor scrise de mână, cu o valoare de aproximativ 98%. Procesul de antrenament al rețelei neuronale a implicat utilizarea algoritmului de retropropagare pentru ajustarea greutăților și polarizărilor neuronilor. Este important să fim atenți în alegerea tehnicilor pentru îmbunătățirea preciziei, deoarece acestea pot crește riscul de supraantrenare (overfitting). Utilizarea rețelelor neuronale în recunoașterea cifrelor MNIST are aplicații practice în domenii precum recunoașterea optică a caracterelor și sortarea automată a poștei. Aceste rezultate contribuie la dezvoltarea domeniului și deschid perspective pentru utilizarea extinsă a rețelelor neuronale în diverse aplicații.

 

 

 

         

         

 

Deep Learning in Radiology

Linkul la Drive unde am incarcat prezentarea

 

 Comparison of machine learning models applied on anonymized data with different techniques

Team: Streulea Lucian, Turda Robert, Stoia Teodora

Article: 2305.07415.pdf (arxiv.org)

INTRODUCTION

    This paper addresses the increasing importance of data anonymization techniques in the context of the massive amount of personal data generated daily due to digitization. The study recognizes the need for secure protocols and privacy-preserving techniques in data science pipelines, particularly when dealing with sensitive data that can identify individuals. The paper distinguishes identifiers, quasi-identifiers, and sensitive attributes in data, with a focus on how these can be anonymized while preserving data utility for analysis. Four different anonymization methods are applied to a classical dataset and an inference process is performed using four machine learning models: k-Nearest Neighbors, Random Forest, Adaptive Boosting, and Gradient Tree Boosting. The paper seeks to balance data anonymization with the usefulness of data for analysis, ultimately providing insights into the trade-off between data privacy and utility.

ANONYMIZATION TECHNIQUES

    The study applies four classical anonymity techniques to obfuscate quasi-identifiers in a dataset using value generalization hierarchies (VGH). The process involves replacing original values with less specific ones or suppressing them with a special character. The four techniques are:

• k-anonymity: This is a widely used and easily implemented technique. A database is k-anonymous if there are at least k records in each equivalence class of the database, reducing the probability of individual identification to 1/k.
• L-diversity: This is another commonly used method, especially effective for preserving the privacy of sensitive attributes and preventing homogeneity attacks. L-diversity ensures that there are at least ` different values for the sensitive attribute in each equivalence class of the database.
• t-closeness: This technique ensures that the distribution of sensitive attribute values in each equivalence class is no more than a distance t from the overall distribution in the database. The Earth Mover's distance (for numerical attributes) or equal distance (for categorical attributes) is used to measure the distance between distributions.
• δ-disclosure privacy: This is satisfied if the logarithm of the ratio of the distribution of sensitive attribute value s in an equivalence class to its distribution in the whole database is less than δ. 

    The study emphasizes the importance of using multiple anonymity techniques in tandem, as each one can prevent a different type of database attack.

USED MACHINE LEARNING MODELS

    This research applies four supervised machine learning models to a classical classification problem, using quasi-identifiers as features and the sensitive attribute as the label. The models are k-Nearest Neighbors (kNN), Random Forest (RF), Adaptive Boosting (AB), and Gradient Tree Boosting (GB). They are trained and tested using the Python library scikit-learn (version 1.2.0), with optimal parameters selected via a 5-fold cross-validated grid search. Performance is evaluated based on accuracy and area under the ROC curve. Although the anonymization process is applied to the entire database, a stratified random train-test split (75%-25%) is used when training the models.

• k-Nearest Neighbors (kNN): This is a non-parametric method used for classification and regression. In kNN classification, an object is classified by a majority vote of its neighbors, with the object being assigned to the class most common among its k nearest neighbors.
• Random Forest (RF): This is an ensemble learning method for classification, regression, and other tasks that operate by constructing a multitude of decision trees at training time and outputting the class that is the mode of the classes (classification) or mean prediction (regression) of the individual trees.
• Adaptive Boosting (AB): Also known as AdaBoost, this is a boosting algorithm used as an ensemble method to improve the stability and accuracy of machine learning algorithms. It combines multiple weak predictors to build a strong predictor. This algorithm works by fitting a sequence of weak learners on different weighted training data.
• Gradient Tree Boosting (GB): Also known as Gradient Boosting, this is a machine learning technique for regression and classification problems, which produces a prediction model in the form of an ensemble of weak prediction models, typically decision trees. It builds the model in a stage-wise fashion and it generalizes them by allowing optimization of an arbitrary differentiable loss function.

Results

    This paper analyzed the performance of four machine learning models on a classification task using the adult dataset. Different levels of anonymity were applied, and it was observed that the kNN model did not achieve the best results in terms of accuracy. Ensemble models, on the other hand, performed better overall. Additional privacy techniques were explored, with ensemble models consistently outperforming other models. Future work includes extending the analysis to other datasets and studying the application of differential privacy in inference processes.

Data Encoding For Healthcare Data Democratisation and Information Leakage Prevention

Artcle: https://arxiv.org/pdf/2305.03710.pdf

Introduction

 The article discusses the potential for deep learning to impact healthcare but highlights several hindrances in its development and acceptance. One of the major hindrances is the lack of data democratization and latent information leakage. Data democratization refers to the difficulty in making healthcare data available to AI researchers due to data privacy laws. Latent information leakage refers to the sensitive patient information that deep learning models can infer, potentially violating patient privacy. The article emphasizes the need for mechanisms to mask private information while retaining the data semantics to enable data sharing or democratization.

Method

    The authors of this study suggest a framework that divides the time-series into segments of length n and applies a transformation operation f() on every segment, which results in an encoded version of the segment. The dimensions of the transformed and input segments are the same, and each encoded segment of length n is temporally concatenated to obtain the encoded version of the signal. The framework uses random projection and random quantum encoding as data transformation operations to transform the input data into a random subspace, making the data imperceptible. Random projection is a method of projecting input data into a random subspace using a random projection matrix, while random quantum encoding refers to a process of data transformation through the use of a quantum circuit containing multiple gates with random parameters. 

Models

    Following neural network architectures have been used for the prediction tasks: 

    The first model used is Long short-term memory (LSTM), which consists of an LSTM with 256 recurrent units followed by a linear layer with 1 node and sigmoid activation for binary prediction. The second model is Temporal convolution neural networks, which use 1-d convolution operations for modeling input time series. The third model is Multi-branch temporal convolutional network (Multi-TCN), which consists of two multi-branch temporal blocks followed by a linear layer with 1 node and sigmoid activation. The fourth and fifth models are Transformer and Vision Transformer, respectively, which are both designed to capture global dependencies in the input signals. 

Results

    The analysis of the results highlights that the models trained on the encoded data exhibit lesser latent information leakage than the models trained on the original data. On average, MIMIC-III models trained on data encoded using quantum circuits and random projections (rather than original data) exhibited a relative drop of 20.11 (±2.45)% and 23.52 (±3.98)% in performance for the latent gender prediction task. The PhysioNet models also exhibited relative drops of 22.66 (±5.45)% and 28.21 (±8.98)% for the data encoded using the quantum circuit and the random projections, respectively. Similar behavior is observed for the eICU models.The encoding data also resulted in a drop in the performance of the ethnicity prediction tasks. A similar trend is observed for the patient disorder prediction from MIMIC-III models. Quantum encoding and random projections resulted in a relative drop of 12.5 (±3.79)% and 18.75 (±5.45)% in the average macro AUROC score.