e-Fai Σύστημα οδηγιών πρώτων βοηθειών με τεχνητή νοημοσύνη

Ομάδα έργου

• Αγαθάγγελος Παπαδόπουλος
• Κωνσταντίνος Χατζής
• Δανάη Ιορδανίδου
• Άρης Στεργιάδης

Βασική Περιγραφή ιδέας

Η ιδέα προέκυψε ύστερα από τα σεμινάρια πρώτων βοηθειών που πραγματοποιήθηκαν στο σχολείο μας από το kids save lives και αφού διαπιστώσαμε πόσο σημαντικό είναι όλοι οι άνθρωποι να γνωρίζουν τον τρόπο με τον οποίο μπορούν να δώσουν τις πρώτες βοήθειες στις κρίσιμες στιγμές.

Το σύστημα μας αποτελείται από ένα wristband το οποίο περιλαμβάνει ένα microbit καθώς και την εφαρμογή για έξυπνα κινητά που αναπτύξαμε στο AppInventor.

Αν κάποια στιγμή πέσουμε απότομα στο έδαφος (επιταχυνσιόμετρο) ή αισθανθούμε αδιαθεσία και πατήσουμε το πλήκτρο βοήθειας στο wristband τότε το σύστημα ξεκινάει άμεσα τις εξής ενέργειες:

• Το Microbit στέλνει σήμα σε όλα τα γειτονικά microbit (εμβέλεια μέχρι 70 μέτρα) για βοήθεια ενώ παράλληλα παίζει έναν δυνατό ήχο και αναβοσβήνει την οθόνη του για ειδοποιήσει τους γύρω μας. Σε περίπτωση λανθασμένης έναρξης του σήματος βοήθειας μπορούμε να το ακυρώσουμε πατώντας το πλήκτρο ακύρωσης
• Η εφαρμογή του κινητού τηλεφώνου στέλνει άμεσα SMS στο τηλέφωνο έκτακτης ανάγκης που έχουμε δηλώσει (πχ το ΕΚΑΒ) με τα στοιχεία μας και τις συντεταγμένες μας, ενώ καλεί σε βοήθεια όσους βρίσκονται κοντά με δυνατό ηχητικό σήμα.

Επίσης το σύστημα που έχουμε φτιάξει παρέχει οδηγίες για την παροχή πρώτων βοηθειών αξιοποιώντας υπηρεσίες αναγνώρισης φωνής τεχνητής νοημοσύνης για την πιο εύκολη επικοινωνία μαζί του ως εξής:

• Πατώντας μαζί τα πλήκτρα Α και Β το Microbit ξεκινάει να παίζει έναν ήχο και να αναβοσβήνει την οθόνη του στον ρυθμό που απαιτείται για την παροχή ΚΑΡΠΑ (100 συμπιέσεις το λεπτό).
• Ενεργοποιώντας με φωνητική εντολή στην εφαρμογή του κινητού την παροχή βοηθειών βλέπουμε στην οθόνη βήμα-βήμα τι πρέπει να κάνουμε για να δώσουμε σωστά τις πρώτες βοήθειες μαζί με φωνητική εξήγηση.

Έρευνα

Για την επιλογή του συγκεκριμένου θέματος αφιερώσαμε τρεις συναντήσεις στις οποίες διεξάχθηκαν συνεδρίες σχεδιαστικής σκέψεις και αξιοποιήσαμε τεχνικές, μεθοδολογίες και card-based εργαλεία Design Thinking τα οποία αναπτύχθηκαν για τον όμιλο ρομποτικής του σχολείου μας.

Επίσης αξιοποιήσαμε άλλες 3 συναντήσεις για να δημιουργήσουμε μια εικονική μαθητική επιχείρηση η οποία θα σχεδίαζε και θα υλοποιούσε τα συστήματα μας, μοιράζοντας ρόλους στους μαθητές και τις μαθήτριες μας. Επειδή εκείνο το διάστημα τα σχολεία ήταν κλειστά λόγω της πανδημίας covid-19 εργαζόμασταν διαδικτυακά μέσω της πλατφόρμας Mural και εκεί έχουμε συγκεντρώσει όλο το αποτέλεσμα της έρευνάς μας.

Παρόμοια συστήματα

Αρχικά ξεκινήσαμε να αναζητήσουμε εφαρμογές και συσκευές που υπάρχουν ήδη και σχετίζονται με την ιδέα μας.

• Πρώτες Βοήθειες – Η επίσημη εφαρμογή πρώτων βοηθειών της Διεθνούς Ομοσπονδίας Συλλόγων Ερυθρού Σταυρού και Ερυθράς Ημισελήνου (IFRC) δίνει άμεση πρόσβαση στις πληροφορίες που χρειάζεται να ξέρετε για να χειριστείτε τις πιο συνήθεις καταστάσεις έκτακτης ανάγκης με πρώτες βοήθειες.
• iSAVElives – Μια υπό ανάπτυξη εφαρμογή από το kids save lives η οποία αν και δεν είναι διαθέσιμη ακόμα, περιγράφει μερικές από τις καινοτόμες λειτουργίες που θα διαθέτει ενώ παράλληλα στον δικτυακό τόπο του kids save lives υπάρχει πλούσιο υλικό για την εκπαίδευση και αντιμετώπιση περιστατικών πρώτων βοηθειών.
• First aid watch – Εφαρμογή για smartwatches της Apple η οποία παρέχει πληροφορίες για πρώτες βοήθειες στον χρήστη.

Μελετώντας τις παραπάνω εφαρμογές κρατήσαμε κάποιες σημειώσεις για πράγματα που μας κίνησαν το ενδιαφέρον και θα θέλαμε να εντάξουμε στο σύστημα μας καθώς και απορίες για πράγματα που θα θέλαμε να εντάξουμε και δεν τα βρήκαμε σε κάποια από τις εφαρμογές:

• Η καθοδηγούμενη κάρπα με φωνητικές εντολές και εικόνες, η οποία θα περιλαμβάνεται στην εφαρμογή iSAVElives είναι ιδιαίτερα χρήσιμη καθώς σε μια επείγουσα περίπτωση μας δίνει τις οδηγίες χωρίς να τις διαβάζουμε, ενώ παράλληλα κρατάει και τον ρυθμό με τον οποίο δίνουμε θωρακικές συμπιέσεις.
• Η εφαρμογή Πρώτες Βοήθειες είναι αρκετά αναλυτική και παρέχει πολλές πληροφορίες για την αντιμετώπιση πολλών καταστάσεων που χρήζουν την παροχή πρώτων βοηθειών. Σημαντικό είναι ότι περιλαμβάνει προτροπές για την άμεση κλήση του 112 για την παροχή βοήθειας.
• Θα ήταν ιδιαίτερα χρήσιμο αν θα μπορούσε το σύστημα μας να αντιλαμβάνεται αυτόματα μια επείγουσα κατάσταση (μέσω αισθητήρων) και να καλεί σε βοήθεια.

Κόστος παραγωγής για 2 wristband

• Δύο Microbit V2, κόστος 38 ευρώ περίπου
• Δύο MI:power board for the BBC micro:bit, κόστος 12 ευρώ
• 1KG PLA υλικό για 3D εκτύπωση, κόστος περίπου 20 ευρώ
• Μπαταρίες 3V coin cell, κόστος περίπου 3 ευρώ

Συνολικό κόστος: 73 ευρώ

Ποια είναι τα θετικά στοιχεία της ιδέας μας

• Θα αποτελεί μια σημαντική συνεισφορά στην αντιμετώπιση περιστατικών πρώτων βοηθειών σε άτομα που το έχουν ανάγκη.
• Είναι προϊόν υγείας και πρώτης ανάγκης.
• Έχει χαμηλό κόστος.
• Θα έχει μικρό μέγεθος (σαν ρολόι χεριού).
• Μπορεί να βγαίνει σε πολλά χρώματα και να είναι ταυτόχρονα και ένα προϊόν μόδας.

Σχεδιασμός και κατασκευή

Σχεδιασμός 3D

Για το wristband που περιλαμβάνει το microbit αξιοποιήσαμε κάποια έτοιμα σχέδια τα οποία τροποποιήσαμε στο TinkerCAD. Πιο συγκεκριμένα για το μέρος του wristband που θα κουμπώνει πάνω στον καρπό του χεριού μας χρησιμοποιήσαμε την εφαρμογή που έχουν αναπτύξει οι nervous systems με τίτλο Kinematics at home. Διαλέγουμε σχέδιο και μέγεθος καρπού και κατεβάζουμε το αρχείο STL το οποίο μπορούμε να εκτυπώσουμε!

Για το μέρος του wristband που θα περιλαμβάνει το microbit και την μονάδα της μπαταρίας ξεκινήσαμε αναζητώντας έτοιμα σχέδια από το thingiverse τα οποία τα τροποποιήσαμε για να καταλήξουμε στην παρακάτω πρόταση. Μια θήκη που θα μπορεί να περιέχει το Microbit μαζί με την μονάδα μπαταρίας του, ενώ θα αφήνει ανοιχτή την θύρα σύνδεσης usb με τον υπολογιστή.

Συναρμολόγηση

Η συναρμολόγηση του συστήματος μας είναι αρκετά εύκολη. Στην ουσία θα πρέπει να συνδεθεί το Microbit με την μονάδα μπαταρίας με την βοήθεια 3 βιδών και αποστατών που περιλαμβάνονται στην συσκευασία της μονάδας μπαταρίας. Οι δύο βίδες θα πρέπει οπωσδήποτε να συνδεθούν στις θέσεις 3V και GND (γείωση) ώστε να μπορεί να πάρει ρεύμα το Microbit από την μπαταρία, ενώ η τρίτη βίδα τοποθετείται σε κάποια από τις 3 υποδοχές δεδομένων του Microbit για καλύτερη δομική στήριξη. Υπάρχουν αναλυτικές οδηγίες για την διαδικασία τις οποίες ακολουθήσαμε και εμείς στο παρακάτω βίντεο.

3D εκτύπωση

Οι πρώτες δοκιμές του wristband έγιναν με την χρήση απλών δεματικών για να ελέγξουμε την λειτουργικότητα του. Στην συνέχεια προχωρήσαμε στην εκτύπωση του wristband σε διαφορετικά μεγέθη και χρώματα, ενώ εκτυπώσαμε αρκετές φορές την θήκη του Microbit με διαρκείς τροποποιήσεις ώστε να ταιριάζει με την μονάδα της μπαταρίας, χρησιμοποιώντας υλικό PLA σε διάφορα χρώματα στους 2 εκτυπωτές που διαθέτει το εργαστήριο μας.

Ανάπτυξη λογισμικού

Προγραμματισμός Microbit

Το wristband το οποίο περιλαμβάνει το Microbit και το οποίο το φοράμε στο χέρι μας μπορεί να κάνει τις εξής διαφορετικές λειτουργίες:

1. Να αντιλαμβάνεται περιπτώσεις όπου χρειαζόμαστε άμεση βοήθεια (αν έχουμε πέσει κάτω, ή αν πατήσουμε το πλήκτρο βοήθειας που είναι το Α) και να στέλνει σήμα σε όλες τις γειτονικές συσκευές (εμβέλεια μέχρι 70 μέτρα), ενώ παράλληλα θα ειδοποιεί και με έντονο ηχητικό σήμα.
2. Να δέχεται σήμα για βοήθεια από κοντινές συσκευές και να μας δίνει τον ρυθμό με ηχητικό σήμα για τις θωρακικές συμπιέσεις αν χρειαστεί να κάνουμε ΚΑΡΠΑ (100-120 φορές το λεπτό, σύμφωνα με τις επίσημες οδηγίες για τις θωρακικές συμπιέσεις)

Αλγόριθμοι

Για την 1η περίπτωση ο αλγόριθμος που θα πρέπει να ακολουθήσουμε είναι ο εξής:

• Αρχικά το Microbit είναι στην “κατάσταση ηρεμίας”. Αν το Microbit ανιχνεύσει ελεύθερη πτώση από το επιταχυνσιόμετρο ή αν πατηθεί το πλήκτρο Α θα μπαίνει σε “κατάσταση κινδύνου”.
• Στην “κατάσταση κινδύνου” η συσκευή θα παίζει έντονο ήχο και αναβοσβήνει την οθόνη, ενώ παράλληλα θα στέλνει ασύρματα μήνυμα σε όλες τις κοντινές συσκευές Microbit (εμβέλεια 70 μέτρα).
• Σε περίπτωση που πατηθεί το πλήκτρο ακύρωσης (Β) το Microbit θα επιστρέφει στην κατάσταση ηρεμίας και θα στέλνει ένα μήνυμα ακύρωσης στα γειτονικά Microbit.

Για την 2η περίπτωση ο αλγόριθμος που θα πρέπει να ακολουθήσουμε είναι ο εξής:

• Μόλις το Microbit λάβει μήνυμα για “κατάσταση κινδύνου” θα ενεργοποιεί ηχητικό σήμα, και θα αναβοσβήνει την οθόνη, ώστε να ειδοποιεί τον χρήστη ότι υπάρχει κάποιος άλλος άνθρωπος κοντά που χρειάζεται βοήθεια.
• Πατώντας τον συνδυασμό των πλήκτρων Α και Β θα ξεκινάει ηχητικό βοήθημα στον ρυθμό με τον οποίο πρέπει να κάνουμε τις θωρακικές συμπιέσεις.
• Σε περίπτωση που πατηθεί το πλήκτρο ακύρωσης (Β) το Microbit θα επιστρέφει στην κατάσταση ηρεμίας.

Τελικό πρόγραμμα

Το τελικό πρόγραμμα το αναπτύξαμε χρησιμοποιώντας την πλατφόρμα makecode.microbit η οποία μας δίνει τη δυνατότητα να παρακολουθούμε σε προσομοιωτή το αποτέλεσμα του κώδικα μας καθώς δουλεύουμε και μπορείτε να το δείτε παρακάτω, ενώ μπορείτε να κατεβάσετε και το αρχείο σε μορφή hex από το αποθετήριο μας στο github.

Προγραμματισμός εφαρμογής σε AppInventor

Αλγόριθμοι

Η βασική ιδέα για την λειτουργικότητα της εφαρμογής είναι να λειτουργεί με φωνητικές εντολές ώστε να αποδεσμεύσει τον χρήστη από την υποχρέωση να χρησιμοποιεί τα χέρια του στο κινητό. Η εφαρμογή μας αρχικά θα ενεργοποιεί την κεντρική οθόνη στην οποία θα υπάρχει η εικονική βοηθός eFAI στην οποία θα δίνουμε μια φωνητική εντολή, ανάλογα με την οποία θα κάνει τα εξής:

• Αν η φωνητική εντολή έχει σχέση με τις ρυθμίσεις (λέξεις όπως ρύθμιση, στοιχεία, ρυθμίσεις κλπ) τότε η εφαρμογή θα ανοίγει την οθόνη των ρυθμίσεων στις οποίες θα μπορούμε να επεξεργαζόμαστε τα βασικά μας στοιχεία (όνομα, ηλικία, τηλέφωνο ανάγκης, επιλογή εικονικού διασώστη που θα εμφανίζεται στην οθόνη για την παροχή οδηγιών κλπ).
• Αν η φωνητική εντολή έχει σχέση με κλήση σε βοήθεια (λέξεις όπως βοήθεια, δεν νιώθω καλά κλπ) τότε η εφαρμογή θα ανοίγει την οθόνη κλήσης βοήθειας, στην οποία θα παίζει ένας δυνατός ήχος, ενώ παράλληλα θα στέλνει στο δηλωμένο τηλέφωνο ανάγκης τις πληροφορίες μας καθώς και την γεωγραφική μας θέση για να μας εντοπίσουν.
• Αν η φωνητική εντολή έχει σχέση με την παροχή οδηγιών (λέξεις όπως οδηγίες, ΚΑΡΠΑ, κλπ) τότε η εφαρμογή θα ανοίγει την οθόνη για την παροχή βοήθειας στην οποία θα μας ζητάει να εκτιμήσουμε την κατάσταση και να δώσουμε μια φωνητική περιγραφή της, ενώ επίσης θα μας ρωτάει αν ο άνθρωπος αναπνέει. Η περιγραφή που θα δώσουμε μαζί με τα στοιχεία μας και τις γεωγραφικές συντεταγμένες θα στέλνεται στο τηλέφωνο ανάγκης ως sms, ενώ ανάλογα με το αν ο άνθρωπος αναπνέει η εφαρμογή θα λειτουργεί ως εξής:
  • Αν πούμε ότι αναπνέει θα μας πηγαίνει στις οδηγίες για την θέση ανάνηψης:
    • Θα μας δείχνει στην οθόνη κάθε βήμα (συνολικά 10) ενώ παράλληλα θα εξηγεί το βήμα και φωνητικά.
    • Στο τέλος κάθε βήματος θα μας ρωτάει αν το έχουμε κάνει για να προχωρήσει στο επόμενο.
  • Αν πούμε ότι δεν αναπνέει θα μας πηγαίνει στις οδηγίες για την ΚΑΡΠΑ:
    • Θα μας δείχνει στην οθόνη την στάση που πρέπει να πάρουμε και θα μας ρωτάει αν είμαστε έτοιμοι.
    • Όταν απαντήσουμε θετικά θα μας δείχνει στην οθόνη τον τρόπο των θωρακικών συμπιέσεων μαζί με ένα ηχητικό σήμα στον ρυθμό 100 συμπιέσεις το λεπτό.

Τελικό πρόγραμμα

Ο προγραμματισμός της εφαρμογής έγινε στο AppInventor και περιλαμβάνει 6 οθόνες:

• Την αρχική οθόνη όπου μας υποδέχεται η eFAI στην οποία δίνουμε φωνητικές εντολές σε μορφή ελεύθερης πρότασης
• Τη οθόνη ρυθμίσεων, στην οποία συμπληρώνουμε τα στοιχεία μας (Ονοματεπώνυμο, Ηλικία, Τηλέφωνο, Τηλέφωνο ανάγκης) και επιλέγουμε τον εικονικό διασώστη ο οποίος θα μας δίνει οδηγίες.
• Την οθόνη βοήθειας, που ενεργοποιείται όταν χρειαζόμαστε βοήθεια.
• Την οθόνη με της οδηγίες για ΚΑΡΠΑ.
• Την οθόνη με τις οδηγίες για την θέση ανάνηψης.
• Την οθόνη με τις οδηγίες για την χρήση της εφαρμογής.

Για τον προγραμματισμό των οθονών χρησιμοποιήσαμε τις εξής μονάδες:

• TextToSpeech, για την μετατροπή κειμένου σε φωνητικές οδηγίες από το κινητό.
• SpeechRecognizer μαζί με λίστες για την αναγνώριση συγκεκριμένων λέξεων μέσα σε προτάσεις, ώστε να λειτουργήσουν οι φωνητικές εντολές προς την εφαρμογή.
• Clock, για να ρυθμίσουμε τον χρονισμό στις οδηγίες για θωρακικές συμπιέσεις, τις καθυστερήσεις μεταξύ των βημάτων των οδηγιών και για το animation στις εικόνες.
• TinyDB, για την αποθήκευση των ρυθμίσεων.
• LocationSensor, για την πρόσβαση στο GPS του κινητού και την απόκτηση των γεωγραφικών συντεταγμένων μας.
• Texting, για την αποστολή μηνυμάτων SMS.
• Sound, για την αναπαραγωγή του ηχητικού σήματος στις οδηγίες ΚΑΡΠΑ.
• Canvas, για να εμφανίσουμε τις οδηγίες σε μορφή εικόνας και animation.
• Labels, buttons και textboxes, και screenArrangements για την διαρρύθμιση των οθονών.

Για την αναγνώριση των φωνητικών εντολών μέσα από προτάσεις χρησιμοποιήσαμε λίστες πιθανών λέξεων και χρησιμοποιήσαμε τις εντολές λίστας που έχει το AppInventor.

Για την αποθήκευση των ρυθμίσεων εντός της εφαρμογής χρησιμοποιήσαμε την βάση δεδομένων TinyBD με τις εντολές για την αποθήκευση και ανάκτηση πληροφοριών.

Για την εμφάνιση των βημάτων των οδηγιών χρησιμοποιήσαμε αρκετά τους χρονισμούς της μονάδας clock, αφού το AppInventor δεν διαθέτει εντολές παύσης και είναι ένα περιβάλλον event based προγραμματισμού και όχι σειριακών αλγορίθμων. Κάθε συμβάν TextToSpeech.AfterSpeaking ενεργοποιούσε το ρολόι ώστε να περιμένει για κάποια απάντηση μέσω της μονάδας SpeechRecognizer.

Το ολοκληρωμένο μας πρόγραμμα μαζί με το αρχείο εγκατάστασης για συσκευές android μπορείτε να το βρείτε στο αποθετήριο μας στο Github.

Μελλοντικά Σχέδια

Πιστεύουμε πως το σύστημα μας μπορεί να είναι ιδιαίτερα χρήσιμο ώστε όλο και περισσότεροι άνθρωποι να μπορούν να παρέχουν πρώτες βοήθειες ακολουθώντας τις σωστές οδηγίες. Τα μελλοντικά μας σχέδια περιλαμβάνουν:

• Θέλουμε να προσθέσουμε μια ακόμα οθόνη στην εφαρμογή η οποία μέσω της κάμερας του κινητού μας και της πρόσθετης μονάδας Posenet του AppInventor να αξιολογεί την στάση σώματος που παίρνουμε για να παρέχουμε πρώτες βοήθειες. Αυτή η λειτουργία θα μπορούσε να είναι ιδιαίτερα χρήσιμη για μαθήματα πρώτων βοηθειών εξ αποστάσεως.
• Θέλουμε να αντικαστήσουμε το Microbit με Arduino ώστε να δώσουμε περισσότερες δυνατότητες στο wristband, όπως η επικοινωνία με την εφαρμογή κινητού, η χρήση επιπλέον αισθητήρων που θα αντιλαμβάνονται διάφορες ενδείξεις όπως οι χτύποι της καρδιάς, το οξυγόνο κλπ.