Let’s Pl.ai: Διαδραστικό παιχνίδι κίνησης με αναγνώριση στάσης σώματος

Κατάσταση έργου: Προχωρημένο πρωτότυπο – σε αναμονή για επόμενη φάση

Κατά την πρώτη περίοδο ανάπτυξης ολοκληρώθηκε το βασικό ψηφιακό πρωτότυπο του Let’s Pl.ai Music, σχεδιάστηκαν και εκτυπώθηκαν επιμέρους τμήματα του περιβλήματος και πραγματοποιήθηκαν επαναλαμβανόμενες δοκιμές και βελτιώσεις.

Δεν ολοκληρώθηκαν η τελική συναρμολόγηση όλων των ηλεκτρονικών μερών, το αυτοφερόμενο stand και η εγκατάσταση του συστήματος σε δημόσιο χώρο.

Το έργο παραμένει ενεργό ως ιδέα και διαθέσιμο υλικό ανάπτυξης. Στόχος είναι να συνεχιστεί με μελλοντική ομάδα, ώστε να επανεξεταστεί ο σχεδιασμός, να ολοκληρωθεί ένα ασφαλές και λειτουργικό πρωτότυπο και να δοκιμαστεί σε ελεγχόμενο πραγματικό περιβάλλον.

Το Let’s Pl.ai είναι ένα έργο των Μικρών Χάκερ που διερευνά πώς η αναγνώριση της στάσης του ανθρώπινου σώματος μπορεί να χρησιμοποιηθεί για τη δημιουργία παιχνιδιών κίνησης σε πάρκα, παιδικές χαρές και άλλους κοινόχρηστους χώρους.

Η αρχική ιδέα ήταν η δημιουργία μιας αυτόνομης διαδραστικής εγκατάστασης με οθόνη, κάμερα και ηχεία. Ο χρήστης θα στεκόταν μπροστά στην κατασκευή και θα αλληλεπιδρούσε με το παιχνίδι χωρίς πληκτρολόγιο, ποντίκι ή χειριστήριο: οι κινήσεις και η στάση του σώματός του θα αποτελούσαν τον τρόπο ελέγχου.

Η ομάδα σχεδίασε δύο βασικές εφαρμογές:

• το Let’s Pl.ai Dance, στο οποίο ο χρήστης θα μιμείται τις κινήσεις ενός ψηφιακού χαρακτήρα,
• το Let’s Pl.ai Music, στο οποίο διαφορετικές στάσεις και κινήσεις του σώματος ενεργοποιούν εικονικά μουσικά όργανα και ήχους.

Κατά την πρώτη περίοδο ανάπτυξης, η ομάδα επικεντρώθηκε κυρίως στο Let’s Pl.ai Music, το οποίο εξελίχθηκε σε λειτουργικό ψηφιακό πρωτότυπο για τρία μουσικά όργανα: κιθάρα, φλάουτο και ντραμς. Παράλληλα, σχεδιάστηκαν και εκτυπώθηκαν επιμέρους τμήματα της φυσικής κατασκευής που θα φιλοξενούσε την οθόνη, την κάμερα και τον υπολογιστή.

Από την τεχνητή νοημοσύνη στη διαδραστική εφαρμογή

Η ανάπτυξη ξεκίνησε με δραστηριότητες εισαγωγής στην τεχνητή νοημοσύνη και στη μηχανική μάθηση.

Τα παιδιά πειραματίστηκαν με το Google Teachable Machine, δημιουργώντας απλά παραδείγματα αναγνώρισης εικόνας, ήχου και στάσεων. Στη συνέχεια εξοικειώθηκαν με το PictoBlox, αρχικά μέσα από μια μικρή εφαρμογή που εντόπιζε το πρόσωπο του χρήστη και πρόσθετε ψηφιακά στοιχεία στην εικόνα της κάμερας.

Για το κύριο έργο χρησιμοποιήθηκε η λειτουργία Human Body Detection του PictoBlox. Η εφαρμογή αξιοποιεί ένα ήδη εκπαιδευμένο μοντέλο PoseNet, το οποίο υπολογίζει τη θέση 17 βασικών σημείων του σώματος, όπως οι ώμοι, οι αγκώνες, οι καρποί, τα ισχία, τα γόνατα και οι αστράγαλοι.

Τα παιδιά δεν εκπαίδευσαν από την αρχή ένα νέο μοντέλο τεχνητής νοημοσύνης. Μελέτησαν τα δεδομένα που παρείχε το υπάρχον μοντέλο και προγραμμάτισαν τους κανόνες αλληλεπίδρασης της εφαρμογής.

Μελετώντας τις στάσεις των μουσικών

Για να σχεδιάσουν το Let’s Pl.ai Music, τα παιδιά διερεύνησαν πώς μεταβάλλεται η στάση του σώματος όταν κάποιος μιμείται ότι παίζει διαφορετικά μουσικά όργανα.

Κάθε παιδί πόζαρε σαν να κρατά κιθάρα, φλάουτο ή ντραμς, ενώ τα υπόλοιπα μέλη παρατηρούσαν και κατέγραφαν τη θέση των ώμων, των αγκώνων και των καρπών.

Με βάση αυτές τις παρατηρήσεις, δημιουργήθηκαν κανόνες που συνέκριναν τις συντεταγμένες των σημείων του σώματος. Όταν η στάση πλησίαζε τα κριτήρια ενός συγκεκριμένου οργάνου:

• εμφανιζόταν το αντίστοιχο εικονικό όργανο στην οθόνη,
• τοποθετούνταν πάνω στην εικόνα του χρήστη,
• αναπαράγονταν σχετικοί μουσικοί ήχοι.

Η διαδικασία δεν αποτελούσε τέλεια ή πιστοποιημένη αναγνώριση μουσικών στάσεων. Ήταν ένα μαθητικό σύστημα κανόνων, βασισμένο στα σημεία του σώματος που εντόπιζε το μοντέλο.

Το λειτουργικό ψηφιακό πρωτότυπο

Η εφαρμογή Let’s Pl.ai Music ολοκληρώθηκε ως λειτουργικό πρωτότυπο για:

• κιθάρα,
• φλάουτο,
• ντραμς.

Το κεντρικό πρόγραμμα ανέλυε διαρκώς την εικόνα της κάμερας και άλλαζε την τιμή μιας μεταβλητής ανάλογα με τη στάση που αναγνώριζε. Κάθε μουσικό όργανο διέθετε το δικό του σενάριο, το οποίο εμφάνιζε τα κατάλληλα γραφικά και αναπαρήγαγε τους αντίστοιχους ήχους.

Το αρχείο της εφαρμογής σε μορφή .sb3 έχει διατηρηθεί και μπορεί να αποτελέσει τη βάση για την επανεκκίνηση και την περαιτέρω ανάπτυξη του έργου.

Σχεδιασμός της φυσικής κατασκευής

Παράλληλα με τον προγραμματισμό, τα παιδιά σχεδίασαν τη φυσική μονάδα μέσα στην οποία προβλεπόταν να τοποθετηθούν:

• το Raspberry Pi,
• η οθόνη,
• η κάμερα,
• τα ηχεία,
• η τροφοδοσία,
• τα στοιχεία στερέωσης και προστασίας.

Οι ομάδες μέτρησαν τις διαστάσεις των εξαρτημάτων και σχεδίασαν στο Tinkercad διαφορετικές εκδοχές του περιβλήματος και του πλαισίου της οθόνης.

Τα τμήματα εκτυπώθηκαν στους τρισδιάστατους εκτυπωτές του εργαστηρίου. Οι πρώτες δοκιμές έδειξαν ότι ακόμη και προσεκτικές μετρήσεις με παχύμετρο δεν εξασφαλίζουν πάντοτε τέλεια εφαρμογή. Για τον λόγο αυτό, τα σχέδια διορθώθηκαν και εκτυπώθηκαν ξανά αρκετές φορές.

Η διαδικασία αυτή ήταν σημαντικό μέρος του έργου: τα παιδιά διαπίστωσαν ότι ο σχεδιασμός ενός πραγματικού περιβλήματος απαιτεί επαναλαμβανόμενες δοκιμές, ανοχές, διορθώσεις και προσαρμογές.

Μέχρι πού προχώρησε το έργο

Κατά την πρώτη φάση του Let’s Pl.ai ολοκληρώθηκαν:

• οι εισαγωγικές δραστηριότητες τεχνητής νοημοσύνης,
• η μελέτη της αναγνώρισης στάσης σώματος,
• η διερεύνηση των κινήσεων για διαφορετικά μουσικά όργανα,
• η λειτουργική εφαρμογή Let’s Pl.ai Music για τρία όργανα,
• το βασικό πρόγραμμα αναγνώρισης και αλληλεπίδρασης,
• ο σχεδιασμός του περιβλήματος και του πλαισίου της οθόνης,
• η τρισδιάστατη εκτύπωση και η βελτίωση επιμέρους εξαρτημάτων,
• η παρουσίαση του έργου στο Μαθητικό Φεστιβάλ Ψηφιακής Δημιουργίας.

Δεν ολοκληρώθηκαν:

• η τελική συναρμολόγηση οθόνης, κάμερας, Raspberry Pi, ηχείων και τροφοδοσίας σε μία ενιαία μονάδα,
• το σταθερό stand που θα στήριζε το σύστημα,
• η προστασία του εξοπλισμού για χρήση σε εξωτερικό χώρο,
• η τελική τροφοδοσία και η πιθανή αξιοποίηση φωτοβολταϊκών,
• το Let’s Pl.ai Dance,
• η εγκατάσταση σε πάρκο ή παιδική χαρά,
• οι δοκιμές με πραγματικούς χρήστες σε δημόσιο χώρο.

Εκπαιδευτικοί Στόχοι

Η ανάπτυξη του Let’s Pl.ai αποτελεί μια σύνθετη διαδικασία που συνδυάζει προγραμματισμό, σχεδιασμό κατασκευών, καινοτόμες τεχνολογίες και παιδαγωγική σκέψη. Οι εκπαιδευτικοί στόχοι που σχετίζονται με την ανάπτυξή του περιλαμβάνουν:

1. Ανάπτυξη Δεξιοτήτων STEAM

• Εξοικείωση με την ανάπτυξη εφαρμογών Τεχνητής Νοημοσύνης μέσω της πλατφόρμας Pictoblox.
• Σχεδιασμός και υλοποίηση αλγορίθμων αναγνώρισης ανθρώπινου σώματος μέσω μοντέλων Μηχανικής Μάθησης.
• Συνδυασμός μηχανικής και κατασκευαστικού σχεδιασμού με τη χρήση 3D εκτύπωσης για τη δημιουργία του περιβλήματος της κατασκευής.
• Ανάπτυξη βασικών δεξιοτήτων ηλεκτρονικής μέσω της χρήσης Raspberry Pi, αισθητήρων και περιφερειακών συσκευών.

2. Εφαρμογή της Σχεδιαστικής Σκέψης

• Κατανόηση των αναγκών των τελικών χρηστών (παιδιά, γονείς, εκπαιδευτικοί) και ενσωμάτωση ανατροφοδότησης στον σχεδιασμό του έργου.
• Διαμόρφωση πρωτοτύπων και δοκιμή εναλλακτικών λύσεων πριν την τελική κατασκευή.
• Βελτιστοποίηση της εμπειρίας αλληλεπίδρασης μέσω εργονομικού και αισθητικού σχεδιασμού.

3. Αρχές Ανοιχτής Καινοτομίας και Συνεργατικής Ανάπτυξης

• Χρήση ανοιχτού λογισμικού και υλικού για τη βελτίωση της προσβασιμότητας και της δυνατότητας επέκτασης του έργου.
• Συνεργασία με εκπαιδευτικούς και σχεδιαστές προϊόντων για τη βελτίωση της τεχνολογίας και της παιδαγωγικής αξίας.
• Δημιουργία τεκμηρίωσης για μελλοντική χρήση και εξέλιξη του έργου.

4. Ενσωμάτωση της Προσβασιμότητας και της Συμπερίληψης στον Σχεδιασμό

• Ανάπτυξη μιας διεπαφής χρήστη που να μπορεί να χρησιμοποιηθεί από παιδιά διαφορετικών ηλικιών και δεξιοτήτων.
• Προσθήκη λειτουργιών όπως text-to-speech και απλοποιημένα μενού για παιδιά με ειδικές εκπαιδευτικές ανάγκες.

5. Περιβαλλοντική Ευαισθητοποίηση και Βιώσιμος Σχεδιασμός

• Χρήση ανακυκλωμένων και φιλικών προς το περιβάλλον υλικών, όπου είναι δυνατόν (ανακυκλώσιμο ABS & PLA).
• Σχεδιασμός για εύκολη επισκευή και αναβάθμιση, ώστε να μειωθεί η παραγωγή ηλεκτρονικών αποβλήτων.

6. Δοκιμή, Βελτίωση και Τελική Υλοποίηση του Συστήματος

• Ανάπτυξη ενός πρωτότυπου και πιλοτική εφαρμογή του σε πραγματικό περιβάλλον (παιδική χαρά ή πάρκο).
• Συλλογή δεδομένων και ανατροφοδότησης από χρήστες για τη βελτίωση της εμπειρίας χρήσης.
• Ολοκλήρωση της κατασκευής και προετοιμασία για ευρύτερη διάθεση και εγκατάσταση.

Λίστα προτεινόμενου εξοπλισμού

• Raspberry Pi 5 – 16GB, κόστος 150 ευρώ
• Οθόνη για Raspberry Pi, διαθέτουμε ήδη στο εργαστήριο
• Κάμερα για Raspberry Pi, διαθέτουμε ήδη στο εργαστήριο
• 3Δ εκτυπωτής 3D PRINTER BAMBULAB A1 COMBO, κόστος 549 ευρώ
• Μεταλλικός σκελετός, διαθέτουμε ήδη στο εργαστήριο

Υλοποίηση

Μαθαίνοντας για την Τεχνητή Νοημοσύνη και την Αναγνώριση Σώματος

Η υλοποίηση ξεκίνησε με μια σειρά εισαγωγικών μαθημάτων πάνω στις βασικές αρχές της τεχνητής νοημοσύνης και της μηχανικής μάθησης. Τα παιδιά:

• Πειραματίστηκαν με το Google Teachable Machine, δημιουργώντας παραδείγματα αναγνώρισης εικόνας, ήχου και πόζας σώματος.
• Κατανόησαν μέσα από βιωματικές δραστηριότητες πώς ένας υπολογιστής μπορεί να “μάθει” να αναγνωρίζει πρότυπα και στάσεις του ανθρώπινου σώματος.

Πρώτα Βήματα στον Προγραμματισμό με AI

Ακολούθησε η εξοικείωση με την πλατφόρμα Pictoblox, όπου δημιουργήθηκε η πρώτη μικρή εφαρμογή με χριστουγεννιάτικο χαρακτήρα: η αναγνώριση προσώπου και η προσθήκη σκούφου και γενιών του Άγιου Βασίλη στην εικόνα του χρήστη, σε πραγματικό χρόνο.

Ανάλυση και Κατανόηση του Μοντέλου Αναγνώρισης Σώματος

Μετά τις γιορτές, η εστίαση μετατοπίστηκε στην κατανόηση του μοντέλου αναγνώρισης στάσεων σώματος του Pictoblox, το οποίο αναγνωρίζει τα σημεία-κλειδιά του σώματος, όπως:

Οι μαθητές ανέλαβαν να μελετήσουν τη στάση του σώματος κατά την εκτέλεση διαφορετικών μουσικών οργάνων. Κάθε παιδί πόζαρε κρατώντας «φανταστικά» όργανα και οι υπόλοιποι κατέγραφαν σε χαρτί τα σημεία του σώματος, αναλύοντας πώς μεταβάλλονται ανάλογα με το όργανο.

Από τη Θεωρία στην Πράξη: Ανάπτυξη του “Let’s PL.AI Music”

Με βάση τις παρατηρήσεις, οι ομάδες ανέπτυξαν μια διαδραστική εφαρμογή στην οποία:

• Η κάμερα αναγνωρίζει τη στάση του σώματος.
• Αν η στάση αντιστοιχεί σε ένα μουσικό όργανο, η εφαρμογή παίζει τις αντίστοιχες νότες.
• Στην οθόνη εμφανίζεται το εικονικό μουσικό όργανο, σαν να το κρατά ο χρήστης.

Το βασικό σεναριο της εφαρμογής μας βρίσκεται στη σκηνή και είναι υπέυθυνο για την αναγνώριση της στάσης του σώματος. Αρχικά ενεργοποιεί την κάμερα και ενεργοποιεί και την εμφάνιση των σημείων (αυτό γίνεται για λόγους debugging και μπορεί να απενεργοποιηθεί στην τελική έκδοση). Μετά σε ένα διαρκώς επαναλαμβανόμενο βρόγχο “Για πάντα” αναλύεται η εικόνα από την κάμερα και γίνονται οι έλεγχοι με την δομή Εαν… αλλιώς. Κάθε μουσικό όργανο έχει μια διαφορετική στάση σώματος και όταν εντοπιστεί αλάζουμε την τιμή της μεταβλητής “Μουσικό όργανο”.

Εκτός από το κεντρικό σενάριο που κάνει την “σκληρή δουλειά” κάθε μουσικό όργανο έχει το δικό του σενάριο. Έτσι η κιθάρα ελέγχει διαρκώς την τιμή της μεταβλητής Μουσικό όργανο και αν αυτή γίνει κιθάρα τότε εμφανίζει τον χαρακτήρα της κιθάρας στην σωστή θέση και στο σωστό μέγεθος και παίζει μερικές νότες με ήχο κιθάρας.

Ανάλογα είναι και τα σενάρια για το ντραμς και για το φλάουτο και για όποιο μουσικό όργανο θα προσθέσουμε στη συνέχεια.

Η εφαρμογή αυτή λειτουργεί ήδη πολύ καλά για:

• Κιθάρα
• Φλάουτο
• Ντραμς

…και πρόκειται να επεκταθεί και σε άλλα όργανα σύντομα. Μπορείτε να κατεβάσετε το αρχείο σε μορφή sb3 για το Pictoblox σε αυτό τον σύνδεσμο.

Σχεδιασμός και Κατασκευή της Δομής

Η τεχνολογική υλοποίηση συνοδεύτηκε από σχεδιασμό της φυσικής κατασκευής στο TinkerCAD, η οποία θα στεγάσει:

• Το Raspberry Pi
• Μια οθόνη
• Μια κάμερα
• Την μπαταρία λιθίου
• Τα ηχεία
• Τη δομή στήριξης

Τα παιδιά εργάστηκαν ανά δύο και σχεδίασαν το βασικό κουτί που θα περιλαμβάνει την κατασκευή καθώς και το πλαίσιο που θα μπαίνει πάνω στην οθόνη. Μετρήσαμε τις διαστάσεις της οθόνης και του Raspberry Pi, καθώς και της μπαταρίας και σχεδιάσαμε το κουτί και το πλαίσιο στο TinkerCAD. Μπορείτε να κατεβάσετε τα σχέδια αυτά σε μορφή glb στους παρακάτω συνδέσμους:

• Αρχείο περιβλήματος
• Αρχείο πλαισίου

Στις παρακάτω φωτογραφίες φαίνονται οι δημιουργίες των μαθητών με την διακόσμηση που επέλεξε η κάθε ομάδα.

Τα εξαρτήματα εκτυπώθηκαν στους 3D εκτυπωτές μας, ενώ έγιναν βελτιώσεις μετά από αρχικές δοκιμές. Παρά τις ακριβείς μετρήσεις με παχύμετρο αναγκαστήκαμε να διορθώσουμε αρκετές φορές τα σχέδια μας ώστε να βελτιώσουμε την προσαρμογή των εξαρτημάτων.

Στο τελικό στάδιο, οι μαθητές κατασκευάζουν τον ξύλινο σκελετό της κατασκευής, τον οποίο διακοσμούν με χάραξη μέσω CNC Laser, δίνοντας μοναδικό χαρακτήρα στο έργο.

Η επόμενη φάση

Το έργο παρουσιάστηκε στο 14ο Μαθητικό Φεστιβάλ Ψηφιακής Δημιουργίας που διοργανώθηκε στην Φλώρινα, στο 3ο Γυμνάσιο Φλώρινας. Το Let’s Pl.ai δεν εγκαταστάθηκε τελικά σε δημόσιο χώρο. Η ολοκλήρωση μιας τέτοιας κατασκευής απαιτεί περισσότερα από τη λειτουργία του λογισμικού και την εκτύπωση ενός περιβλήματος.

Σε μια επόμενη φάση θα χρειαστεί να επανεξεταστούν:

• η σταθερότητα και η ασφάλεια του stand,
• η προστασία οθόνης, κάμερας και ηλεκτρονικών από καιρικές συνθήκες και φθορές,
• η ασφαλής τροφοδοσία και η πραγματική ενεργειακή κατανάλωση,
• η εργονομία για παιδιά διαφορετικών ηλικιών και ύψους,
• η προσβασιμότητα της διεπαφής,
• η προστασία της ιδιωτικότητας κατά τη χρήση της κάμερας,
• η αντοχή σε συνεχή χρήση σε δημόσιο περιβάλλον,
• η ευκολία συντήρησης και επισκευής.

Μια νέα ομάδα θα μπορεί να ξεκινήσει από το λειτουργικό πρόγραμμα, τα υπάρχοντα τρισδιάστατα σχέδια και τα συμπεράσματα των πρώτων δοκιμών. Δεν θα χρειαστεί να επαναλάβει ολόκληρη τη διαδικασία από την αρχή, αλλά θα μπορεί να αξιολογήσει τις προηγούμενες επιλογές, να τις βελτιώσει και να οδηγήσει το έργο σε ένα ολοκληρωμένο πρωτότυπο.

---

Let’s PL.AI είναι ένα έργο που γεννήθηκε μέσα από τη χαρά της μάθησης, της συνεργασίας και της δημιουργίας. Οι μαθήτριες και οι μαθητές ανέλαβαν ρόλους σχεδιαστών, προγραμματιστών και κατασκευαστών, αποδεικνύοντας πως η καινοτομία δεν έχει ηλικία – αρκεί να έχει χώρο να αναπτυχθεί.