Jeffrey Cross
Jeffrey Cross

Gateways to the Soul - EyeWriter

Pada tahun 2003, rakan saya, Tony, pelukis grafiti Tempt1, telah didiagnosis dengan ALS, penyakit progresif yang membuatnya hampir lumpuh sepenuhnya kecuali matanya. Untuk membantu beliau terus membuat seninya, saya bekerjasama dengan sekumpulan pemaju perisian dan penggodam perkakasan, termasuk ahli-ahli Free Art and Technology (FAT), OpenFrameworks, dan Makmal Penyelidikan Graffiti, untuk menjadikan EyeWriter (eyewriter.org ), kos rendah, sumber terbuka, sistem penjejakan mata yang membolehkan Tempt1 dan pesakit ALS lain menggambar dan mengawal komputer menggunakan mata mereka sahaja.

Matlamat kami adalah sistem super-murah yang boleh dibuat oleh hampir semua orang, hampir di mana saja. Terdapat sistem pelacakan mata dan komersil penyelidikan, tetapi mereka kompleks dan mahal, sehingga naik $ 10,000. Kami mengehadkan reka bentuk EyeWriter untuk menekankan kos rendah dan kemudahan pembinaan terhadap aspek prestasi yang lain.

Reka bentuk

EyeWriter berfungsi dengan menerangi mata pengguna dengan cara yang terkawal dan menganalisis imej video pergerakan mata. Untuk kamera, kami memilih PlayStation Eye (aka PS3 Eye), kecil $ 25 webcam dijual sebagai aksesori sistem permainan.

Mata PS3 menangkap 640 × 480 video NTSC dan boleh diubah suai untuk sensitiviti tinggi kepada inframerah, yang menjadikan kamera kegemaran komuniti penggodaman berbilang sentuhan. PS3 Eye kemudian menyumbangkan video melalui USB ke komputer, di mana ia ditangkap oleh aplikasi EyeWriter yang dibina di C ++ menggunakan openFrameworks (openframeworks.cc).

Untuk EyeWriter pertama kami, yang siap pada tahun 2009, kami meletakkan kamera Mata PS3 di hadapan satu mata, memajangnya ke sambungan yang dilampirkan pada bahagian depan sepasang bingkai kacamata. Perisian itu memunculkan imej video, meningkatkan kontrasnya, dan menonjolkannya untuk menunjukkan titik hitam hitam terhadap latar belakang putih. Untuk meningkatkan kesan gelap ini, kami menerangi bola mata dengan 2 LED inframerah dekat dipasang di kamera.

Perisian ini terletak pada koordinat murid dalam imej webcam, dan menggunakan peta untuk mengaitkan lokasi ini dengan tempat dimana sikat lukisan perlu berada pada skrin komputer pengguna. Untuk membina peta, pengguna menjalankan rutin penentukuran di mana dia mengalihkan matanya untuk mengikuti jejak jejak yang kelihatan di sekeliling skrin.

Versi 1.0 ini mudah dan ia berfungsi, tetapi hanya selagi mata pengguna kekal pegun berbanding skrin. Pindah kepala, dan ia melemparkan penentukuran. Oleh itu, kami memutuskan untuk membina versi 2.0 yang sedikit lebih rumit tetapi membolehkan gerakan kepala yang lebih normal.

EyeWriter 2.0

Dalam EyeWriter 2.0, kamera duduk tetap di bawah skrin, dan bukannya dipakai pada bingkai kacamata. Terdapat 3 pencahayaan inframerah: gelang 16 LED IR mengelilingi lensa kamera, dan dua pencahayaan 8 lampu LED di kedua-dua belah skrin. Kami menggodam Mata PS3 untuk mengetuk isyarat VSYNC dan memberi suapan isyarat elektrik ke Arduino, yang menggunakannya untuk menyusun cahaya dengan setiap bingkai video, seli antara pusat dan kedua-dua pihak. Dengan pencahayaan pusat di atas, IR memantul dari belakang mata dan mencipta kesan "mata merah" yang sama yang anda lihat dalam fotografi kilat, tetapi dengan pencahayaan sisi, murid-murid kelihatan gelap. Ini membolehkan perisian mengesan kedudukan murid sebagai sebahagian imej yang bergantian antara cahaya dan gelap.

Setiap pencahayaan sampingan mencipta "glint" di mana cahayanya melantun lurus dari bola mata dan ke dalam kamera. Dengan menjejaki lokasi glint di kedua-dua sisi, serta pusat murid, sistem dapat mengira orientasi mata tidak kira di mana kepala itu atau di mana wajah dihidupkan.

Pelajar saya di Parsons School of Design telah mengubahsuai perisian EyeWriter supaya ia dapat mengawal kursor pada tahap sistem operasi, bukan hanya pada aplikasi lukisan mata. Bersama-sama dengan sebarang butang atau input klik lain, ini menjadikan EyeWriter menjadi penggantian mouse / penggantian padat umum. EyeWriter 2.0 kos kurang daripada $ 150 untuk membuat, dan sistem itu sendiri memegang sistem lebih dari 50 kali harganya.

EyeWriter telah memenangi anugerah dan telah diterima dengan baik, tetapi ia tidak mencapai hampir jumlah orang yang boleh mendapat manfaat. Saya telah mendengar daripada ramai yang mahukan seorang EyeWriter untuk seseorang yang mereka cintai, tetapi bagi yang membuat satu masih menjadi halangan yang tinggi. Jadi, kami telah bekerjasama dengan MakerBot Industries pada kit yang akan memasukkan kepingan bercetak 3D dan segala-galanya yang anda perlukan untuk membina EyeWriter 2.0. Kami menjangkakan untuk menjadikan kit ini tersedia pada tahun 2012.

Cabaran terbesar dengan kit sekarang adalah mencari kamera. Kami mahukan satu gred yang lebih tinggi daripada PS3 Eye, mempunyai jenis keluaran VSYNC yang sama, tidak mahal, dan tidak memerlukan retak membuka kes plastik dan membuangnya bersama-sama dengan 4 mikrofon yang tidak digunakan. Cadangan adalah dialu-alukan.

Lihat blog.makezine.com/errata/make-volume-29-web-extras-and-downloads/ untuk bagaimana untuk membina sebuah EyeWriter 2.0.

Kongsi

Meninggalkan Komen