בפוסט הקודם  סקרתי את תחום הצילום החישובי ההולך וצובר תאוצה בשנים האחרונות.

בסרטון קצר המתאר את עקרונות שיטת הצילום החישובי, יתרונותיה ותוצאותיה ניתן לצפות כאן (הסרטון כולל חלק העוסק במתמטיקה שמאחורי המערכת, לא להתייאש, חכו לדוגמאות שבסיום).

אחד המופעים של צילום חישובי שכבר נמצא בשימוש בסמארטפונים הוא השימוש בשתי מצלמות (Dual Cameras): לסמארטפונים הכוללים טכנולוגיה זו יש שתי מצלמות אחוריות (שני חיישנים, שתי עדשות) המצלמות יחד, כל אחת מזווית מעט שונה מן השנייה. התוצאות המתקבלות משתי המצלמות מחושבות ע״י תוכנה  יעודית לדימוי אחד שהינו איכותי יותר מכל אחד מן הדימויים שיצרו אותו. חשוב לא לבלבל טכנולוגיה זו עם טכנולוגיה בעלת השם הדומה Dual Pixel המשמשת לצורך מיקוד אוטומטי ואין לה קשר לאיכות הדימוי עצמו.

בסרטון המתאר את עקרון הפעולה של טכנולוגיה זאת ניתן לצפות כאן

comparison-1השוואה בין צילום במצלמה אחת לבין שילוב שני צילומים משתי מצלמות יחד

בתחום זה בולטת חברת CorePhotonics הישראלית שהטכנולוגיה שלה מבוססת על מחקר שנערך באוניברסיטת תל אביב.

computational12

תהליך היצירה והעיבוד של דימוי הנוצר משתי מצלמות יחד
מקור: Corephotonics.com

corephotonics

השוואה בין שימוש בזום דיגיטלי במצלמה אחת רגילה לבין ביצוע זום דיגיטלי בדימוי שהתקבל משתי מצלמות.
מקור: Corephotonics.com

DSC_1437-2wf2wgux2lurhcbwev1zb4

כך נראה מודול Dual Camera: שתי מצלמות במארז אחד המיועד להרכבה בסמארטפון. מקור: Corephotonics

בתחילת החודש (מרץ 2016) הכריזה Corephotonics על שני מוצרים חדשים: HawkEye, מודול מצלמה לסמארטפון עם  13MP משולב עם מצלמה שנייה בת 13MP עם אופטיקה ״מקופלת״. חיבור חישובי של שני הצילומים מאפשר קבלת אפקט זום דיגיטלי מקביל לזום אופטי X5. לדברי החברה, יכולת הזום של מודול ה- HawkEye גבוהה מזו של חיישן עם  130MP והאופטיקה המקופלת מביאה את המודול לגובה של 5.4 מ״מ בלבד. המודול כולל גם ייצוב אופטי לצילום סטילס וצילום וידאו כאחד. בנוסף לכך הכריזה Corephotonics  על מודול מצלמה כפולה המשלב חיישן לצילום בצבע עם חיישן נוסף לצילום מונוכרומטי לצורך שיפור הביצועים בעת צילום בתנאי אור גרועים. לדברי החברה, מודול זה מספק קבצים בעלי  21MP שהינם בעלי רזולוציה ורמת רעש טובה יותר מכל מצלמת סמארטפון אחרת בעלת אותו מספר פיקסלים.

כעת לא נותר לנו אלא להמתין ולראות אלו יצרני סמארטפונים יאמצו את הטכנולוגיה המענינת של  Corephotonics בדגמים הבאים של מוצריהם.

כבר בשנת 2014 היציגה חברת HTC את הסמארטפון מדגם (HTC One (M8 שכלל מצלמה רגילה ומצלמה נוספת שנועדה לשפר את מימד העומק של הצילומים. טכנולוגיה זו איננה קשורה לזו של Corephotonics.
סקירה של האפשרויות המענינות הגלומות בסמארטפון של HTC תוכלו לקרוא כאן.

עוד חברה ישראלית העוסקת בפיתוח מצלמות כפולות היא LinX שנרכשה לפני כשנה ע״י Apple תמורת כעשרים מליון דולר. מכאן מסיקים אנליסטים שבכוונת Apple לשלב את טכנולוגיית המצלמות הכפולות בדגמים הבאים של הסמארטפונים שלה. גם המצלמות החישוביות של LinX מסוגלות להפיק דימויים עם מידע לגבי העומק ודימויים תלת ממדיים. השמועות מספרות על כך שמייסד Apple, סטיב ג׳ובס ע״ה התענין בזמנו בטכנולוגיה של Lytro שסקרתי בפוסט הקודם אולם הדבר לא הבשיל לכדי שיתוף פעולה מעשי.

linxcameras-100579945-primary.idge

מערכי מצלמות כפולות ומרובעות של LinX

התחזית היא שמצלמות כפולות יכללו כבר בדגמי הסמארטפונים הבאים של היצרניות המובילות Samsung ו-Apple (הדגם האחרון של Samsung Galaxy S7 שהוצג בחודש שעבר כולל רק מצלמה אחורית אחת). ואם השמועות נכונות הרי שגם חב׳ Wuawei  הסינית עומדת להכריז בקרוב על דגם חדש של סמארטפון בעל Dual Camera שפותח בשיתוף פעולה עם Leica. עדכון 4.4.16: כנראה שאכן יוצג בקרוב מאד סמראטפון כזה, מדגם P9.

בסרטון קצר המתאר את המצלמה הכפולה שאולי תהיה ב- iPhone 7 ניתן לצפות כאן.

במצגת מפורטת על טכנולוגיית המצלמות הכפולות ניתן לצפות כאן.

חברת  הזנק (Start Up)  נוספת העוסקת בתחום הצילום החישובי היא חברה קטנה מקנדה בשם Algolux. המוצר העיקרי של החברה הוא מנוע חישובי הנקרא:
CRISP: Computationally Reconfigurable Image Signal Platform שם קצת ארוך ומסורבל מידי לטעמי אבל אנסה לתרגם אותו: מערכת עיבוד תמונה הניתנת לתכנות מחדש. הכוונה לתחליף למערכות הליניאריות הקיימות, המטפלת רק בקובץ ה- RAW המקורי ולא בנגזרות JPEG שלו שעברו שורה של עיבודים ברצף. ע״י כך ניתן להפחית באופן משמעותי טעויות חישוביות הבאות לידי ביטוי כרעש בדימוי הסופי. עפ״י הדוגמאות המוצגות באתר החברה התוצאות מרשימות. החברה רואה ב- CRISP מסגרת חישובית גמישה הניתנת לשילוב עם מגוון רחב של חומרה ותוכנה קיימים, הכוונה היא שיצרני החומרה ישלבו את מערכת CRISP במוצריהם במקום המערכות הקיימות לעיבוד תמונה.

CRISP

מערכת CRISP משלבת בין חומרה מכל סוג (מעבדים, עדשות וחיישנים) לבין תוכנת העיבוד

הנה שתי דוגמאות ליכולות העיבוד החישוביות של המערכת של Algulux:

algoluxtackl

דוגמא לפעולת Virtual Deblurring: תיקון טשטוש הנגרם כתוצאה מתזוזת המצלמה ו/או הנושא בעת הצילום

CRISP Denoise

דוגמא לפעולת Burst Denoise: הסרת רעשים תוך כדי הצילום

הרעיון הכללי הוא למצב את מערכת CRISP כיחידת עיבוד תקנית אותה ניתן יהיה לשלב בחומרה של יצרנים רבים. כיום לכל יצרן תהליך עיבוד משלו. Algolux מצפים שיחידת העיבוד שלהם תאומץ ע״י יצרני חומרה שבתורם יוכלו להרכיב בסמארטפונים (ובהמשך גם במצלמות אחרות) חומרה פשוטה וזולה יותר. הדימויים הלא איכותיים שיווצרו ע״י חומרה זו ישופרו בהרבה ע״י המערכת החישובית כך שאיכותו של הדימוי הסופי יהיה מקביל לדימוי שהתקבל מחומרה איכותית (ויקרה) בהרבה.

Computational-Cameras-for-one-pager-1024x576

תחזית לחדירת המצלמות החישוביות לשוק הסמארטפונים

ראיון עם מייסד Algolux  ניתן לקרוא כאן.

מצלמה חישובית נוספת שלוקחת את הצילום החישובי למחוזות רחוקים אף יותר היא Flatcam. אם Algolux מקדמת את הקונספט של אופטיקה זולה משולבת בתוכנת עיבוד חזקה הרי ש-Flatcam מוותרת על עדשות קונבנציונליות לחלוטין וחוזרת, לא להאמין, ל״עדשות״ הנקב מתקופת ה- Camera Obscura. הקונספט פותח ע״י קבוצת מחקר באוניברסיטת Rice בארה״ב. את המרת הדימוי הלא איכותי המתקבל מעדשות נקב מבצעים, כמובן, באמצעות מערכת חישובית מיוחדת.

FlatCam הינה מצלמה דקה מאד, חסרת עדשה (Mirrorless כבר יש לנו, אז הנה לכם מושג חדש: Lensless camera…) הכוללת מסיכה מקודדת (אוסף של עדשות נקב) הצמודה לחיישן תמונה קונבנציונלי. בניגוד למצלמות בעלות עדשות, בהן דימוי הנושא נקלט ישירות  ע״י הפיקסלים בחיישן, כל פיקסל ב-FlatCam רושם צירוף ליניארי של אור ממספר אזורים בנושא. אלגוריתם חישובי משמש לצורך הפרדת המידע שנרשם ובנייה מחדש של דימוי הנושא.
FlatCam הינה דוגמא למערכת הדמייה בעלת מפתח (Aperture) מקודד. השוני לעומת מערכות דומות הוא שהמסיכה המקודדת נמצאת בצמידות גבוהה לחיישן עובדה המאפשרת יצירת מערכת הדמייה דקה מאד. בנוסף, במשולב עם חיישנים בעלי שטח פנים גדול יעילות איסוף האור של המערכת הינה גבוהה מאד. תכונות אלו מתאימות להבניית המצלמה לתוך משטחים גדולים וחומרים גמישים כמו טפטים לציפוי קירות ובגדים להם נדרשים חומרים דקים, גמישים וקלים. מידת השטיחות של המצלמה נמדדת עפ״י היחס בין עובייה לבין רוחבה (Thickness to Width Ratio, TWR). במצלמות קונבנציונליות העובי הוא באותו סדר גודל של רוחב החיישן, וה- TWR הוא בערך 1. מצלמות כאלו סובלות מחסרון רציני: אם נקטין את עובי המצלמה בסדר גודל אחד תוך שמירה על יחס העובי לרוחב שטח הפנים של החיישן יקטן בשני סדרי גודל ובהתאם תהיה ירידה משמעותית ביעילות איסוף האור שלו (רעש גבוה). לעומת זאת, FlatCam נהנית מיחס עובי לרוחב שאינו משתנה: עובי ההתקן הוא בסדר גודל קטן יותר מרוחב החיישן ולכן יעילות איסוף האור של החיישן גבוהה וגם הצמצם המספרי המירבי האפשרי מאפשר העברת כמות אור גבוהה יותר מאשר במערכות רגילות.
בשלב זה FlatCam סובלת ממגבלת רזולוציה (כושר הפרדה) נמוכה, שהיא אחת התוצאות של קירוב המסיכה בעלת עדשות הנקב לפני החיישן. כמו כן, כתוצאה מתהליך הפרדת המידע (Demultiplexing) נוצר רעש שפוגע גם הוא בכושר ההפרדה. אולם, מפתחי המערכת עובדים על שיפור ביצועיה וסביר להניח שנראה את התוצאות בעתיד הלא רחוק.

בסרטון המתאר את פעולת המערכת אפשר לצפות כאן.

lensless

השוואה בין המאפיינים של מצלמת נקב רגילה, מצלמה עם עדשה רגילה ומצלמה מבוססת מסיכה

PreviewScreenSnapz001

תהליך הצילום ב- FlatCam: כל מקור אור בתוך שדה הראייה של המצלמה תורם אור לכל פיקסל על החיישן וכך נוצר דימוי מורכב של הנושא. אלגוריתם חישובי מרכיב מחדש את דמות הנושא.
מקור: Rice University

PreviewScreenSnapz002

תוצאות של אב טיפוס של ה- FlatCam, המורכב (a) מחיישן Sony ICX285 עם מסיכה מקודדת במרחק של 0.5 מ״מ מן החיישן. מן החיישן מתקבלים צירופים ליניאריים שונים של אור מנקודות שונות בנושא (b), דימויים צבעוניים  ברזולוצייה של 512X512 פיקסלים שהורכבו מחדש ע״י עיבוד של כל ערוץ צבע בנפרד (c).
מקור: Rice University

מתי נוכל לרכוש מצלמות דקות ושטוחות כאלו? לא מחר, זה בטוח. סביר להניח שתהליך הפיתוח של טכנולוגיה מענינת זו יימשך עוד תקופה לא קצרה. אבל הבה נזכור שגם התוצאה שהתקבלה מן המצלמה הדיגיטלית הראשונה בשנת 1975 לא נראתה טוב יותר… הרשו לי להמר שהפעם התהליך יהיה קצר יותר.

מאמר כללי על צילום חישובי ניתן לקרוא כאן.

לסיכום, אין ספק שהצילום החישובי כבר כאן, והמצלמות העתידיות אולי יכללו Dual Camera המבוססת על FlatCam, ללא עדשות ועם מערכת עיבוד שתאפשר קבלת דימויים תלת ממדיים, שינויי עומק שדה לאחר הצילום, שינוי ה- Bokeh ועוד ועוד. יהיה מענין, כבר אמרתי? וכן, עדיין יהיה צורך בצלם שיפעיל את כל הטכנולוגיה הזו באופן שיווצר דימוי משמעותי מבחינה חזותית, נא לא לדאוג…

מקור תמונה ראשית:
http://spie.org/newsroom/technical-articles/5106-analyzing-computational-imaging-systems
מודעות פרסומת

כתיבת תגובה

הזינו את פרטיכם בטופס, או לחצו על אחד מהאייקונים כדי להשתמש בחשבון קיים:

הלוגו של WordPress.com

אתה מגיב באמצעות חשבון WordPress.com שלך. לצאת מהמערכת / לשנות )

תמונת Twitter

אתה מגיב באמצעות חשבון Twitter שלך. לצאת מהמערכת / לשנות )

תמונת Facebook

אתה מגיב באמצעות חשבון Facebook שלך. לצאת מהמערכת / לשנות )

תמונת גוגל פלוס

אתה מגיב באמצעות חשבון Google+ שלך. לצאת מהמערכת / לשנות )

מתחבר ל-%s