76. צילום חישובי: המנוע של מצלמות המחר, חלק ב

בפוסט הקודם  סקרתי את תחום הצילום החישובי ההולך וצובר תאוצה בשנים האחרונות.

בסרטון קצר המתאר את עקרונות שיטת הצילום החישובי, יתרונותיה ותוצאותיה ניתן לצפות כאן (הסרטון כולל חלק העוסק במתמטיקה שמאחורי המערכת, לא להתייאש, חכו לדוגמאות שבסיום).

אחד המופעים של צילום חישובי שכבר נמצא בשימוש בסמארטפונים הוא השימוש בשתי מצלמות (Dual Cameras): לסמארטפונים הכוללים טכנולוגיה זו יש שתי מצלמות אחוריות (שני חיישנים, שתי עדשות) המצלמות יחד, כל אחת מזווית מעט שונה מן השנייה. התוצאות המתקבלות משתי המצלמות מחושבות ע״י תוכנה  יעודית לדימוי אחד שהינו איכותי יותר מכל אחד מן הדימויים שיצרו אותו. חשוב לא לבלבל טכנולוגיה זו עם טכנולוגיה בעלת השם הדומה Dual Pixel המשמשת לצורך מיקוד אוטומטי ואין לה קשר לאיכות הדימוי עצמו.

בסרטון המתאר את עקרון הפעולה של טכנולוגיה זאת ניתן לצפות כאן

השוואה בין צילום במצלמה אחת לבין שילוב שני צילומים משתי מצלמות יחד

בתחום זה בולטת חברת CorePhotonics הישראלית שהטכנולוגיה שלה מבוססת על מחקר שנערך באוניברסיטת תל אביב.

תהליך היצירה והעיבוד של דימוי הנוצר משתי מצלמות יחד
מקור: Corephotonics.com

 

השוואה בין שימוש בזום דיגיטלי במצלמה אחת רגילה לבין ביצוע זום דיגיטלי בדימוי שהתקבל משתי מצלמות.
מקור: Corephotonics.com

כך נראה מודול Dual Camera: שתי מצלמות במארז אחד המיועד להרכבה בסמארטפון. מקור: Corephotonics

בתחילת החודש (מרץ 2016) הכריזה Corephotonics על שני מוצרים חדשים: HawkEye, מודול מצלמה לסמארטפון עם  13MP משולב עם מצלמה שנייה בת 13MP עם אופטיקה ״מקופלת״. חיבור חישובי של שני הצילומים מאפשר קבלת אפקט זום דיגיטלי מקביל לזום אופטי X5. לדברי החברה, יכולת הזום של מודול ה- HawkEye גבוהה מזו של חיישן עם  130MP והאופטיקה המקופלת מביאה את המודול לגובה של 5.4 מ״מ בלבד. המודול כולל גם ייצוב אופטי לצילום סטילס וצילום וידאו כאחד. בנוסף לכך הכריזה Corephotonics  על מודול מצלמה כפולה המשלב חיישן לצילום בצבע עם חיישן נוסף לצילום מונוכרומטי לצורך שיפור הביצועים בעת צילום בתנאי אור גרועים. לדברי החברה, מודול זה מספק קבצים בעלי  21MP שהינם בעלי רזולוציה ורמת רעש טובה יותר מכל מצלמת סמארטפון אחרת בעלת אותו מספר פיקסלים.

כעת לא נותר לנו אלא להמתין ולראות אלו יצרני סמארטפונים יאמצו את הטכנולוגיה המענינת של  Corephotonics בדגמים הבאים של מוצריהם.

כבר בשנת 2014 היציגה חברת HTC את הסמארטפון מדגם (HTC One (M8 שכלל מצלמה רגילה ומצלמה נוספת שנועדה לשפר את מימד העומק של הצילומים. טכנולוגיה זו איננה קשורה לזו של Corephotonics.
סקירה של האפשרויות המענינות הגלומות בסמארטפון של HTC תוכלו לקרוא כאן.

עוד חברה ישראלית העוסקת בפיתוח מצלמות כפולות היא LinX שנרכשה לפני כשנה ע״י Apple תמורת כעשרים מליון דולר. מכאן מסיקים אנליסטים שבכוונת Apple לשלב את טכנולוגיית המצלמות הכפולות בדגמים הבאים של הסמארטפונים שלה. גם המצלמות החישוביות של LinX מסוגלות להפיק דימויים עם מידע לגבי העומק ודימויים תלת ממדיים. השמועות מספרות על כך שמייסד Apple, סטיב ג׳ובס ע״ה התענין בזמנו בטכנולוגיה של Lytro שסקרתי בפוסט הקודם אולם הדבר לא הבשיל לכדי שיתוף פעולה מעשי.

מערכי מצלמות כפולות ומרובעות של LinX

התחזית היא שמצלמות כפולות יכללו כבר בדגמי הסמארטפונים הבאים של היצרניות המובילות Samsung ו-Apple (הדגם האחרון של Samsung Galaxy S7 שהוצג בחודש שעבר כולל רק מצלמה אחורית אחת). ואם השמועות נכונות הרי שגם חב׳ Wuawei  הסינית עומדת להכריז בקרוב על דגם חדש של סמארטפון בעל Dual Camera שפותח בשיתוף פעולה עם Leica. עדכון 4.4.16: כנראה שאכן יוצג בקרוב מאד סמראטפון כזה, מדגם P9.

בסרטון קצר המתאר את המצלמה הכפולה שאולי תהיה ב- iPhone 7 ניתן לצפות כאן.

במצגת מפורטת על טכנולוגיית המצלמות הכפולות ניתן לצפות כאן.

חברת  הזנק (Start Up)  נוספת העוסקת בתחום הצילום החישובי היא חברה קטנה מקנדה בשם Algolux. המוצר העיקרי של החברה הוא מנוע חישובי הנקרא:
CRISP: Computationally Reconfigurable Image Signal Platform שם קצת ארוך ומסורבל מידי לטעמי אבל אנסה לתרגם אותו: מערכת עיבוד תמונה הניתנת לתכנות מחדש. הכוונה לתחליף למערכות הליניאריות הקיימות, המטפלת רק בקובץ ה- RAW המקורי ולא בנגזרות JPEG שלו שעברו שורה של עיבודים ברצף. ע״י כך ניתן להפחית באופן משמעותי טעויות חישוביות הבאות לידי ביטוי כרעש בדימוי הסופי. עפ״י הדוגמאות המוצגות באתר החברה התוצאות מרשימות. החברה רואה ב- CRISP מסגרת חישובית גמישה הניתנת לשילוב עם מגוון רחב של חומרה ותוכנה קיימים, הכוונה היא שיצרני החומרה ישלבו את מערכת CRISP במוצריהם במקום המערכות הקיימות לעיבוד תמונה.

מערכת CRISP משלבת בין חומרה מכל סוג (מעבדים, עדשות וחיישנים) לבין תוכנת העיבוד

הנה שתי דוגמאות ליכולות העיבוד החישוביות של המערכת של Algulux:

דוגמא לפעולת Virtual Deblurring: תיקון טשטוש הנגרם כתוצאה מתזוזת המצלמה ו/או הנושא בעת הצילום

דוגמא לפעולת Burst Denoise: הסרת רעשים תוך כדי הצילום

הרעיון הכללי הוא למצב את מערכת CRISP כיחידת עיבוד תקנית אותה ניתן יהיה לשלב בחומרה של יצרנים רבים. כיום לכל יצרן תהליך עיבוד משלו. Algolux מצפים שיחידת העיבוד שלהם תאומץ ע״י יצרני חומרה שבתורם יוכלו להרכיב בסמארטפונים (ובהמשך גם במצלמות אחרות) חומרה פשוטה וזולה יותר. הדימויים הלא איכותיים שיווצרו ע״י חומרה זו ישופרו בהרבה ע״י המערכת החישובית כך שאיכותו של הדימוי הסופי יהיה מקביל לדימוי שהתקבל מחומרה איכותית (ויקרה) בהרבה.

תחזית לחדירת המצלמות החישוביות לשוק הסמארטפונים

ראיון עם מייסד Algolux  ניתן לקרוא כאן.

מצלמה חישובית נוספת שלוקחת את הצילום החישובי למחוזות רחוקים אף יותר היא Flatcam. אם Algolux מקדמת את הקונספט של אופטיקה זולה משולבת בתוכנת עיבוד חזקה הרי ש-Flatcam מוותרת על עדשות קונבנציונליות לחלוטין וחוזרת, לא להאמין, ל״עדשות״ הנקב מתקופת ה- Camera Obscura. הקונספט פותח ע״י קבוצת מחקר באוניברסיטת Rice בארה״ב. את המרת הדימוי הלא איכותי המתקבל מעדשות נקב מבצעים, כמובן, באמצעות מערכת חישובית מיוחדת.

FlatCam הינה מצלמה דקה מאד, חסרת עדשה (Mirrorless כבר יש לנו, אז הנה לכם מושג חדש: Lensless camera…) הכוללת מסיכה מקודדת (אוסף של עדשות נקב) הצמודה לחיישן תמונה קונבנציונלי. בניגוד למצלמות בעלות עדשות, בהן דימוי הנושא נקלט ישירות  ע״י הפיקסלים בחיישן, כל פיקסל ב-FlatCam רושם צירוף ליניארי של אור ממספר אזורים בנושא. אלגוריתם חישובי משמש לצורך הפרדת המידע שנרשם ובנייה מחדש של דימוי הנושא.
FlatCam הינה דוגמא למערכת הדמייה בעלת מפתח (Aperture) מקודד. השוני לעומת מערכות דומות הוא שהמסיכה המקודדת נמצאת בצמידות גבוהה לחיישן עובדה המאפשרת יצירת מערכת הדמייה דקה מאד. בנוסף, במשולב עם חיישנים בעלי שטח פנים גדול יעילות איסוף האור של המערכת הינה גבוהה מאד. תכונות אלו מתאימות להבניית המצלמה לתוך משטחים גדולים וחומרים גמישים כמו טפטים לציפוי קירות ובגדים להם נדרשים חומרים דקים, גמישים וקלים. מידת השטיחות של המצלמה נמדדת עפ״י היחס בין עובייה לבין רוחבה (Thickness to Width Ratio, TWR). במצלמות קונבנציונליות העובי הוא באותו סדר גודל של רוחב החיישן, וה- TWR הוא בערך 1. מצלמות כאלו סובלות מחסרון רציני: אם נקטין את עובי המצלמה בסדר גודל אחד תוך שמירה על יחס העובי לרוחב שטח הפנים של החיישן יקטן בשני סדרי גודל ובהתאם תהיה ירידה משמעותית ביעילות איסוף האור שלו (רעש גבוה). לעומת זאת, FlatCam נהנית מיחס עובי לרוחב שאינו משתנה: עובי ההתקן הוא בסדר גודל קטן יותר מרוחב החיישן ולכן יעילות איסוף האור של החיישן גבוהה וגם הצמצם המספרי המירבי האפשרי מאפשר העברת כמות אור גבוהה יותר מאשר במערכות רגילות.
בשלב זה FlatCam סובלת ממגבלת רזולוציה (כושר הפרדה) נמוכה, שהיא אחת התוצאות של קירוב המסיכה בעלת עדשות הנקב לפני החיישן. כמו כן, כתוצאה מתהליך הפרדת המידע (Demultiplexing) נוצר רעש שפוגע גם הוא בכושר ההפרדה. אולם, מפתחי המערכת עובדים על שיפור ביצועיה וסביר להניח שנראה את התוצאות בעתיד הלא רחוק.

בסרטון המתאר את פעולת המערכת אפשר לצפות כאן.