למרות כל הדיבורים על ״מהפכה טכנולוגית״ בהקשר של הצילום הדיגיטלי הרי שפועל לא הרבה השתנה מאז המצאת הצילום בסוף שנות ה-30 של המאה ה-19. אם תשוו את המבנה של מצלמה בת 100 למצלמה מן הדור האחרון תוכלו למצוא הרבה דמיון בין שתי המצלמות: הצלם לוחץ על כפתור המחשף, האור החוזר מן הנושא חודר לעדשה, עובר דרך הצמצם ומגיע למשטח רגיש לאור עליו הוא נרשם כאשר משך החשיפה נקבע באמצעות מהירות התריס. נכון, עד תחילת שנות ה-2000 רישום האור נעשה על גבי סרט צילום מבוסס כסף הלידי ולאחר הצילום היה צורך לפתח את הסרט בתהליך כימי  כדי לקבל תמונה שניתן להשתמש בה. כיום, ברוב המקרים, רישום האור נעשה על גבי חיישן תמונה אלקטרוני מבוסס סיליקון הממיר את האור לאנרגיה חשמלית שכמותה נמדדת ומומרת לביטוי בינארי-דיגיטלי (ספרתי) המבוסס על שני הסימנים 0 ו-1. אנו משתמשים כיום באמצעים מדוייקים למדידת החשיפה ולמיקוד אוטומטי עליהם יכלו אבותינו רק לחלום לפני 100 שנה ובמאה ה-19 אפילו לא היו מסוגלים לחלום על כך… אנו משתמשים בטכנולוגיות לעיבוד תמונה ספרתי ובתקשוב כדי לשפר את הצילומים שלנו ולהעבירם בקלות לכל קצוות תבל. וכן, אנחנו גם מתחילים לראות את הניצנים הראשונים של יכולת המצלמה להבין ולפענח את המשמעות של האור הנרשם על גבי חיישני התמונה. וביכולת זאת טמונה, כך נראה, המהפכה הטכנולוגית הבאה בתחום הצילום. מהפכה זו נקראת בשם המפחיד ״צילום חישובי״ (Computational Photography), היא מבוססת על תוכנה מתקדמת שמסוגלת לקלוט מידע מקורי באיכות לא אופטימלית ולהפוך אותו, באמצעים חישוביים למידע איכותי בהרבה והיא מסוגלת לאפיין את האור ולהפיק ממנו מידע רב ערך.
לאט לאט, אולי מבלי ששמנו לב לכך חדרה טכנולוגיה זו לחיינו ונמצאת כבר, ברמה מסויימת, בכל סמארטפון. כידוע מערכת המצלמה המובנית בסמארטפון איננה מן המשובחות ביותר משתי סיבות עיקריות: עלות וגודל. לכן נדרשת מערכת תוכנה שתשפר את איכות הצילומים שנוצרו ע״י החומרה הלא אופטימאלית ויגרמו לה ״ליצור״ צילומים שכאילו נוצרו ע״י חומרה יקרה בהרבה. הטכנופובים שביננו יצייצו מיד שזהו סופו של הצילום מאחר והתוכנה תוציא את הצלם מן המשוואה, אבל זה נאמר כבר הרבה פעמים בעבר ובינתיים לא ממש התממש…

עפ״י וויקיפדיה, צילום חישובי מתייחס לטכניקות צילום ועיבוד תמונה המתבססות על חישובים ספרתיים במקום על תהליכים אופטיים. צילום חישובי יכול לשפר את היכולות של מצלמה או להוסיף תכונות שלא היו קיימות כלל בצילום אנאלוגי או אף צילום דיגיטלי בסיסי  ולהפחית את העלות, הגודל והמשקל של רכיבי המצלמה. דוגמאות מוכרות לכך כוללות חישוב של פנורמות וצילומי HDR, בשני המקרים החישוב מאפשר להתגבר על היכולות המוגבלות של הרכיבים הפיסיים של המצלמה על מנת ליצור צילום משוכלל יותר. דוגמא פחות מוכרת היא הטכנולוגיה הנקראת Light Field המאפשרת הפקת מידע תלת מימדי (עומק) שאיננו קיים בצילום דו ממדי רגיל כדוגמת המצלמות של Lytro ואחרים. מידע זה מאפשר, לאחר הצילום, קביעה של עומק שדה סלקטיבי ללא תלות בצמצם הפיסי בו צולמה התמונה כמו גם הפקת דימויים תלת ממדיים.

ההגדרה למושג ״צילום חישובי״  כוללת כיום מספר נושאים כמו גרפיקה ממוחשבת, ראייה מוחשבת ואופטיקה חישובית. בנוסף יש לה צד מוכר ונפוץ יותר העוסק בעיבוד ממוחשב של צילום דו ממדי דיגיטלי הנתפס כיום כמובן מאליו ומאפשר, בין היתר הקטנה והגדלה של דימויים, דחיסת טווח בהירויות, ניהול צבע, דחיסה, ריטוש וסימון דיגיטלי ועוד. כן כלולים בתחום עיבוד התמונה הספרתי המוכר אפקטים ״אמנותיים״ באמצעות פילטרים למינהם.
דוגמא נוספת היא התחום הנקרא תאורה חישובית (Computational Illumination): צילום בתאורה נתונה ולאחר מכן עיבוד של הדימוי ליצירת דימוי חדש. בין היתר תחום זה כולל יצירת תאורה חדשה (כולל שילוב של מספר צילומים של אותו הנושא כאשר כל אחד צולם בתאורה אחרת), שיפור הדימוי, ביטול טשטוש (Image Deblurring) שאינו פעולת חידוד רגילה וגם איננה קשורה למערכת ייצוב פיסית, שינויים גיאומטריים, השלמת פרטים חסרים ועוד. גם טכניקת HDR משתייכת לתחום זה.

ביטול טשטוש הנובע מתנועת הנושא ו/או המצלמה בזמן החשיפה
מקור: http://www-rohan.sdsu.edu

אז מה יש לנו כיום?

כאשר אנו מצלמים במצלמה שלנו, ללא קשר לסוג המצלמה, קובץ ה-RAW שנוצר עובר שורה של כוונונים. לאחר פעולת ה- Demosaicing מופעלות פעולות להפחתת רעשים, חידוד, ביטול טשטוש ועוד פעולות בהתאם לבחירת הצלם. התוצאה היא קובץ JPEG. איכות תוצאות העיבוד עולה בהתמדה אולם יש גבול ליכולות של התוכנה הנוכחית. כל פעולה כנ״ל מבוצעת בד״כ ע״י טכנולוגיה עצמאית ונפרדת. כתוצאה מכך כל תוכנה בודקת אוסף שלם של פרמטרים לפני תחילת הפעולה וכמות המידע המשותפת בין הישומים השונים קטנה. מגבלה נוספת נובעת מאופיו הליניארי של התהליך: כל יישום מקבל את התוצאה של היישום הקודם וכתוצאה מכך שגיאות ורעשים מתווספים לדימוי בכל שלב ושלב. עם כל זאת, יש לומר עם יד על הלב שהתוצאות המתקבלות כיום מכל סוגי המצלמות (כמובן יש להביא בחשבון את מאפייני החיישנים והעדשות ) הן מרשימות ביותר. אולם בעתיד של כולנו נראים צילומים איכותיים אף יותר. מספר קבוצות מחקר ופיתוח בעולם עובדות קשה על הדור הבא של עיבוד התמונה וכבר ניתן לראות בשוק ניצנים ראשונים של מאמצים אלו.

איור המתאר את תהליך היצירה והעיבוד הנוכחיים של דימויים במצלמות דיגיטליות. מקור: Algolux.com

ומה צופן לנו העתיד?

כתבתי כבר בפוסט מס׳ 51 על הטכנולוגיה המענינת של Light:  מדובר בשילוב של מספר טכנולוגיות שונות: למצלמה 16 עדשות שונות באורכי מוקד שונים ולפני כל אחת מהן נמצא חיישן קטן. כך שלמעשה מדובר על מארז קומפקטי הכולל 16 מצלמות, 10 מהן מצלמות בבת אחת בעת לחיצה על כפתור המחשף. החידוש הנוסף הוא תוכנה חדשנית התופרת את 10 הצילומים ויוצרת קובץ בעל רזולוציה מירבית של 52 מגפיקסלים.
Light מציגה את ה- L16 כ״מצלמה המאפשרת שליטה ובקרה נרחבות כמו של DSLR עם הנוחות של סמארטפון״. ובנוסח אחר: ״L16 הינה המצלמה החישובית מרובת המיפתחים (Apertures) הראשונה המספקת איכות ויכולות של  DSLR במכשיר הניתן לנשיאה בכיס. זוהי מצלמה קטנה יותר, זולה יותר המספקת איכות תמונה טובה יותר מאשר כל מצלמה אחרת בתחום המחיר שלה״. שימו לב לביטוי ״מצלמה חישובית״, המעיד על כך שאיכות הדימוי המתקבל נובעת בחלקה הגדול מפעולה של תוכנה ולא מפעולה של חומרה.

המצלמה החישובית של Light הכוללת 16 מצלמות במארז אחד. מקור: Light.com

גם מצלמת ה-Lightfield של  Lytro עשתה הרבה גלים בזמנו, עברה הסבה זריזה מדגם שהיה בגדר צעצוע לדגם ״מקצועי״ במחיר של $1300 שככל הידוע לי איננו מהוה להיט מכירות. נראה שהיכולת לשנות את עומק השדה לאחר הצילום אינו גורם איכות המושך, נכון להיום את רוב המשתמשים, ואילו ביצועי המצלמה רחוקים מלספק את הדרישות של צלמים מקצועיים.

Lytro Illum  , מתוך אתר היצרן

דוגמא נוספת ל״מצלמות עתיד״ שלא כל כך הפכו בינתיים לכאלה הן מצלמות התוסף לסמראטפון כמו המצלמה של  DxO אותה סקרתי בפוסט מס׳ 35 וכן פתרונות דומים של Sony ושל  Olympus.

Lytro הכריזה לאחרונה על מצלמה חישובית בעלת יכולות מענינות: יצירת סרטים VR תוך התבססות על מומחיותם בתחום ה- Light Field וטכנולוגיות צילום חישובי נוספות. זוהי מערכת המיועדת לשוק המקצועי של הפקות הקולנוע והטלוויזיה, עלותה גבוהה מאד והיא כוללת גם שרת עוצמתי ויעודי לביצוע החישובים המורכבים הנדרשים. אולם מניסיון העבר ניתן לנבא כי בהמשך יהיה ניתן להבנות לפחות חלק מיכולות אלו גם בתוך אמצעים קטנים, פשוטים וזולים הרבה יותר. סמארטפון כבר אמרנו? בסרטון המדגים אל יכולות הטכנולוגיה ניתן לצפות כאן. בסקירה מקיפה של התחום המתפתח של הקולנוע מבוסס המציאות המדומה שהתפרסמה במוסף גלריה של עיתון הארץ אומר הבמאי והעתידן האמריקאי ברט לנארד: ״בתי הקולנוע המסורתיים יילכו וידחקו אל השוליים לטובת בתי קולנוע עתידניים שיציגו סרטי  VR״. כמו כן הוא אומר ש״הצילום כפי שאנו מכירים אותו ייעלם מן העולם כליל ויפנה את מקומו לטכנולוגיית שדה האור, הוא מעריך. ואילו זו, בזכות יכולתה להנציח מציאות באופן הדומה מאוד לצילום, תאפשר ליצור מציאות מדומה שתיצור תחושה אמיתית מאוד, ממש כמו בסרטים מצולמים. המראה שלה יהיה ריאליסטי לחלוטין, כמו עולם מצולם ותלת-ממדי ב- 360 מעלות, אבל היא תהיה ממוחשבת, בדיוק כמו אנימציה בתלת ממד ולכן תאפשר לצופים לנוע בתוכה בחופשיות״.

מצלמה מדגם Lytro Immerse המיועדת, כדברי היצרן: For the next generation of immersive storytelling

מבין החברות הרבות העוסקות בתחום ה- VR בולטת Facebook, שרכשה לפני כשנתיים (במחיר של כשני מיליארד דולר) את חב׳ Oculus, שהמוצר העיקרי שלה, משקפי VR מדגם Rift אמור לצאת לשוק במחיר של $600 החודש. כמו כן הכריזה Facebook על הקמת צוות מחקר ופיתוח בתחום ה- VR החברתי.

בחלק ב של פוסט זה אדון במערכת צילום כפולת מצלמות Dual Camera, במערכת החישובית של Algolux, חברה קנדית המפתחת ״מנוע״ חישובי יעודי למצלמות עתידיות ובמצלמה השטוחה FlatCam המפותחת באוניברסיטת Rice.

 

עדכון 7.6.20: מאמר מצויין ומפורט על הצילום החישובי, חלק א, באתר DPReview

עדכון 8.6.20: חלק ב של המאמר הנ״ל

עדכון 9.6.20: חלק ג של המאמר הנ״ל

עדכון 5.2.23: מאמר מענין הסוקר את המגבלות של הצילום החישובי