עריכת תמונות באמצעות בינה מלאכותית

עריכת תמונות באמצעות בינה מלאכותית לצלמים, העתיד כבר כאן אבל הוא עדיין לא מושלם

עריכת תמונות באמצעות בינה מלאכותית עברה בשנים האחרונות דרך מטורפת. מהתקופה שבה היינו עובדים עם מודלים מקומיים, מסכות ועשרות הגדרות, הגענו למצב שבו אפשר להעלות תמונה, להסביר במילים מה אנחנו רוצים לשנות ולקבל תוצאה בתוך זמן קצר. אבל מבחינתי כצלם, יש הבדל גדול בין תמונה שנראית מדהים לבין תמונה שעדיין מרגישה כמו התמונה שאני צילמתי.

ככה הכול התחיל אצלי

כשהתחלתי להתעסק בעריכת תמונות באמצעות בינה מלאכותית, אחד הכלים הראשונים שבהם השתמשתי היה Stable Diffusion דרך AUTOMATIC1111. מי שהתעסק בזה בתקופה ההיא בטח זוכר את כל העולם של Img2Img, Inpainting, מסכות, Prompts, Seeds, מודלים והגדרות.

לפעמים זה הרגיש כמו סוג חדש של תוכנת עריכה. לא בדיוק פוטושופ ולא בדיוק תוכנת צילום רגילה, אלא משהו אחר לגמרי. יכולת לסמן אזור בתמונה, לבקש לשנות אותו, להחליף אלמנטים, לתקן אזורים מסוימים ולהתחיל לשחק עם התמונה בצורה שלא הכרנו קודם.

אחר כך הגיע SDXL, הגיעו דורות מתקדמים יותר של מודלים, הגיעו מערכות חדשות, שירותים בענן וכלי עריכה שהפכו את כל התהליך להרבה יותר פשוט ונגיש.

היום כבר לא חייבים לדעת מה זה Sampler, מה זה CFG או להתקין עשרות קבצים. בהרבה מערכות פשוט מעלים תמונה וכותבים מה רוצים.

אבל אצל צלם כל פיקסל חשוב

כאן מבחינתי מתחילה הבעיה האמיתית.

אם אני יוצר באנר, תמונת פתיחה לכתבה או עיצוב לרשת חברתית, אני יכול להסתכל בעיקר על התוצאה הסופית. האם היא יפה, האם היא מושכת את העין והאם היא עושה את העבודה.

אבל כשאני מעלה לגלריה תמונה שאני צילמתי בעצמי, אני מסתכל עליה בצורה אחרת לגמרי.

פתאום חשוב לי המרקם של הסלע שנמצא בקצה הפריים, הענפים הקטנים על העץ, הפרטים בתוך העננים, המעברים העדינים בין צבע לצבע והחדות המקורית שהגיעה מהמצלמה.

ופה חשוב להבין משהו

לא כל מערכת בינה מלאכותית עובדת באותה צורה ולא נכון להגיד שכל עריכת AI תמיד מקטינה את התמונה. בחלק מתהליכי העריכה הגנרטיביים, התמונה עוברת לרזולוציית עבודה שמתאימה למודל, מעובדת שם ולאחר מכן יכולה לעבור הגדלה מחדש. מבחינת המידות הקובץ הסופי יכול אפילו לחזור להיות גדול, אבל זה לא אומר שכל הפיקסלים שבו הם אותם פיקסלים ומאותו מידע שהגיע מחיישן המצלמה.

ניקח דוגמה פשוטה. תמונה בגודל 6000 על 4000 פיקסלים מכילה בערך 24 מיליון פיקסלים. אם מערכת מסוימת מעבדת אותה בתוך תהליך שבו הצד הארוך יורד, לדוגמה, לכיוון 2048 פיקסלים, היא עובדת בפועל על כמות מידע קטנה משמעותית.

אפשר לאחר מכן להגדיל את הקובץ שוב. אפשר להשתמש ב Upscaling ואפשר לגרום לתוצאה להיראות חדה מאוד. אבל הגדלה של תמונה ויצירה של פרטים חדשים אינן זהות לשמירה על הפרטים המקוריים שהמצלמה קלטה.

לצופה רגיל זה אולי בכלל לא ישנה. לצלם שמכיר את הקובץ שלו ומסתכל עליו ב 100 אחוז, זה כבר יכול להיות סיפור אחר.

עשיתי את הניסוי הזה בעצמי

ניסיתי את זה גם עם תמונות שלי שמופיעות באתר. לקחתי כמה תמונות שצילמתי בטיולים, בין היתר בסלובניה, בקרואטיה ובאיטליה, והעברתי אותן דרך מערכת עריכה גנרטיבית.

התוצאה במבט ראשון הייתה מטורפת.

הצבעים היו חיים יותר, השמיים קיבלו נוכחות אחרת, חלק מהפרטים נראו אפילו מרשימים יותר והתמונה כולה קיבלה מראה שאפשר להסתכל עליו ולהגיד וואו.

ואז הסתכלתי שוב.

והבנתי שזאת כבר לא בדיוק התמונה שאני צילמתי.

זה אולי אותו מקום, אותה קומפוזיציה ובמבט ראשון אותו צילום, אבל המערכת כבר התחילה לפרש בעצמה פרטים בתוך התמונה. מבחינתי כאן עובר גבול חשוב.

עריכת צילום ובינה מלאכותית גנרטיבית הן לא בדיוק אותו דבר

אני חושב שחשוב גם לעשות הפרדה בין שני דברים שלפעמים מכניסים לאותה קטגוריה.

תוכנות צילום מודרניות משתמשות בבינה מלאכותית גם בשביל מסכות חכמות, זיהוי שמיים, הפחתת רעש, בחירת נושא, שיפור תאורה ועוד הרבה מאוד פעולות. במקרים כאלה הבינה המלאכותית יכולה להיות כלי שעוזר לי לערוך את הצילום שלי.

זה שונה ממערכת גנרטיבית שלוקחת חלק מהתמונה ומייצרת אותו מחדש.

אני אישית השתמשתי במשך שנים ב Lightroom ובהמשך עברתי לעבוד הרבה יותר עם Luminar. אני מאוד אוהב את צורת העבודה שלה ואת העובדה שהיא מקצרת הרבה תהליכים שבעבר היו דורשים ממני הרבה יותר זמן.

זה לא אומר שתוכנה אחת טובה יותר לאחרת. לכל צלם יש את סביבת העבודה שנוחה לו. מבחינתי השאלה החשובה היא כמה שליטה נשארת לי על הצילום המקורי.

ומה לגבי עריכה מקומית על המחשב

היום אפשר גם להוריד מודלים למחשב ולעשות חלק גדול מהעבודה באופן מקומי. בלי להעלות את התמונה לשירות חיצוני ובלי לשלם על כל יצירה בנפרד.

כאן כבר נכנס לתמונה כרטיס המסך.

ככל שעולים ברזולוציה, כמות הזיכרון והחישוב שהמערכת צריכה גדלה בצורה משמעותית. תמונה גדולה דורשת הרבה יותר ממשאבי המחשב מתמונה קטנה, ולכן חומרה חזקה מאפשרת לעבוד בצורה נוחה יותר וברזולוציות גבוהות יותר.

אצלי, לדוגמה, נמצא RTX 3090 עם 24GB של זיכרון גרפי. לחבר טוב שלי יש RTX 5090 עם 32GB. ברור שה 5090 הוא כרטיס מתקדם וחזק משמעותית, אבל גם הוא לא מבטל את המגבלות של המודל עצמו.

וזאת נקודה חשובה. כרטיס מסך חזק יותר יכול לתת למודל יותר מקום לעבוד, לקצר זמני עיבוד ולאפשר תהליכים כבדים יותר. הוא לא הופך מודל שתוכנן לעבוד בדרך מסוימת למודל ששומר אוטומטית על כל המידע המקורי של קובץ צילום.

אז האם אני נגד עריכת תמונות בבינה מלאכותית

ממש לא.

להפך. אני משתמש בבינה מלאכותית כמעט בכל מה שקשור לעיצוב של הבלוג שלי. חלק גדול מתמונות הפתיחה שאתם רואים בכתבות באתר נוצרות עבורי באמצעות AI. אני מסביר מה אני רוצה, איפה אני רוצה את הטקסט, איזה סגנון אני מחפש ואיך אני רוצה שהתמונה תיראה, והמערכת עושה עבורי עבודה שפעם הייתה יכולה לקחת הרבה יותר זמן.

אפילו בימים האחרונים קיבלנו דור חדש של כלי יצירה ועריכת תמונות עם שיפור בחדות וביכולת לבצע שינויים מדויקים יותר. הקצב שבו הדברים האלה מתקדמים הוא פשוט מטורף.

פעם בשביל תמונת פתיחה מושקעת הייתי צריך לפתוח תוכנת עריכה, לבחור תמונה, לסדר שכבות, לעבוד על הטקסט, להתאים צבעים, לשחק עם המיקום ולייצא.

היום אפשר להגיע לתוצאה דומה בזמן קצר מאוד.

אז למה מבחינתי זה עדיין לא שם

כי בתור כלי יצירתי, הבינה המלאכותית כבר נמצאת במקום מדהים.

בתור כלי שמטרתו לקחת צילום מקצועי שלי, לשמור עליו בדיוק כפי שצולם ורק לבצע עליו עריכה שאני הייתי מבצע בעצמי, אני עדיין לא מרגיש שהגענו לנקודה שבה אני יכול לתת לה את הקובץ בעיניים עצומות.

אני רוצה שהמערכת תבין שהעץ שנמצא במרחק הוא העץ שאני צילמתי, שהענן הוא אותו ענן, שהמרקם הוא אותו מרקם ושהפרטים הקטנים נשארים שם גם אחרי שהיא סיימה לעבוד.

אני לא רוצה תמונה חדשה שנראית כמו התמונה שלי. אני רוצה את התמונה שלי, רק ערוכה טוב יותר.

ולדעתי זה אחד האתגרים הגדולים שעוד נשארו לעולם הזה.

הדרך שעברנו

Stable Diffusion ומסכות ← SDXL ומודלים מתקדמים ← עריכה בשפה טבעית ← מודלים מקומיים על GPU ← עריכה מדויקת יותר ← השלב הבא, שמירה אמיתית על המקור

אנחנו קרובים יותר ממה שנדמה

למרות כל מה שכתבתי כאן, אני חושב שאנחנו מאוד קרובים.

אני מאמין שיגיע היום שבו אקח קובץ צילום גדול, אגיד למערכת בשפה רגילה בדיוק מה אני רוצה, והיא תבצע את העריכה בלי שאצטרך לחשוב על מסכות, שכבות או עשרות כלים שונים, ובמקביל תשמור בצורה טובה הרבה יותר על הפרטים והזהות של הצילום המקורי.

והקטע המטורף הוא שאנחנו כבר יכולים לראות את זה מתחיל לקרות.

השאלה מבחינתי היא כבר לא האם זה יקרה. השאלה היא כמה זמן ייקח עד שאני, בתור צלם, אפסיק לחשוב פעמיים לפני שאני נותן לבינה מלאכותית לגעת בקובץ המקורי שלי.