ची एक टीम तेल अवीव विद्यापीठाच्या संशोधकांनी नुकतेच हायपरस्टाइलचे अनावरण केले, जे आहे उलट आवृत्ती मशीन लर्निंग सिस्टमचे NVIDIA StyleGAN2 वास्तविक जगाच्या प्रतिमा संपादित करताना गहाळ तुकडे पुन्हा तयार करण्यासाठी पुन्हा डिझाइन केले गेले आहे.
स्टाइलगॅनचे वैशिष्ट्य म्हणजे वास्तववादी देखावा असलेल्या लोकांचे नवीन चेहरे संश्लेषित करण्याची परवानगी देऊन, वय, लिंग, केसांची लांबी, स्मित वर्ण, नाकाचा आकार, त्वचेचा रंग, चष्मा आणि फोटोग्राफिक कोन यासारखे पॅरामीटर्स सेट करणे.
दुसरीकडे, हायपरस्टाइल विद्यमान असलेल्यांमध्ये समान पॅरामीटर्स बदलणे शक्य करते, दुस-या शब्दात सांगायचे तर, ते तुम्हाला त्यांची वैशिष्ट्यपूर्ण वैशिष्ट्ये सुधारित न करता आणि मूळ चेहऱ्याची ओळख जतन न करता छायाचित्रे तयार करण्यास अनुमती देते.
दिलेल्या इनपुट प्रतिमेच्या सापेक्ष पूर्वी प्रशिक्षित स्टाइलगॅन जनरेटरचे वजन कसे परिष्कृत करायचे हे शिकण्यासाठी हायपरस्टाइल हायपरनेटवर्क्स सादर करते. असे केल्याने ऑप्टिमायझेशन पातळी एन्कोडर सारखी अनुमान वेळ आणि उच्च संपादनक्षमतेसह पुनर्बांधणी सक्षम करते.
उदाहरणार्थ, वापरताना हायपरस्टाइल, छायाचित्रातील व्यक्तीच्या वयातील बदलाचे अनुकरण करू शकते, केशरचना बदला, चष्मा, दाढी किंवा मिशा घाला, चित्र एखाद्या कार्टून पात्रासारखे किंवा हाताने काढलेल्या चित्रासारखे बनवा, चेहऱ्यावर दुःखी किंवा आनंदी भाव करा.
या प्रकरणात, प्रणालीला केवळ लोकांचे चेहरे बदलण्यासाठीच नव्हे तर कोणत्याही वस्तूसाठी प्रशिक्षित केले जाऊ शकते उदाहरणार्थ, कार प्रतिमा संपादित करण्यासाठी.
उलथापालथाचा अभ्यास करणार्‍या बहुतेक कामांमध्ये अव्यक्त कोड शोधला जातो जो दिलेल्या प्रतिमेची अधिक अचूकपणे पुनर्रचना करतो. दिलेल्या लक्ष्य प्रतिमेसाठी उच्च गुणवत्तेची पुनर्रचना साध्य करण्यासाठी काही अलीकडील कामांनी जनरेटरच्या वजनाची प्रतिमा सुरेख ट्यूनिंग प्रस्तावित केली आहे. HyperStyle सह, आमचे ध्येय हे जनरेटर ट्यूनिंग पध्दतींना एन्कोडर-आधारित पध्दतीशी जुळवून घेऊन परस्परसंवादी ऍप्लिकेशन्सच्या क्षेत्रात आणण्याचे आहे.
इच्छित लक्ष्य प्रतिमेच्या सापेक्ष जनरेटरचे वजन कसे परिष्कृत करावे हे शिकण्यासाठी आम्ही एकल हायपरनेटवर्क प्रशिक्षित केले. हे मॅपिंग शिकून, हायपरस्टाइल जनरेटरच्या टार्गेट वेटचा प्रति इमेज 2 सेकंदांपेक्षा कमी वेळेत अचूकपणे अंदाज लावते, ज्यामुळे ते विस्तृत ऍप्लिकेशन्सवर लागू होते.
प्रस्तावित पद्धत संपादनादरम्यान प्रतिमेच्या गहाळ भागांची पुनर्रचना करण्याच्या समस्येचे निराकरण करण्याचे उद्दिष्ट आहे. पूर्वी प्रस्तावित केलेल्या तंत्रांनी पुनर्बांधणी आणि संपादन यांच्यातील समतोल साधला आहे आणि मूळत: गहाळ असलेले संपादन करण्यायोग्य प्रदेश पुन्हा तयार करताना लक्ष्य प्रतिमेचे काही भाग पुनर्स्थित करण्यासाठी इमेजरला फाइन-ट्यूनिंग करून. प्रत्येक प्रतिमेसाठी न्यूरल नेटवर्कच्या दीर्घकालीन लक्ष्यित प्रशिक्षणाची आवश्यकता ही अशा दृष्टिकोनांची कमतरता आहे.
StyleGAN अल्गोरिदमवर आधारित पद्धत ठराविक मॉडेल वापरण्याची परवानगी देते, प्रत्येक प्रतिमेसाठी मॉडेलचे वैयक्तिक प्रशिक्षण आवश्यक असलेल्या अल्गोरिदमशी तुलना करता येणार्‍या आत्मविश्वासाच्या पातळीसह मूळ प्रतिमेचे वैशिष्ट्यपूर्ण घटक निर्माण करण्यासाठी, सामान्य प्रतिमा संग्रहांवर पूर्वप्रशिक्षित.
नवीन पद्धतीचा एक फायदा म्हणजे वास्तविक वेळेच्या जवळच्या कार्यप्रदर्शनासह प्रतिमा सुधारित करण्याची क्षमता, त्याव्यतिरिक्त संकलनावर आधारित त्या लोकांसाठी, कारसाठी आणि प्राण्यांसाठी तयार केलेले मॉडेल प्रशिक्षणासाठी तयार आहे Flickr-the Faces-HQ (FFHQ, लोकांच्या चेहऱ्याच्या 70,000 उच्च-गुणवत्तेच्या PNG प्रतिमा), स्टॅनफोर्ड कार्स (गाड्यांच्या 16 प्रतिमा) आणि AFHQ (प्राण्यांचे फोटो) वरून.
तसेच, तुमच्या मॉडेल्सना प्रशिक्षण देण्यासाठी साधनांचा संच प्रदान केला जातोतसेच सामान्य एन्कोडर्स आणि जनरेटरचे वापरण्यास योग्य असलेले प्रशिक्षित मॉडेल. उदाहरणार्थ, Toonify-शैलीतील प्रतिमा, पिक्सार वर्ण, स्केचेस तयार करण्यासाठी आणि अगदी डिस्ने प्रिन्सेस सारख्या शैलीसाठी जनरेटर उपलब्ध आहेत.
शेवटी ज्यांना अधिक जाणून घेण्यात रस आहे त्यांच्यासाठी या साधनाबद्दल, आपण तपशील तपासू शकता पुढील लिंकवर
कोड PyTorch फ्रेमवर्क वापरून Python मध्ये लिहिलेला आहे आणि MIT परवानाकृत आहे हे नमूद करणे देखील महत्त्वाचे आहे. तुम्ही येथे कोड तपासू शकता खालील दुवा.