استفاده از گل همیشه بهار در گردش کار هوش مصنوعی چاپ متن به سه بعدی

در سال گذشته تلاش‌های زیادی برای استفاده از هوش مصنوعی برای ایجاد مدل‌های قابل چاپ سه‌بعدی بر اساس یک ورودی متن ساده، با نتایج متفاوت صورت گرفته است. یکی از معروف‌ترین نمونه‌ها مربوط به LumaAI است، و ممکن است این پروژه را از OpenAI در اوایل امسال به یاد بیاورید.

در این مقاله نگاهی خواهیم داشت به روش دیگری برای تبدیل متن به سه بعدی مبتنی بر هوش مصنوعی، این بار با استفاده از برنامه ای به نام “Marigold” که طبق وب سایت آن، “مولدهای تصویر مبتنی بر انتشار را برای تخمین عمق تک چشمی دوباره استفاده می کند”. زیرا تولید هنر هوش مصنوعی یک چیز است، اما دادن عمق واقعی به آن، که برای پرینت سه بعدی لازم است، یک بازی کاملاً متفاوت است. اما به نظر می رسد که سازندگان Marigold این کار را انجام داده اند.

گل همیشه بهار چیست؟

Marigold توسط محققان ETH Zürich طراحی شده است و وظیفه آن تولید اطلاعات عمق از یک تصویر دو بعدی است. Marigold که از چارچوب Stable Diffusion سرچشمه می گیرد، از داده های مصنوعی برای تنظیم دقیق استفاده می کند و آن را قادر می سازد تا دانش را به طور موثر به داده های ناآشنا منتقل کند. این رویکرد باعث شده تا Marigold از روش پیشرو قبلی LeRes در این زمینه پیشی بگیرد.

عملکرد این مدل به تنظیم دقیق مؤلفه U-Net در راه اندازی Stable Diffusion بستگی دارد. این فرآیند شامل کدگذاری هر دو تصویر و عمق در یک فضای پنهان با استفاده از Stable Diffusion VAE اصلی و به دنبال آن بهینه سازی هدف انتشار نسبت به کد پنهان عمق است. یک جنبه قابل توجه اصلاح اولین لایه U-Net برای پذیرش کدهای پنهان به هم پیوسته است که قابلیت تخمین عمق را افزایش می دهد.

در طول استنتاج، Marigold یک تصویر ورودی را در یک کد نهفته رمزگذاری می کند، که سپس با یک عمق پنهان الحاق می شود. این ترکیب از طریق U-Net اصلاح شده و به خوبی تنظیم شده پردازش می شود. پس از چندین تکرار حذف نویز، عمق نهفته در یک تصویر رمزگشایی می‌شود و کانال‌های آن برای بدست آوردن تخمین عمق نهایی میانگین‌گیری می‌شوند.

مطالعات تطبیقی ​​عملکرد برتر Marigold را در محیط‌های داخلی و خارجی در برابر دیگر برآوردگرهای عمقی وابسته به پیشرفته‌تر نشان داده‌اند. این امر به ویژه قابل توجه است زیرا Marigold بدون قرار گرفتن در معرض قبلی با نمونه های عمق واقعی به این نتایج می رسد. برای درک جامع از روش‌شناسی و معیارهای ماریگلد، مقاله مفصل اطلاعات عمیق (بدون جناس) را ارائه می‌کند.

بنابراین از آنجایی که Marigold یک راه حل تصویر به سه بعدی است، به این معنی است که می توانید از تصاویر تولید شده با هوش مصنوعی به عنوان منبع استفاده کنید. و این دقیقا همان کاری است که یکی از Redditor انجام داده است، همانطور که در زیر می بینید.

DallE-to-3D

با استفاده از هوش مصنوعی متن به تصویر DallE موجود در بینگ، Redditor “fredandlunchbox” درخواستی را برای ایجاد تصویری از یک قاب عکس پلاستیکی با ویژگی‌های مدرن، که روی دیوار آویزان شده بود، ارسال کرد.

DallE تصویری را که در زیر می بینید را خروجی داد.

Redditor قبل از اینکه نقشه عمق را در Cinema4D رندر کند، از Marigold برای ایجاد یک نقشه عمق استفاده کرد و سپس در Blender و Fusion360 مرتب کردن دستی اضافی انجام داد. وقتی مدل کامل شد، آن را به عنوان STL صادر کرد و آن را چاپ کرد. کل فرآیند از اعلان متن DallE تا شی چاپی نهایی در کمتر از 24 ساعت اتفاق افتاد و می‌توانید قسمت نهایی چاپ شده را در تصویر زیر مشاهده کنید.

Rdditor اشاره می‌کند که این فرآیند خودکار نیست، اما سازندگان Marigold اخیراً به‌روزرسانی‌ای را اعلام کرده‌اند که به کاربر اجازه می‌دهد یک STL ضد آب آماده برای چاپ تولید کند.

این که دقیقا چقدر ضد آب است، باید دید، اما به نظر می رسد چیزی سرگرم کننده برای آزمایش در طول فصل تعطیلات باشد.

اگر می‌خواهید با تخمین عمق و ویژگی‌های چاپ سه‌بعدی Marigold آزمایش کنید، می‌توانید به رابط کاربری گرافیکی مبتنی بر وب در فضای Hugging Face برنامه در این پیوند بروید.

بیایید و نظرات خود را در فیس بوک به ما بگویید، ایکسو صفحات لینکدین، و فراموش نکنید که در خبرنامه هفتگی تولید مواد افزودنی ما ثبت نام کنید تا آخرین داستان ها را مستقیماً در صندوق ورودی خود دریافت کنید.