بینایی رایانه ای چیست؟

بینایی کامپیوتری یک اصطلاح کلی برای مجموعه ای از تکنیک هایی است که برای تفسیر داده های مبتنی بر تصویر توسط رایانه ها استفاده می شود. با اینکه پردازش تصاویر ، مدت طولانی ای است که وجود داشته و سابقه زیادی دارد، اما کامپیوترها به هیچ وجه قادر به تفسیر تصاویر نبودند.

برای پردازش تصاویر، روش های اکتشافی ساده ای برای ارائه روش های نیمه هوشمند مورد استفاده قرار گرفته است. به عنوان مثال، تحلیل گاما (Gamma Analysis)، دوربین ها را قادر می سازد تا بررسی کنند که آیا در یک ناحیه خاص مشکلی وجود دارد یا خیر. فقط در همین حد و نه چیزی بیش از این.

اما هنگام استفاده از یک شبکه عصبی مصنوعی ، قابلیت ماشین ها به سطح خارق العاده ای افزایش یافته است. ماشین های امروزی می توانند زمینه یک صحنه را درک کنند و نویز ها را فیلتر کنند تا فقط مهم ترین اطلاعات را پردازش کنند. برای مثال، تشخیص کودکی که در خیابان می دود یا خودرویی که در حال تردد است، اهمیت بیشتری نسبت به ابرهای آسمان و یا یک پمپ بنزین در دوردست دارد.

باید توجه داشت که تنها این واقعیت که بینایی کامپیوتری می تواند در زمینه خودرو ، تفاوت بین ماشین و انسان یا درخت و ساختمان را تشخیص دهد، به این معنی نیست که می تواند با مهارت های ادراکی یک راننده انسانی قابل رقابت باشد. این قابلیت تنها مقدمه ای برای ورود فناوری های پیچیده تر است.

اما این قابلیت ها چالش های خاص خود را دارند که در ادامه با آن ها آشنا خواهیم شد:

• ۱- سنسورهای خودرو خودران و داده های چندوجهی
• ۲- جمع آوری مجموعه داده های آموزشی
• ۳- تشخیص اشیا
• ۴- ناحیه بندی معنایی و ناحیه بندی نمونه معنایی
• ۵- دید استریو و چند دوربین
• ۶- ردیابی اشیا
• ۷- تحلیل سه بعدی صحنه

مانند هر فناوری پیشرفته دیگری، می توان با غلبه بر چالش های موجود، کارایی لازم را بهبود بخشید.

چالش ها و راه حل ها بینایی رایانه ای برای خودرو های خودران

در وسایل نقلیه خودران، کیفیت و قابلیت اطمینان راه حل های بینایی کامپیوتری می تواند به مرگ یا زندگی راننده یا مسافران در جاده ها بستگی داشته باشد.

۱- سنسورهای خودرو خودران

سنسور ها اساساً حواس یک وسیله نقلیه خودران و پایه و اساس اقدامات بعدی آن هستند. در حال حاضر، چهار نوع حسگر اصلی وجود دارد که برای بررسی محیط اطراف و ارائه شبکه عصبی کنترل کننده با اطلاعات مورد نیاز به منظور تصمیم گیری صحیح مورد استفاده قرار می گیرند:

• دوربین
• لایدار (یا لیدار)
• رادار
• سنسور اولتراسوند

چالش ها و مشکلات:

مجموعه گسترده ای از تنظیمات سخت افزاری و نرم افزاری وجود دارد که منجر به مشکلات احتمالی زیادی می شود. حتی یک تغییر جزئی در تنظیمات حسگر می تواند مشکل ایجاد کند، به عنوان مثال حساسیت یا موقعیت محور یک وسیله نقلیه می تواند رانندگی را دچار مشکل کند. به همین دلیل، ممکن است شبکه عصبی تفسیر درستی نداشته باشد و با مشکل مواجه شود.

همچنین، مشابه حواس انسان ، ترکیبی از حسگر ها می توانند اطلاعاتی دقیق در اختیار راننده قرار دهد تا ماشین آلات سنگین و با سرعت زیاد ، حرکت ایمن داشته باشند. یک انسان راننده، به حواس بینایی، شنوایی و حرکت متکی است. در حالی که یک وسیله نقلیه خودران به حسگرهای زیادی از جمله موارد اشاره شده نیاز دارد. چالش اصلی ایجاد تصویری جامع از دنیای بیرون و پردازش موثر آن است.

۲- جمع آوری مجموعه داده های آموزشی

بهتر است بگوییم یک راه حل هوش مصنوعی ، می تواند به اندازه داده هایی که روی آن آموزش داده شده است، موثر باشد. در این بحث، جمع آوری و پردازش مجموعه داده ها برای آموزش وسایل نقلیه خودران به خودی خود یک چالش به حساب می آید.

چالش ها و مشکلات:

وقتی صحبت از ساخت مجموعه داده برای رانندگی خودکار می شود، حداقل دو چالش وجود دارد که باید در نظر گرفته شوند:

• جمع آوری داده ها : بهترین ایده این است که از خودرو ها استفاده کرده و همه تصاویر و موقعیت ها را جمع آوری کنید.
• برچسب‌گذاری داده‌ها : تمام داده های جمع آوری شده باید به درستی برچسب گذاری شوند، که معمولاً به کار انسانی سنگین و دستی نیاز دارند.

اولین چالش را می توان با جمع آوری داده ها از طریق خودرو های نیمه خودران موجود و سیستم های پشتیبانی رانندگی، یا جمع آوری داده ها در یک واقعیت مجازی و شبیه سازی شده بر اساس موتورهای بازی های کامپیوتری انجام داد. محبوب ترین محیط اخیر برای این گونه Carla نام دارد.

برای برچسب‌گذاری داده‌ها پاسخ ساده‌ای وجود ندارد اما مکانیسم Captcha یکی از موفق ترین آن هاست. در این مکانیسم آزاردهنده، کاربر برای این که نشان دهد ربات نیست، باید عناصر صحیح را از بین دو کلمه یا یک تصویر ارائه شده تشخیص دهد. در مورد کلمات، یکی از آن ها درست است، در حالی که دیگری توسط کاربر برچسب گذاری می شود. در مورد تصویر هم همینطور. هزاران کاربر اینترنتی، تصاویر چراغ راهنمایی، علائم جاده یا عابران پیاده و موارد دیگر را برچسب گذاری می کنند تا در آموزش راه حل های مبتنی بر تشخیص تصویر مورد استفاده قرار گیرند. از طرف دیگر، یک شرکت باید در جمع آوری داده های آموزشی بسیار مراقب باشد. گاهی اوقات باید برچسب ها ارزیابی شوند و از دقت ۱۰۰٪ مجموعه داده اطمینان حاصل شود. اگر این مجموعه شامل هزاران تصویر باشد، این فرآیند به خودی خود یک چالش خواهد بود.

مشکل خارج از مجموعه آموزش

یک چالش مهم دیگر در تحویل خودرو برای مناطق مختلف، از جمله اروپا یا آفریقا وجود دارد. در حالی که برای یک راننده انسانی، تعمیم یک درخت کاج و یا انواع خاصی از اشیا مختلف چالش بر انگیز نیست. بنابراین سیستم خودروی خودران این مشکل مواجه است و در یک محیط ناآشنا کاملا گیج می شود.

با توجه به این مشکل تعمیم پذیری که در شبکه های عصبی وجود دارد، خودرویی که بر اساس داده های جمع آوری شده در اروپا آموزش دیده است، قادر به رانندگی مستقل در اروپا نمی باشد و این عاملی است که برای یک شبکه عصبی به سختی قابل حل است.

بنابراین، هنگام ساخت یک مجموعه داده با هدف آموزش خودرویی با قابلیت استفاده جهانی، ساخت مجموعه داده هایی متشکل از تصاویر تمام نقاط جهان بسیار حائز اهمیت است. و این باعث می شود مجموعه داده ها بزرگتر شوند.

۳- تشخیص اشیا

اصلی ترین و اساسی ترین وظیفه الگوریتم های بینایی کامپیوتری، تشخیص یک شی در تصویر است. در حالی که کامپیوترها در برخی وظایف تشخیص تصویر از انسان ها عملکرد بهتری دارند، اما مواردی وجود دارد که به ویژه در زمینه وسایل نقلیه خودران چالش برانگیز هستند.

چالش ها و مشکلات:

• تشخیص شی باید در یک محیط بلادرنگ انجام شود. وقتی صحبت از ورودی یک دوربین به میان باشد، گاهی اوقات مبتی بر مجموعه ای از خطوط است که به طور مداوم از سنسور بدست می آی،ند و برای تازه سازی یک تصویر دائماً در حال تغییر استفاده می‌شوند، نه بر روی مجموعه ای از تصاویر کامل. بنابراین، باید بدون دیدن کامل ، تشخیص اشیاء صورت بگیرد.
• عناصر متعددی در یک محیط وجود دارد که می تواند برای یک سیستم خودکار گیج کننده باشد. برای مثال یک کامیون در جلوی یک ماشین.

اولین چالش را می توان با آموزش یک مدل بر روی داده های تحویل داده شده توسط سنسور به عنوان خروجی برطرف کرد، و در واقع مدل را به جای تشخیص تصویر ، به سمت تجزیه و تحلیل سیگنال سوئیچ کرد.

چالش دوم مثالی از یک مشکل معمولی است که هوش مصنوعی قادر به تعمیم آن نیست و دانش قبلی در مورد یک موضوع ندارد. یک راه حل جالب، غنی‌سازی تشخیص تصویر با شواهد جزئی است. تکنیکی که شبکه عصبی را قادر می سازد تا بخشی از اطلاعات اضافی (مثلا زمینه) را برای حذف نتیجه نادرست احتمالی نادیده بگیرد.

بنابراین اگر خودرویی بالاتر از پنج متر از سطح زمین معلق باشد، احتمالاً تصویر خودرو در یک بیلبورد است و نیازی به کاهش سرعت نیست.

علائم رانندگی

تشخیص علائم راهنمایی و رانندگی یک کار تصویرگونه برای شبکه عصبی خودروهای خودران است. چالش اصلی در تشخیص علائم راهنمایی و رانندگی در تشخیص سریع در یک محیط بسیار ناپایدار و درحال تغییر است. یک تابلو راهنمایی می تواند کثیف، پوشیده از برگ، آسیب دیده و یا مخدوش باشد.

همچنین، مرتب کردن مجدد تابلوها در جاده یا نصب برخی از آن ها به طور موقت، به عنوان مثال اطلاع رسانی در مورد انحراف یا ساخت و ساز جاده، معمول است. بنابراین باید در پردازش سریع و در تشخیص علائم نهایت دقت را داشت.

عابرین پیاده

چالش عابران پیاده حتی از موارد پیشین نیز مهم تر است. خودرو خودران نه تنها نیاز دارد که بصورت بلادرنگ افراد را تشخیص دهد، بلکه باید بتواند وضعیت فرد را نیز تخمین بزند. اگر حرکت عابر پیاده نشان دهد که او قصد عبور از جاده را دارد، وسیله نقلیه باید آن را تشخیص دهد و به سرعت واکنش نشان دهد.

۴- ناحیه بندی نمونه معنایی

ناحیه بندی معنایی و ناحیه بندی نمونه معنایی ، عملکرد مشابهی داشته و با مجموعه مختلفی از چالش ها همراه هستند.

ناحیه بندی معنایی در مورد شناسایی چندین شی در یک تصویر و ارائه یک برچسب جداگانه برای هر یک از آن هاست. بدیهی است که می‌تواند همزمان یک خودرو، یک تابلوی راهنمایی ، یک دوچرخه سوار و یک کامیون در جاده وجود داشته باشد و این همان چیزی است که ناحیه بندی معنایی به آن مربوط می شود.

ناحیه بندی نمونه معنایی به تشخیص تفاوت بین هر شی در صحنه مرتبط است. اینکه سیستم یک خودرو خودران فقط بداند سه خودرو در جاده وجود دارد کافی نیست، بلکه باید بتواند به راحتی بین آن ها تفاوت قائل شود تا رفتار فردی آن ها را ردیابی کند. ناحیه بندی معنایی، هر خودرو، هر درخت و هر عابر پیاده را قاب بندی می کند و ناحیه بندی نمونه معنایی هر کدام را به عنوان car1، car2، tree1، tree2 و غیره برچسب گذاری می کند.

در این بخش ، ارائه اطلاعات اضافی در مورد تعداد اشیاء در جاده و موقعیت آن ها نسبت به یکدیگر بدون نام بردن آن ها، یک چالش است.

چالش ها و مشکلات:

• عملکرد : همانطور که اشاره شد، به دلیل محدودیت های خود سنسور، ارائه تشخیص صحیح و بلادرنگ اشیا چالش برانگیز است. این ویژگی هم برای ناحیه بندی معنایی و هم برای تقسیم بندی نمونه معنایی ، مشابه تشخیص اشیا ، محدودیت ایجاد می کند.
• سردرگمی : در حالی که خودرو ها در وظایف خود بسیار کارآمد هستند، اما باید به خاطر داشت که همیشه یک عامل غیرقابل پیش بینی در شبکه عصبی مصنوعی وجود دارد. بنابراین شبکه می تواند تحت عوامل متعددی مانند شرایط نوری غیرمعمول یا آب و هوا به اشتباه بیفتد.

مقابله با این مشکلات به دستیابی و بهره برداری از مجموعه داده های بزرگتر که مثال های بیشتری را برای تعمیم در اختیار شبکه عصبی قرار می دهد، بستگی دارد. ارائه داده های مصنوعی به شبکه که بصورت دستی یا از طریق شبکه های مولد متخاصم (Generative Adversarial Networks) تولید می شوند، یکی از ساده ترین راهکار ها برای مقابله با این چالش است.

۵- دید استریو و چند دوربین

تخمین عمق یکی از عوامل کلیدی در تضمین ایمنی وسیله نقلیه و سرنشینان آن است. در حالی که ابزارهای متعددی در دسترس هستند، از جمله رادار، دوربین و لایدار، اما پشتیبانی از آن ها با دوربین های چندگانه متداول است.

دانستن فاصله بین لنزهای دوربین و محل دقیق یک شی در تصاویر ثبت شده، اولین گام برای ساختن یک سیستم دید استریو است. بقیه موارد بر اساس تئوری ساده است و سیستم با استفاده از مثلثات عمق را تخمین می زند.

چالش ها و مشکلات:

• پیکربندی دوربین : فاصله بین لنزها و حساسیت سنسور می‌تواند تفاوت داشته باشد و چالش های بیشتری را برای سیستم تخمین عمق ایجاد کند.
• نمایش غیرموازی : دوربین های مورد استفاده در خودروهای خودران می توانند تصاویر متفاوت را بدون نمایش پیکسل به پیکسل ارائه دهند. بنابراین، اگر تغییر سخت افزاری در نمایش پیکسلی یک تصویر وجود داشته باشد، سیستم می تواند در محاسبه فاصله ها دچار مشکل شود.
• اعوجاج پرسپکتیو : هرچه فاصله بین لنزهای دوربین بیشتر باشد، تخمین عمق بهتر است. با این حال، این با چالش دیگری همراه است، یعنی پرسپکتیو ، که باید در تخمین عمق مورد توجه قرار گیرد.

مهندسان Tooploox با مهندسی ویژگی و ترکیب داده های استریوسکوپی با اطلاعات دستگاه های لایدار و رادار بر این چالش غلبه کرده اند. با داده های مصنوعی کافی تولید شده برای تغییر الگوریتم و داده های واقعی برای اعتبار سنجی ، نتایج خوبی در این زمینه حاصل شده است.

۶- ردیابی اشیا

هدف ردیابی اشیاء ، ارائه اطلاعاتی در مورد موقعیت فعلی و پیش بینی حرکت اشیا به سیستم کنترل خودروی خودران است. تشخیص شی علاوه بر اینکه به سیستم اطلاع می دهد که یک شی خاص، یک خودرو، یک کامیون یا یک قطار برقی است، اطلاعاتی در مورد اینکه آیا آن جسم در حال شتاب، کاهش سرعت یا مانور است یا خیر را نیز ارائه می دهد.

چالش ها و مشکلات:

• تخمین ریسک : شبکه نه تنها باید حرکت را پیش بینی کند، بلکه باید رفتار را نیز پیش بینی کند. به همین ترتیب، یک راننده انسانی اغلب در هنگام رانندگی در نزدیکی دوچرخه سواران نسبت به رانندگی کنار خودروهای دیگر مراقبت بیشتری دارد. زیرا هر حادثه ای برای یک دوچرخه سوار خطر بیشتری خواهد داشت.
• پس زمینه در حال تغییر : هنگام ردیابی یک شی، شبکه باید با تغییرات پس زمینه مقابله کند. وسایل نقلیه دیگر نزدیک می شوند، رنگ جاده تغییر می کند یا درختان کنار جاده وجود دارد. این یک مشکل برای یک راننده انسانی نیست، اما می تواند برای یک شبکه عصبی کاملاً گیج کننده باشد.
• اشیاء گیج کننده : اشیاء در یک جاده نسبتاً تکراری هستند، مثلا ده ها خودرو قرمز رنگ که روزانه در تردد هستند. نرم افزار ردیابی احتمالاً می تواند به اشتباه یک خودرو قرمز را با خودروی دیگر مطابقت داده و در نتیجه اطلاعات نادرستی را در اختیار شبکه کنترل کننده قرار دهد.

ارائه شبکه عصبی کنترل کننده با داده های چندوجهی جمع آوری شده توسط لایدار و رادار، می تواند پاسخ خوبی برای این چالش باشد. در حالی که لایدار می تواند با شناسایی نوع یک شی خاص مشکل داشته باشد، اما موقعیت دقیق آن را ارائه می دهد. رادار داده های دقیق تری را ارائه می کند، اما مستقل از صحنه است و به ندرت تحت تأثیر عوامل دیگری مانند شرایط آب و هوایی قرار می گیرد.

۷- تحلیل سه بعدی صحنه

با ترکیب تمام اطلاعات جمع آوری شده از تکنیک های شرح داده شده در بالا، سیستم کنترل باید یک نمایش سه بعدی از دنیای اطراف بسازد. این را می توان با تخیل فرد مقایسه کرد که محاسبات انجام می گیرد و نتایج تولید می شود.

چالش ها و مشکلات:

• دقت : در تجزیه و تحلیل صحنه سه بعدی، حتی کوچکترین خطاها موجب اشتباه بزرگ تری خواهند شد و منجر به انحراف می شوند. آنچه در سرعت های پایین خودرو بی اهمیت به نظر می رسد ، می تواند با افزایش سرعت خودرو به یک چالش مهم تبدیل شود.
• چندین اشیاء غیرقابل پیش بینی : آنچه در بزرگراه ها نسبتاً ساده است در ترافیک شهری پیچیده تر می شود، زیرا خیابان و همچنین اهداف دیگر در جاده پیچیده تر می شود.

بدون نقش پشتیبانی لایدار و رادار، تجزیه و تحلیل صحنه سه بعدی موثر و سریع ، بسیار چالش برانگیز خواهد بود. مهندسان و محققان Tooploox با کار با داده های ابر نقطه ای ( point cloud data ) در شناسایی اشیا از عهده این چالش بر آمده اند.

با این روش، سیستم کنترل کننده خودروی خودران اطلاعات دقیقی درباره اشیاء موجود در صحنه را از دو منبع مستقل دریافت می‌کند. یک دوربین با قابلیت تشخیص تصویر و یک سیستم لایدار با تجزیه و تحلیل و شناسایی داده‌های ابر نقطه‌ای.

خلاصه

قابلیت تشخیص تصویر ، اساس سیستم های کنترل خودرو خودران است. خبر خوب این است که این سیستم ها را می توان با چندین حسگر و همچنین با اشکال مختلف دیگر داده ها نیز تقویت کرد. راه حل های مدرن از قابلیت های ارائه شده توسط نقشه های HD یا سیستم های GPS برای دریافت اطلاعات بهتر جهت انجام کار استفاده می کنند.