اسنپدراگون 8 را باز کنید و ببینید که پر از مقالات برتر جلسه است

علاوه بر بهینه سازی عکس و دستیارهای صوتی، هوش مصنوعی تلفن همراه چه چیز دیگری دارد؟

هنگامی که نسل جدید پلتفرم موبایل اسنپدراگون 8 امسال عرضه شد، کوالکام بار دیگر ترجمه و ترجمه کرد، چه حفره بزرگ مغزی است——

اجازه دهید تلفن همراه یاد بگیرد که از طریق صدا بیماری های احتمالی کاربر مانند افسردگی و آسم را "مجوز" و تشخیص دهد.

اجازه دهید تلفن همراه "ضد پیپ" را درک کند و با تشخیص دید کاربران ناآشنا، قفل صفحه نمایش خودکار را درک کند.

اجازه دهید بازی‌های موبایل وضوح فوق‌العاده‌ای داشته باشند و کیفیت تصویری را که فقط می‌توانست روی رایانه شخصی اجرا شود به تلفن همراه بیاورید تا تجربه کنید…

مهمتر از آن، اسنپدراگون 8 توانایی اجرای همزمان این عملکردهای هوش مصنوعی را دارد !

کوالکام ادعا می کند که موتور هوش مصنوعی نسل هفتم اسنپدراگون 8 نسبت به نسل قبلی تا 4 برابر افزایش عملکرد داشته است .

این بدان معناست که وقتی با تلفن های همراه بازی می کنیم، "باز کردن" چندین برنامه هوش مصنوعی به طور همزمان مشکلی ندارد. مهمتر از آن، این نه تنها یک بهبود عملکرد ساده هوش مصنوعی است، بلکه یک تجربه نرم افزاری نرم برای کاربران است.

امروزه که ارتقای فرآیند سخت‌افزار بسیار دشوار است، چگونه کوالکام این همه ترفند جدید را در عملکرد و کاربرد موتور هوش مصنوعی نسل هفتم «برگرداند»؟

ما برخی از مقالات تحقیقاتی و اسناد فنی منتشر شده توسط کوالکام را بررسی کردیم و "سرنخ هایی" پیدا کردیم:

در سند ابزار منبع باز AIMET که توسط Qualcomm منتشر شده است، اطلاعاتی در مورد "نحوه فشرده سازی مدل فوق رزولوشن هوش مصنوعی" وجود دارد.

در یک وبلاگ فنی مرتبط با "ضد پینگ"، نحوه استفاده از فناوری تشخیص هدف را با فرض حفاظت از حریم خصوصی معرفی کردم …

این اسناد و مقالات کنفرانس برتر پشت وبلاگ‌های فنی، همه از یک سازمان – موسسه تحقیقات هوش مصنوعی کوالکام – آمده است .

می توان گفت کوالکام بسیاری از مقالات هوش مصنوعی منتشر شده توسط موسسات تحقیقاتی را در موتور هوش مصنوعی نسل هفتم «پنهان» کرده است.

مقاله برتر جلسه "مخفی کردن" هوش مصنوعی موبایل

بیایید نگاهی به بهبود الگوریتم دوربین موتور هوش مصنوعی نسل هفتم بیندازیم .

کوالکام با هدف تشخیص هوشمندانه این نقطه، نقاط تشخیص چهره را به 300 در سال جاری افزایش داده است که می تواند تغییرات ظریف تری در بیان را ثبت کند.

اما در عین حال، کوالکام سرعت تشخیص چهره را تا 300 درصد افزایش داده است . چطور این کار را کردی؟

در مطالعه ای که توسط Qualcomm در مورد CVPR منتشر شد، ما پاسخ را پیدا کردیم.

در این مقاله، کوالکام یک لایه کانولوشن جدید به نام Skip-Convolutions (پیش پیچ) پیشنهاد کرد که می تواند دو تصویر را قبل و بعد از آن کم کند و فقط قسمت تغییر یافته را بپیچد.

بله، درست مانند چشم انسان، راحت تر متوجه "قسمت متحرک" می شود.

این امر اسنپدراگون 8 را قادر می‌سازد تا هنگام انجام الگوریتم‌های تشخیص جریان ویدیویی بلادرنگ مانند تشخیص هدف و تشخیص تصویر، تمرکز بیشتری بر روی خود شی مورد نظر داشته باشد و در عین حال از قدرت محاسباتی اضافی برای بهبود دقت استفاده کند.

شاید بپرسید تشخیص چهره با چنین جزئیاتی چه فایده ای برای گرفتن عکس دارد؟

علاوه بر این، این بار کوالکام و لایکا با استفاده از یک موتور هوشمند مبتنی بر هوش مصنوعی، که شامل الگوریتم‌هایی مانند تشخیص چهره است، فیلتر لایکا لایتز را با هم راه‌اندازی کردند که به کاربران امکان می‌دهد بدون فکر کردن، هوشمندانه‌تر عکس بگیرند.

نه تنها تشخیص چهره، بلکه عملکردهای عکاسی هوشمند کوالکام نیز شامل وضوح فوق العاده، کاهش نویز چند فریم، جبران حرکت محلی …

با این حال، جریان ویدیو در عکسبرداری با وضوح بالا معمولاً بلادرنگ است. موتور هوش مصنوعی چگونه به طور هوشمند چنین حجم زیادی از داده را پردازش می کند؟

همچنین یک مقاله CVPR است.کوالکام یک شبکه عصبی متشکل از طبقه‌بندی‌کننده‌های متعدد آبشاری را پیشنهاد کرد که می‌تواند تعداد نورون‌های مورد استفاده در مدل را با توجه به پیچیدگی فریم ویدیو تغییر دهد و میزان محاسبه را به تنهایی کنترل کند.

در مواجهه با فرآیند «حجم زیاد و پیچیده» پردازش هوشمند ویدیو، هوش مصنوعی اکنون می تواند آن را نگه دارد.

علاوه بر عکاسی هوشمند، فناوری صدای کوالکام نیز این بار نقطه درخشانی است.

همانطور که در ابتدا ذکر شد، موتور هوش مصنوعی نسل هفتم از استفاده از تلفن های همراه برای تسریع در تجزیه و تحلیل الگوهای صدای کاربر برای تعیین خطر بیماری هایی مانند آسم و افسردگی پشتیبانی می کند.

بنابراین، چگونه دقیقاً صدای کاربر را بدون درگیر کردن جمع آوری داده ها متمایز می کند؟

به طور خاص، کوالکام یک روش یادگیری فدرال در تلفن همراه را پیشنهاد کرده است که نه تنها می تواند از مدل آموزش صوتی کاربران تلفن همراه استفاده کند، بلکه اطمینان حاصل می کند که حریم خصوصی داده های صوتی درز نمی کند.

بسیاری از این عملکردهای هوش مصنوعی را می توان در مقالات منتشر شده توسط موسسه تحقیقاتی کوالکام AI یافت.

سرنخ هایی که می توان نیز یافت، پشتیبانی نظری است که هوش مصنوعی در ابتدا برای بهبود عملکرد تلفن های همراه ذکر کرد. در اینجا باید یک سوال ذکر شود:

با وجود بسیاری از مدل‌های هوش مصنوعی که به طور همزمان اجرا می‌شوند، کوالکام چگونه عملکرد پردازشی سخت‌افزار را بهبود می‌بخشد؟

در اینجا باید به کمی سازی یک جهت تحقیقاتی کلیدی کوالکام در سال های اخیر اشاره کنیم .

با قضاوت بر اساس آخرین نقشه راه فناوری منتشر شده توسط کوالکام، کمی سازی مدل همیشه یکی از فناوری های اصلی است که موسسه تحقیقاتی هوش مصنوعی در چند سال گذشته مورد مطالعه قرار داده است.هدف "کاهش" مدل های هوش مصنوعی است.

به دلیل توان محدود، توان محاسباتی، حافظه و قابلیت های اتلاف گرما، مدل هوش مصنوعی مورد استفاده تلفن های همراه با مدل هوش مصنوعی در رایانه های شخصی بسیار متفاوت است.

در رایانه شخصی، پردازنده گرافیکی در هر نوبت صدها وات توان دارد و برای محاسبه مدل هوش مصنوعی می توان از اعداد ممیز شناور 16 یا 32 بیتی (FP16، FP32) استفاده کرد. SoC تلفن همراه تنها چند وات قدرت دارد و ذخیره مدل‌های هوش مصنوعی با حجم بالا دشوار است.

در این زمان، لازم است مدل FP32 را به یک عدد صحیح 8 بیتی (INT8) یا حتی یک عدد صحیح 4 بیتی (INT4) کاهش دهیم، در حالی که اطمینان حاصل شود که دقت مدل متحمل ضرر زیادی نمی شود.

با در نظر گرفتن مدل AI matting به عنوان مثال، ما معمولاً می‌توانیم با استفاده از قدرت محاسباتی یک پردازنده کامپیوتری به ماتینگ هوش مصنوعی بسیار دقیق دست یابیم، اما در مقابل، اگر بخواهیم از تلفن همراه برای دستیابی به ماتینگ هوش مصنوعی «تقریباً تأثیرگذار» استفاده کنیم. باید از آن برای روش کمی سازی مدل استفاده کرد.

به منظور امکان نصب مدل‌های هوش مصنوعی بیشتر بر روی تلفن‌های همراه، کوالکام تحقیقات کمی انجام داده است. مقالات منتشر شده در کنفرانس برتر شامل DFQ کوانتیزه‌سازی بدون داده، مکانیسم گرد کردن AdaRound و فناوری کوانتیزاسیون و هرس مشترک بیت‌های بیزی (Bayesian Bits) است. بیت های بیزی). )صبر کنید.

در میان آن‌ها، DFQ یک فناوری کوانتیزاسیون بدون داده است که می‌تواند زمان آموزش وظایف هوش مصنوعی را کاهش دهد و عملکرد دقت کوانتیزاسیون را بهبود بخشد. در MobileNet، رایج‌ترین مدل هوش مصنوعی بصری در تلفن‌های همراه، DFQ به بهترین عملکرد فراتر از همه روش‌های دیگر دست یافته است:

AdaRound می تواند وزن شبکه های پیچیده Resnet18 و Resnet 50 را به 4 بیت کاهش دهد، که فضای ذخیره سازی مدل را تا حد زیادی کاهش می دهد، در حالی که تنها کمتر از 1٪ دقت را از دست می دهد:

به عنوان یک عملیات کوانتیزه‌سازی جدید، بیت‌های بیزی نه تنها می‌توانند عرض بیت را دو برابر کنند، بلکه خطای باقیمانده بین مقدار دقیق کامل و مقدار گرد شده قبلی را در هر عرض بیت جدید کوانتی کنند تا به دقت و کارایی دست یابند. معامله بهتری ارائه می‌کنند. -خاموش بین

این فناوری‌ها نه تنها به مدل‌های بیشتر هوش مصنوعی اجازه می‌دهند تا روی تلفن‌های همراه با مصرف انرژی کمتر اجرا شوند، مانند رزولوشن فوق‌العاده هوش مصنوعی بازی (شبیه به DLSS) که فقط بر روی رایانه قابل اجرا است، اکنون می‌تواند روی اسنپدراگون 8 نیز اجرا شود.

حتی برخی از این مدل‌های هوش مصنوعی می‌توانند همزمان اجرا شوند، مانند تشخیص ژست‌ها و تشخیص چهره:

در واقع، پایان نامه تنها گام اول است.

اگر می‌خواهید به سرعت قابلیت‌های هوش مصنوعی را در برنامه‌های بیشتری اعمال کنید، به پلتفرم‌ها و ابزارهای منبع باز بیشتری نیز نیاز دارید.

قابلیت های هوش مصنوعی بیشتری را در برنامه آزاد کنید

در این زمینه، کوالکام یک ذهن باز دارد.

روش‌ها و مدل‌های ساخت کارآمد برنامه‌های هوش مصنوعی در این مقالات، مؤسسه تحقیقاتی هوش مصنوعی کوالکام از طریق همکاری، منبع باز و روش‌های دیگر، آنها را با جوامع توسعه‌دهنده و شرکای بیشتری به اشتراک گذاشته است، بنابراین ما می‌توانیم بیشتر در اسنپدراگون 8 تجربه کنیم. عملکردها و برنامه‌های جالب.

از یک طرف، کوالکام با گوگل همکاری کرد تا توانایی توسعه سریع برنامه های بیشتر هوش مصنوعی را با توسعه دهندگان به اشتراک بگذارد.

کوالکام به سرویس Vertex AI NAS گوگل در اسنپدراگون 8 مجهز شده است که هنوز ماهانه به روز می شود، به این معنی که برنامه های هوش مصنوعی توسعه یافته توسط توسعه دهندگان بر روی موتور هوش مصنوعی نسل هفتم می توانند به سرعت عملکرد مدل را به روز کنند.

با استفاده از NAS، توسعه‌دهندگان می‌توانند به‌طور خودکار از هوش مصنوعی برای تولید مدل‌های مناسب استفاده کنند، از جمله الگوریتم دوربین هوشمند، ترجمه صوتی، و وضوح فوق‌العاده‌ای که کوالکام در جلسه برتر اعلام کرد. برای توسعه بهترین مدل را مطابقت دهید.

در اینجا از الگوریتم های جبران حرکت و درون یابی فریم کوالکام استفاده می شود. و مشابه این فناوری‌های هوش مصنوعی، توسعه‌دهندگان نیز می‌توانند آن را از طریق NAS پیاده‌سازی کنند و بهتر می‌تواند با اسنپدراگون 8 سازگار شود، بدون اینکه مشکل «تیونینگ ناکارآمد» وجود داشته باشد.

تصور کنید وقتی در آینده با گوشی موبایل مجهز به اسنپدراگون 8 بازی می کنید، احساس می کنید که تصویر صاف تر است، اما قدرت بیشتری از دست نمی دهد (اشاره به افزایش مصرف برق):

در عین حال، نگهداری از مدل هوش مصنوعی ساده تر شده است. به گفته گوگل، در مقایسه با سایر پلتفرم‌ها، تعداد خطوط کد مورد نیاز برای آموزش یک مدل برای Vertex AI NAS می‌تواند نزدیک به 80 درصد کاهش یابد.

از سوی دیگر، کوالکام نیز ابزارهای متن‌باز خود را که در طول سال‌ها مورد تحقیق و بررسی قرار گرفته‌اند، تهیه کرده است.

سال گذشته، Qualcomm منبع باز مدلی از ابزار " بهبود کارایی" به نام AIMET (AI Model Efficiency Toolkit) ارائه کرد.

این شامل تعداد زیادی الگوریتم فشرده سازی و کوانتیزاسیون مانند هرس شبکه عصبی و تجزیه ارزش منفرد (SVD) است که بسیاری از آنها نتایج مقالات کنفرانس برتر منتشر شده توسط موسسه تحقیقات هوش مصنوعی کوالکام هستند. پس از اینکه توسعه‌دهندگان از ابزارهای AIMET استفاده کردند، می‌توانند مستقیماً از این الگوریتم‌ها برای بهبود مدل‌های هوش مصنوعی خود و اجرای روان‌تر آن در تلفن‌های همراه استفاده کنند.

قابلیت‌های کمی کوالکام نه تنها برای توسعه‌دهندگان عادی منبع باز است، بلکه برنامه‌های بیشتر هوش مصنوعی شرکت‌های پیشرو در زمینه هوش مصنوعی را نیز قادر می‌سازد تا در اسنپدراگون 8 پیاده‌سازی شوند.

در اسنپدراگون 8 جدید، آنها با Hugging Face، یک شرکت مشهور در زمینه NLP همکاری کردند تا دستیار هوشمند موجود در تلفن بتواند به کاربران کمک کند تا اعلان‌ها را تجزیه و تحلیل کنند و توصیه کنند که کدام یک را در اولویت قرار دهند، تا کاربران بتوانند مهمترین موارد را ببینند. اعلان ها در یک نگاه

هنگام اجرای مدل تحلیل احساسات آنها بر روی موتور هوش مصنوعی Qualcomm، می تواند 30 برابر سریعتر از سرعت CPU معمولی دست یابد .

دقیقاً به دنبال تحقیقات فنی و نگرش باز حفظ شده در فناوری است که کوالکام به نوسازی «حفره های مغزی جدید» هوش مصنوعی مختلف در صنعت تلفن همراه ادامه می دهد:

از ویدیوی قبلی «حذف هوشمند»، بی‌صدا کردن جلسه هوشمند، تا صفحه حریم خصوصی امسال، وضوح فوق‌العاده تلفن همراه…

برنامه‌های هوش مصنوعی بیشتری وجود دارد که توسط کاغذها، پلتفرم‌ها و ابزارهای منبع باز پیاده‌سازی شده‌اند، که همه آنها در این موتور هوش مصنوعی نیز وجود دارند.

موسسه تحقیقات هوش مصنوعی کوالکام که پشت این تحقیقات پنهان شده بود، بار دیگر با ظاهر شدن موتور هوش مصنوعی نسل هفتم ظاهر شد.

هوش مصنوعی کوالکام "نرم و سخت" است

اغلب اوقات، تصور ما از هوش مصنوعی Qualcomm به نظر می رسد بر روی "عملکرد سخت افزاری" موتور هوش مصنوعی باقی بماند.

به هر حال، از زمانی که اولین پروژه هوش مصنوعی در سال 2007 راه اندازی شد، کوالکام در حال بهبود قابلیت های پردازش مدل های هوش مصنوعی از نظر عملکرد سخت افزاری بوده است.

با این حال، تحقیقات کوالکام در مورد الگوریتم‌های هوش مصنوعی نیز «از قبل برنامه‌ریزی کرده است».

در سال 2018، کوالکام مؤسسه تحقیقاتی هوش مصنوعی را به سرپرستی مکس ولینگ ، نظریه‌پرداز مشهور در زمینه هوش مصنوعی تأسیس کرد و او شاگرد هینتون، پدر یادگیری عمیق است.

طبق آمار ناقص، از زمانی که کوالکام موسسه تحقیقاتی هوش مصنوعی را تاسیس کرد، ده ها مقاله در کنفرانس های آکادمیک برتر هوش مصنوعی مانند NeurIPS، ICLR و CVPR منتشر شده است.

در این میان، حداقل 4 کاغذ فشرده سازی مدل در سمت هوش مصنوعی تلفن های همراه پیاده سازی شده است و مقالات زیادی در رابطه با بینایی کامپیوتر، تشخیص گفتار و محاسبات حریم خصوصی وجود دارد.

می توان گفت که موتور هوش مصنوعی نسل هفتم ذکر شده تنها نمونه ای از نتایج تحقیقات کوالکام در سال های اخیر در مورد الگوریتم های هوش مصنوعی است.

از طریق نتایج تحقیقات Qualcomm AI، Qualcomm همچنین با موفقیت مدل هوش مصنوعی را به بسیاری از سناریوهای کاربردی فناوری پیشرفته گسترش داده است.

از نظر رانندگی خودکار ، کوالکام پلتفرم دیجیتال خودرو اسنپدراگون را راه‌اندازی کرده است که شامل راه‌حلی یک‌جا از تراشه‌ها تا الگوریتم‌های هوش مصنوعی است. در حال حاضر، با بیش از 25 شرکت خودروسازی و تعداد خودروهای متصل استفاده کرده است. راه حل آنها به 200 میلیون وسیله نقلیه رسیده است.

در میان آنها، سیستم رانندگی کمکی نسل بعدی BMW و سیستم رانندگی خودکار راه حل رانندگی خودکار کوالکام را به کار خواهند گرفت.

در XR ، کوالکام پلتفرم توسعه Snapdragon Spaces XR را برای توسعه دستگاه‌ها و برنامه‌هایی مانند عینک‌های AR روی سر منتشر کرد.

اسنپدراگون 8 از طریق همکاری با Wanna Kicks، قابلیت‌های موتور نسل هفتم هوش مصنوعی را نیز به برنامه آزمایشی AR می‌آورد.

در پهپادها ، کوالکام پلتفرم Flight RB5 5G را امسال منتشر کرد. بسیاری از این عملکردها مانند اجتناب از موانع 360 درجه، عکاسی از پهپاد و لرزش گیر را می توان از طریق مدل هوش مصنوعی روی پلتفرم پیاده سازی کرد. در این میان اولین پهپادی که به مریخ رسید، «گیزویت» به پردازنده ها و فناوری های مرتبط ارائه شده توسط کوالکام مجهز شده است.

با نگاهی به گذشته، یافتن این نکته دشوار نیست که این بار کوالکام دیگر بر بهبود قدرت محاسباتی سخت افزاری (TOPS) در عملکرد هوش مصنوعی تاکید نمی کند، بلکه نرم افزار و سخت افزار را به طور کلی یکپارچه می کند و داده های بهبود 4 برابری در عملکرد هوش مصنوعی را به دست می آورد. و تجربه کاربرد هوش مصنوعی را بیشتر تقویت می کند. فرود همه جانبه.

این نه تنها نشان می دهد که کوالکام به تجربه واقعی کاربران توجه بیشتری می کند، بلکه نشان دهنده اعتماد کوالکام به قدرت نرم افزاری خود است، زیرا سخت افزار دیگر جلوه کاملی از قابلیت های هوش مصنوعی کوالکام نیست.

می توان گفت که ارتقاء موتور هوش مصنوعی نسل هفتم اسنپدراگون 8 آغازی برای یکپارچه سازی نرم افزاری و سخت افزاری هوش مصنوعی کوالکام است .

اخیراً کوالکام چندین تحقیق جدید در مورد کدک ها ارائه کرده است که به ترتیب در ICCV 2021 و ICLR 2021 منتشر شده اند.

در این مقالات، کوالکام همچنین از الگوریتم‌های هوش مصنوعی برای نشان دادن ایده‌های جدید برای بهینه‌سازی کدک استفاده کرد.

در مطالعه‌ای با استفاده از اصل GAN، آخرین الگوریتم کدک کوالکام، تصویر را نه تنها واضح‌تر، بلکه در هر فریم کوچک‌تر می‌کند، که تنها با ۱۴.۵ کیلوبایت قابل انجام است:

در مقابل، پس از اینکه الگوریتم کدک اصلی به 16.4 کیلوبایت در هر فریم فشرده شد، جنگل به شدت محو خواهد شد:

در مقاله دیگری که از ایده درون یابی فریم و کدک عصبی استفاده می کند، کوالکام تصمیم گرفت فشرده سازی فریم P مبتنی بر شبکه عصبی و جبران درون یابی فریم را ترکیب کند و از هوش مصنوعی برای پیش بینی جبران حرکتی که باید پس از درون یابی فریم انجام شود، استفاده کرد.

پس از آزمایش، این الگوریتم بهتر از رکورد قبلی SOTA گوگل در CVPR 2020 است و همچنین از عملکرد فشرده سازی فعلی کدک منبع باز مبتنی بر استاندارد H.265 بهتر است.

این اولین تلاش کوالکام نیست که مدل‌های هوش مصنوعی را در زمینه‌های بیشتری اعمال کند، استفاده از کدک‌های ویدیویی مسیر جدیدی است.

اگر این مدل‌ها را بتوان با موفقیت روی پلتفرم یا حتی اپلیکیشن پیاده‌سازی کرد، ما واقعاً می‌توانیم هنگام تماشای ویدیوها در دستگاه آزاد باشیم.

با ادامه برنامه "ادغام نرم و سخت"، ممکن است در آینده شاهد اعمال این آخرین نتایج هوش مصنوعی در گوشی های هوشمند باشیم.

ترکیب «عضلات نشان دادن» کوالکام در رایانه‌های شخصی، خودروسازی، XR و سایر زمینه‌ها…

می‌توان پیش‌بینی کرد که کوالکامی که با آن آشنا هستید و اسنپدراگونی که با آن آشنا هستید، قطعاً در تلفن همراه متوقف نخواهد شد و قابلیت‌های هوش مصنوعی آن در تلفن همراه متوقف نخواهد شد.

#به دنبال کردن حساب رسمی وی چت Aifaner خوش آمدید: Aifaner (شناسه WeChat: ifanr)، در اسرع وقت محتوای هیجان انگیزتری در اختیار شما قرار خواهد گرفت.

Ai Faner | لینک اصلی · مشاهده نظرات · Sina Weibo