هوش مصنوعی آنقدر که باید در محصولات و سرویس‌ها، حضور ندارد. این امر دلایل زیادی دارد که مهمترین آن بالا بودن هزینه‌ها در این حوزه است اما در عین حال روش‌هایی وجود دارد که هوش مصنوعی را کارآمد و بهینه می‌کند.
بر أساس روندی که در سالهای اخیر دنبال می‌شد، مدل‌ها هر روز بزرگ و بزرگ‌تر شدند. مثلا در حوزه زبان مدل‌ها میلیون‌ها برابر شدند. از سال 2012 تا به الان بزرگترین مدل در این حوزه یک و نیم تریلیون پارامتر شده است.
این مدلهای بزرگ کارهای عجیبی می‌کنند. برای مثال چند نمونه داده می‌گیرند و می‌توانند با آنالیز این داده‌ها، شعر بگویند، مقاله تولید کنند و قابلیت‌های فوق‌العاده‌ای در گفت و گو از خود به نمایش بگذارند. تجربه این مدل‌ها به ما إحساس استفاده یا بکارگیری از هوش مصنوعی واقعی را میدهد و این در حالی است که هزینه استفاده از این مدل‌ها و حتی آموزش آنها بسیار بالاست. تا جایی که حتی در مواردی هزینه آموزش این مدل‌ها به حدود 4.6 میلیون دلار هم می‌رسد. در کنار این مساله، چالش دیگری نیز وجود دارد که از نوع محیط زیستی است چرا که ردپای کربن این مدل‌سازی‌ها بالاست.
ممکن است این تصور به وجود آید که در گذر زمان، ظرفیت‌های هاردوب افزایش پیدا کرده و هزینه آموزش و راه‌اندازی این مدل‌ها کاهش پیدا می‌کند اما واقعیت این است که در چند سال اخیر این هزینه مدام در حال افزایش است و همچنین هزینه آموزش بالا باعث می‌شود که فقط یک جمعیت خاص و تنها کمپانیهای بزرگ امکان استفاده از آن را داشته باشند.
سوال این است که چرا این مدل‌ها آنقدر بزرگ هستند که نمی‌توانیم به شکل بهینه از آنها استفاده کنیم و چرا از ابتدا از یک مدل کوچک استفاده نمی‌کنیم؟ باید به این نکته توجه شود که برای هر نوع طراحی از پیش تعیین شده، اگر بودجه کافی در اختیار داشته باشید، با افزایش سایز مدل دقت را بالا برده و کمک به ارائه مدل بهتر می‌کنید و این حقیقتی است که منجر به ایجاد حوزه‌ای در سالهای اخیر، تحت عنوان فشرده‌سازی شده است. به این معنا که حالا که بر این مدلهای بزرگ تمرکز داریم، سعی کنیم حداقل آنها را فشرده کنیم تا هزینه به کار گیری و حتی آموزش آنها پایین بیاید.