Τρέξε Local AI Models και Ταίριαξέ τα με το Hardware

Εκτίμησε αν model χωράει στο κινητό με parameter count, quantization, context, RAM headroom, storage και sustained heat.

Βασικές έννοιες

• Το model file size δεν είναι όλο το runtime memory· context και inference buffers καταναλώνουν επιπλέον RAM.
• Μικρότερα quantized models μπορεί να είναι πρακτικά offline, αλλά accuracy και languages διαφέρουν.
• Long inference μπορεί να προκαλέσει throttling και battery drain ακόμα αν το model φορτώνει.

Κανόνας απόφασης

Κράτησε αρκετή free RAM για Android και σταμάτησε tests με persistent heat, swapping ή app instability.

Εφάρμοσέ το στο κινητό σου

Δημιούργησε model ladder για το κινητό με safe, fallback και “do not attempt” tiers.

Επίσημες πηγές

• https://ai.google.dev/edge/mediapipe/solutions/genai/llm_inference/android
• https://ai.google.dev/gemini-api/docs/get-started/android_aicore