LiteRT ওভারভিউ

LiteRT, পূর্বে TensorFlow Lite নামে পরিচিত, হল অন-ডিভাইস AI এর জন্য Google এর উচ্চ-পারফরম্যান্স রানটাইম। আপনি বিস্তৃত ML/AI টাস্কের জন্য রেডি-টু-চালিত LiteRT মডেলগুলি খুঁজে পেতে পারেন, অথবা AI Edge রূপান্তর এবং অপ্টিমাইজেশান টুলগুলি ব্যবহার করে TFLite ফর্ম্যাটে TensorFlow, PyTorch এবং JAX মডেলগুলিকে রূপান্তর এবং চালাতে পারেন৷

মূল বৈশিষ্ট্য

  • অন-ডিভাইস মেশিন লার্নিংয়ের জন্য অপ্টিমাইজ করা হয়েছে : LiteRT পাঁচটি মূল ODML সীমাবদ্ধতাগুলিকে সম্বোধন করে: লেটেন্সি (সার্ভারে কোনও রাউন্ড-ট্রিপ নেই), গোপনীয়তা (কোনও ব্যক্তিগত ডেটা ডিভাইস ছেড়ে যায় না), সংযোগ (ইন্টারনেট সংযোগের প্রয়োজন নেই), আকার (হ্রাস করা মডেল) ��বং ������ন�����ি আকার) এবং শক্তি খরচ (দক্ষ অনুমান এবং নেটওয়ার্ক সংযোগের অভাব)।

  • মাল্টি-প্ল্যাটফর্ম সমর্থন : অ্যান্ড্রয়েড এবং iOS ডিভাইস, এমবেডেড লিনাক্স এবং মাইক্রোকন্ট্রোলারের সাথে সামঞ্জস্যপূর্ণ।

  • মাল্টি-ফ্রেমওয়ার্ক মডেল অপশন : AI Edge TensorFlow, PyTorch, এবং JAX মডেলের মডেলগুলিকে FlatBuffers ফরম্যাটে ( .tflite ) রূপান্তর করার জন্য টুল সরবরাহ করে, যা আপনাকে LiteRT-এ বিস্তৃত অত্যাধুনিক মডেল ব্যবহার করতে সক্ষম করে। আপনার কাছে মডেল অপ্টিমাইজেশান সরঞ্জামগুলিতেও অ্যাক্সেস রয়েছে যা কোয়ান্টাইজেশন এবং মেটাডেটা পরিচালনা করতে পারে।

  • বিভিন্ন ভাষা সমর্থন : জাভা/কোটলিন, সুইফট, অবজেক্টিভ-সি, সি++ এবং পাইথনের জন্য SDK অন্তর্ভুক্ত।

  • উচ্চ কর্মক্ষমতা : GPU এবং iOS কোর ML এর মত বিশেষ প্রতিনিধিদের মাধ্যমে হার্ডওয়্যার ত্বরণ ।

উন্নয়ন কর্মপ্রবাহ

LiteRT ডেভেলপমেন্ট ওয়ার্কফ্লোতে একটি ML/AI সমস্যা চিহ্নিত করা, সেই সমস্যার সমাধান করে এমন একটি মডেল বেছে নেওয়া এবং ডিভাইসে মডেলটি বাস্তবায়ন করা জড়িত। নিম্নলিখিত পদক্ষেপগুলি আপনাকে কর্মপ্রবাহের মধ্য দিয়ে নিয়ে যায় এবং আরও নির্দেশাবলীর লিঙ্ক প্রদান করে।

1. ML সমস্যার সবচেয়ে উপযুক্ত সমাধান চিহ্নিত করুন

মেশিন লার্নিং সমস্যা সমাধানের ক্ষেত্রে LiteRT ব্যবহারকারীদের উচ্চ স্তরের নমনীয়তা এবং কাস্টমাইজযোগ্যতা প্রদান করে, এটি ব্য��হারকারীদের জন্য উপযুক্ত করে তোলে যাদের একটি নির্দিষ্ট মডেল বা একটি বিশেষ বাস্তবায়নের প্রয়োজন হয়। প্লাগ-এন্ড-প্লে সলিউশনের সন্ধানকারী ব্যবহারকারীরা MediaPipe টাস্ক ��ছন্দ করতে পারে, যা বস্তুর সনাক্তকরণ, পাঠ্য শ্রেণিবিন্যাস এবং LLM অনুমানের মতো সাধারণ মেশিন লার্নিং কাজের জন্য প্রস্তুত সমাধান সরবরাহ করে।

নিম্নলিখিত AI এজ ফ্রেমওয়ার্কগুলির মধ্যে একটি বেছে নিন:

  • LiteRT : নমনীয় এবং কাস্টমাইজযোগ্য রানটাইম যা মডেলের বিস্তৃত পরিসর চালাতে পারে। আপনার ব্যবহারের ক্ষেত্রে একটি মডেল চয়ন করুন, এটিকে LiteRT ফর্ম্যাটে রূপান্তর করুন (যদি প্রয়োজন হয়), এবং এটিকে ডিভাইসে চালান৷ আপনি যদি LiteRT ব্যবহার করতে চান তবে পড়তে থাকুন।
  • মিডিয়াপাইপ টাস্ক : ডিফল্ট মডেলের সাথে প্লাগ-এন্ড-প্লে সমাধান যা কাস্টমাইজেশনের অনুমতি দেয়। আপনার AI/ML সমস্যার সমাধান করে এমন টাস্ক বেছে নিন এবং একাধিক প্ল্যাটফর্মে এটি বাস্তবায়ন করুন। আপনি যদি MediaPipe Tasks ব্যবহার করতে চান, MediaPipe Tasks ডকুমেন্টেশন দেখুন।

2. একটি মডেল চয়ন করুন

একটি LiteRT মডেল ফ্ল্যাটবাফারস নামে পরিচিত একটি দক্ষ বহনযোগ্য বিন্যাসে উপস্থাপন করা হয়, যা .tflite ফাইল এক্সটেনশন ব্যবহার করে।

আপনি নিম্নলিখিত উপায়ে একটি LiteRT মডেল ব্যবহার করতে পারেন:

  • একটি বিদ্যমান LiteRT মডেল ব্যবহার করুন: সবচেয়ে সহজ পদ্ধতি হল .tflite ফরম্যাটে ইতিমধ্যে একটি LiteRT মডেল ব্যবহার করা। এই মডেলগুলির জন্য কোনও অতিরিক্ত রূপান্তর পদক্ষেপের প্রয়োজন নেই। আপনি Kaggle মডেলগুলিতে LiteRT মডেলগুলি খুঁজে পেতে পারেন৷

  • একটি মডেলকে LiteRT মডেলে রূপান্তর করুন: আপনি মডেলগুলিকে FlatBuffers ফরম্যাটে ( .tflite ) রূপান্তর করতে TensorFlow Converter , PyToch Converter , বা JAX রূপান্তরকারী ব্যবহার করতে পারেন এবং সেগুলি LiteRT-এ চালাতে পারেন৷ শুরু করার জন্য, আপনি নিম্নলিখিত সাইটগুলিতে মডেলগুলি খুঁজে পেতে পারেন:

একটি LiteRT মডেল ঐচ্ছিকভাবে মেটাডেটা অন্তর্ভুক্ত করতে পারে যেটিতে মানব-পঠনযোগ্য মডেলের বিবরণ এবং মেশিন-পঠনযোগ্য ডেটা রয়েছে যা ডিভাইসে অনুমানের সময় প্রাক- এবং পোস্ট-প্রসেসিং পাইপলাইনগুলির স্বয়ংক্রিয় প্রজন্মের জন্য। আরো বিস্তারিত জানার জন্য মেটাডেটা যোগ করুন দেখুন।

3. আপনার অ্যাপে মডেলটি সংহত করুন

আপনি ওয়েব, এমবেডেড এবং মোবাইল ডিভাইসে সম্পূর্ণরূপে ডিভাইসে অনুমান চালানোর জন্য আপনার LiteRT মডেলগুলি বাস্তবায়ন করতে পারেন। LiteRT-এ পাইথন , জাভা এবং অ্যান্ড্রয়েডের জন্য কোটলিন , iOS-এর জন্য সুইফট এবং মাইক্রো-ডিভাইসের জন্য C++ এর API রয়েছে।

আপনার পছন্দের প্ল্যাটফর্মে একটি LiteRT মডেল বাস্তবায়ন করতে নিম্নলিখিত নির্দেশিকাগুলি ব্যবহার করুন:

Android এবং iOS ডিভাইসে, আপনি হার্ডওয়্যার ত্বরণ ব্যবহার করে কর্মক্ষমতা উন্নত করতে পারেন। উভয় প্ল্যাটফর্মে আপনি একটি GPU প্রতিনিধি ব্যবহার করতে পারেন, এবং iOS-এ আপনি কোর ML প্রতিনিধি ব্যবহার করতে পারেন। নতুন হার্ডওয়্যার এক্সিলারেটরের জন্য সমর্থন যোগ করতে, আপনি আপনার নিজস্ব প্রতিনিধিকে সংজ্ঞায়িত করতে পারেন।

আপনি মডেল প্রকারের উপর ভিত্তি করে নিম্নলিখিত উপায়ে অনুমান চালাতে পারেন:

  • মেটাডেটা ছাড়া মডেল : LiteRT ইন্টারপ্রেটার API ব্যবহার করুন। জাভা, সুইফট, সি++, অবজেক্টিভ-সি এবং পাইথনের মতো একাধিক প্ল্যাটফর্ম এবং ভ��ষায় সমর্থিত।

  • মেটাডেটা সহ মডেল : আপনি LiteRT সাপোর্ট লাইব্রেরির সাথে কাস্���� ইনফারেন্স পাইপলাইন তৈরি করতে পারেন।

LiteRT থেকে মাইগ্রেট করুন

যে অ্যাপ্লিকেশনগুলি LiteRT লাইব্রেরি ব্যবহার করে সেগুলি কাজ করতে থাকবে, তবে সমস্ত নতুন সক্রিয় বিকাশ এবং আপডেটগুলি শুধুমাত্র LiteRT প্যাকেজগুলিতে অন্তর্ভুক্ত করা হবে। LiteRT API-এ TF Lite API-এর মতো একই পদ্ধতির নাম রয়েছে, তাই LiteRT-এ স্থানান্তরিত করার জন্য বিস্তারিত কোড পরিবর্তনের প্রয়োজন নেই।

আরও তথ্যের জন্য, মাইগ্রেশন গাইড পড়ুন।

পরবর্তী পদক্ষেপ

নতুন ব্যবহারকারীদের LiteRT কুইকস্টার্ট দিয়ে শুরু করা উচিত। নির্দিষ্ট তথ্যের জন্য, নিম্নলিখিত বিভাগগুলি দেখুন:

মডেল রূপান্তর

প্ল্যাটফর্ম গাইড