AI Infrastructure & Toolsপড়তে ১০ মিনিট লাগবে

ফাইন-টিউনিং

আপনার নিজের ডেটায় এআই মডেলকে কাস্টমাইজ করুন — সাধারণ মডেলকে বিশেষজ্ঞ বানানোর কৌশল
scope:মধ্যবর্তী ধারণাdifficulty:মাঝারি

ফাইন-টিউনিং কী?

একটি LLM (যেমন জিপিটি-৪ (GPT-4), ক্লড (Claude)) হলো একটি সাধারণ-উদ্দেশ্য মডেল — এটি অনেক কিছু জানে কিন্তু কোনো নির্দিষ্ট ক্ষেত্রে বিশেষজ্ঞ নয়। ফাইন-টিউনিং হলো এই সাধারণ মডেলকে আপনার নিজের ডেটা দিয়ে অতিরিক্ত ট্রেনিং দেওয়া, যাতে সে আপনার নির্দিষ্ট কাজে বিশেষজ্ঞ হয়ে ওঠে।

কল্পনা করুন একজন ডাক্তারের কথা। মেডিকেল স্কুলে সে সব বিষয় শিখেছে (= প্রি-ট্রেনিং (pre-training))। তারপর সে হৃদরোগ বিভাগে বিশেষায়িত প্রশিক্ষণ নেয় (= ফাইন-টিউনিং (fine-tuning))। এখন সে সাধারণ ডাক্তারের চেয়ে হৃদরোগে অনেক বেশি দক্ষ।

কখন ফাইন-টিউনিং দরকার?

  • নির্দিষ্ট ভাষা/টোন: আপনার ব্র্যান্ডের নির্দিষ্ট লেখার ধরন মডেলকে শেখাতে চাইলে।
  • বিশেষ ডোমেন জ্ঞান: মেডিকেল, আইনি বা টেকনিক্যাল পরিভাষা ও ধরন শেখাতে।
  • নির্দিষ্ট আউটপুট ফরম্যাট: সবসময় একটি নির্দিষ্ট JSON/XML ফরম্যাটে উত্তর দিতে।
  • দ্রুততা ও খরচ কমাতে: ছোট ফাইন-টিউন করা মডেল প্রায়ই বড় মডেলের সমান কাজ করে, কিন্তু দ্রুততর ও সস্তা।
Note: গুরুত্বপূর্ণ: ফাইন-টিউনিং সবসময় প্রথম পছন্দ নয়। প্রথমে ভালো প্রম্পটিং চেষ্টা করুন (Few-shot examples, সিস্টেম প্রম্পট)। তারপর র‍্যাগ (RAG) চেষ্টা করুন (নিজের ডকুমেন্ট থেকে তথ্য খোঁজা)। সেগুলো যথেষ্ট না হলে তবেই ফাইন-টিউনিং করুন।

ফাইন-টিউনিং কীভাবে কাজ করে?

  1. ডেটা প্রস্তুত করা: প্রশ্ন-উত্তরের জোড়া (pairs) তৈরি করুন। যেমন: ইনপুট → প্রত্যাশিত আউটপুট। সাধারণত JSONL ফরম্যাটে।
  2. ট্রেনিং: মডেলকে আপনার ডেটা দিয়ে কয়েকটি epoch ট্রেন করা হয়। মডেল শিখে নেয় আপনার ডেটার প্যাটার্ন।
  3. মূল্যায়ন: ট্রেনিংয়ে ব্যবহৃত হয়নি এমন ডেটা দিয়ে পরীক্ষা করা — মডেল ভালো শিখেছে কিনা।
  4. ডিপ্লয়: ফাইন-টিউন করা মডেল ব্যবহার শুরু করা।

ফাইন-টিউনিং বনাম অন্যান্য পদ্ধতি

  • প্রম্পটিং: সহজ, দ্রুত, কোনো ট্রেনিং লাগে না। কিন্তু জটিল আচরণ শেখাতে সীমিত।
  • RAG: বাইরের ডেটা থেকে তথ্য খোঁজে। ডেটা আপডেট করা সহজ। কিন্তু মডেলের আচরণ বদলায় না।
  • ফাইন-টিউনিং: মডেলের আচরণই বদলে দেয়। শক্তিশালী কিন্তু সময় ও খরচ বেশি।

ওপেনএআই (OpenAI) দিয়ে ফাইন-টিউনিং (Python)

from openai import OpenAI
client = OpenAI()


# ১. ট্রেনিং ডেটা আপলোড (JSONL ফরম্যাট)
# training_data.jsonl এর প্রতিটি লাইনে:
# {"messages": [{"role": "system", "content": "তুমি একজন..."}, 
#               {"role": "user", "content": "..."}, 
#               {"role": "assistant", "content": "..."}]}


file = client.files.create(
    file=open("training_data.jsonl", "rb"),
    purpose="fine-tune"
)


# ২. ফাইন-টিউনিং শুরু
job = client.fine_tuning.jobs.create(
    training_file=file.id,
    model="gpt-4o-mini-2024-07-18"
)


# ৩. ফাইন-টিউন করা মডেল ব্যবহার
response = client.chat.completions.create(
    model="ft:gpt-4o-mini:my-org::abc123",  # আপনার ফাইন-টিউন করা মডেল
    messages=[{"role": "user", "content": "আমার অর্ডার কোথায়?"}]
)
Output
# ফাইন-টিউনিং সাধারণত কয়েক মিনিট থেকে কয়েক ঘন্টা লাগে।
# ফলাফল: মডেল আপনার নির্দিষ্ট টোন, ফরম্যাট এবং
# ডোমেন জ্ঞান অনুযায়ী উত্তর দেবে।
Challenge

ছোট কুইজ

ফাইন-টিউনিং কী করে?

পড়া চালিয়ে যান

র‍্যাগ (Retrieval Augmented Generation)
এআই (AI)-কে লাইব্রেরি কার্ড দিন — নিজের ডেটা থেকে সঠিক তথ্য খুঁজে উত্তর দেওয়ার শিল্প
→
এলএলএম কীভাবে কাজ করে?
বিড়ালটি ___ এর ওপর বসে আছে। শত শত কোটি উদাহরণ আর গণিতের ম্যাজিকে মেশিন কীভাবে সঠিক শব্দটি খুঁজে পায়?
→
প্রম্পট কৌশলগুলো (Prompt Techniques)
অসাধারণ এআই উত্তর পাওয়ার জন্য পেশাদারদের ব্যবহৃত গোপন কৌশল
→
এআই এপিআই ও এসডিকে
আপনার অ্যাপে এআই যোগ করুন — ওপেনএআই (OpenAI), অ্যানথ্রোপিক (Anthropic), গুগল (Google)-এর API দিয়ে বুদ্ধিমান অ্যাপ তৈরি করুন
→