होम › सभी पाठ › AI की समझ — गहराई

🪙 टोकन और कॉन्टेक्स्ट — AI 'भूलता' क्यों है

टोकन क्या है, याददाश्त की सीमा, और काम के टिप्स

जो AI को थोड़ा समझ चुके हैं

टोकन क्या होता है

AI शब्दों को सीधे नहीं, बल्कि छोटे टुकड़ों में पढ़ता है — इन्हें 'टोकन' कहते हैं। एक टोकन एक छोटा शब्द, शब्द का हिस्सा या एक चिह्न हो सकता है। मोटे तौर पर अंग्रेज़ी में 1 शब्द ≈ 1.3 टोकन; हिंदी जैसी भाषाओं में अक्सर ज़्यादा टोकन लगते हैं।

कॉन्टेक्स्ट विंडो — AI की 'कार्यशील याददाश्त'

हर AI एक बार में सीमित टोकन ही 'देख' सकता है — इसी सीमा को कॉन्टेक्स्ट विंडो कहते हैं। इसमें आपका सवाल, बीती बातचीत और AI का जवाब, सब गिने जाते हैं। 2025 के कई बड़े मॉडल लाखों टोकन तक संभाल लेते हैं, फिर भी सीमा हमेशा रहती है।

• टोकन = टेक्स्ट का छोटा टुकड़ा (शब्द/शब्द का हिस्सा/चिह्न)
• कॉन्टेक्स्ट विंडो = एक बार में पढ़ी जा सकने वाली कुल टोकन सीमा
• लंबी बातचीत में पुरानी बातें सीमा से बाहर खिसक जाती हैं
• तब AI शुरुआती बातें 'भूल' जाता है — यह बग नहीं, डिज़ाइन है
• नई चैट शुरू करने पर पुरानी याददाश्त साफ़ हो जाती है

AI 'भूलता' क्यों है

AI के पास इंसानी याददाश्त नहीं होती। वह सिर्फ़ उतना ही देखता है जो इस समय कॉन्टेक्स्ट विंडो में है। बातचीत बहुत लंबी होने पर शुरुआती हिस्सा खिड़की से बाहर हो जाता है, इसलिए वह तथ्य खो जाते हैं। साथ ही, बहुत भरी हुई विंडो में बीच की बातों पर ध्यान कमज़ोर पड़ सकता है।

इसे आज़माएँ — तैयार प्रॉम्प्ट

यह प्रॉम्प्ट कॉपी करके किसी भी AI ऐप में पूछिए:

अपनी समझ जाँचिए

इसी विषय के और पाठ

• मशीन कैसे सीखती है — आसान भाषा मेंडेटा, पैटर्न और अनुमान — बिना गणित की झंझट के
• न्यूरल नेटवर्क — आसान भाषा मेंन्यूरॉन, परतें और वज़न — दिमाग़ वाली मिसाल से
• डीप लर्निंग क्या है — परतों वाली सीख'गहरी' क्यों कहते हैं, और यह पुराने तरीकों से बेहतर कैसे
• ChatGPT जैसे LLM असल में कैसे काम करते हैंअगला शब्द ताड़ना — और यह 'सोचना' क्यों नहीं है
• ट्रेनिंग बनाम फ़ाइन-ट्यूनिंग बनाम RAGAI को अपनी जानकारी सिखाने के 3 तरीके — आसान मिसालों में