← Back to Home ← প্রচ্ছদে ফিরে যান

Foundation Models Registry ফাউন্ডেশন মডেল রেজিস্ট্রি

An open repository of small and scalable foundation models, embeddings, and aligned checkpoints engineered for Bengali and multilingual language intelligence. বাংলা ও বহুভাষিক বুদ্ধিমত্তার জন্য কথা ল্যাবের উন্মুক্ত ফাউন্ডেশন মডেল, এমবেডিং এবং অ্যালাইন্ড চেকপয়েন্টের উন্মুক্ত রেজিস্ট্রি।

Filter: ফিল্টার:
Kotha-S Series

Kotha-S1

MIT License

A 99.94M parameter bilingual decoder-only language model trained from scratch on IndicCorpV2, Bangla Wikipedia, and educational web text. Features RoPE embeddings, RMSNorm, and SwiGLU non-linearities for robust low-latency inference.

Parameters প্যারামিটার 99.94M
Architecture আর্কিটেকচার LLaMA (RoPE + SwiGLU)
Hidden / Heads হিডেন / হেডস 640d · 12 Layers · 10 Heads
Tokenizer টোকেনাইজার 32K Custom Byte-level BPE
Context Window কনটেক্সট উইন্ডো 512 Tokens
Training Stack প্রশিক্ষণ পরিকাঠামো PyTorch · FlashAttention-2
Hugging Face Weights হাগিং ফেস মডেল Code Repository গিটহাব কোড
Updated: Oct 2026 আপডেট: Oct 2026
Kotha-S Series · Public Weights উন্মুক্ত ওয়েট

Kotha-S1-Instruct

Apache 2.0

Kotha-S1-Instruct হলো Kotha-S1 (~100M) বেস মডেলের ফাইন-টিউনড চ্যাট সংস্করণ। Alpaca Bengali ডেটাসেট ও কথোপকথন শিষ্টাচার ডেটা দিয়ে Supervised Fine-Tuning (SFT) করা হয়েছে।

Parameters প্যারামিটার 99.9M
Architecture আর্কিটেকচার LLaMA (RoPE + SwiGLU)
Hidden / Heads হিডেন / হেডস 640d · 12 Layers · 10 Heads
Tokenizer টোকেনাইজার 32K Custom Byte-level BPE
Context Window কনটেক্সট উইন্ডো 512 Tokens
Training Stack প্রশিক্ষণ পরিকাঠামো PyTorch · FlashAttention-2
Hugging Face Weights হাগিং ফেস মডেল Code Repository গিটহাব কোড
Updated: Oct 2026 আপডেট: Oct 2026

Citation & Academic Reference উদ্ধৃতি ও প্রাতিষ্ঠানিক রেফারেন্স

If you use Kotha Lab models, checkpoints, or datasets in your academic research or production applications, please cite our technical report: আপনার প্রাতিষ্ঠানিক গবেষণা কিংবা অ্যাপ্লিকেশনে কথা ল্যাবের মডেল বা ডেটাসেট ব্যবহার করলে নিম্নোক্ত বিবটেক্স (BibTeX) উদ্ধৃতি ব্যবহার করুন:

citation.bib 
@misc{kothalab2026,
  title={Kotha-S1: An Open 100M Bilingual Small Language Model for Low-Resource Indic Intelligence},
  author={Wahid, Md. and Kotha Lab Contributors},
  year={2026},
  publisher={Hugging Face},
  howpublished={\url{https://huggingface.co/logicwahid/Kotha-S1}}
}