امام در یک زندان بسر نبرد، در زندان های متعدد بسر برد. او را از این زندان به آن زندان منتقل می کردند، و راز مطلب این بود که در هر زندانی که امام را می بردند، بعد از اندک مدتی زندانبان مرید می شد. اول امام را به زندان بصره بردند. عیسی بن جعفر بن ابی جعفر منصور، یعنی نوه منصور دوانیقی والی بصره بود. امام را تحویل او دادند که یک مرد عیاش کیاف و شرابخوار و اهل رقص و آواز بود. به قول یکی از کسان او: این مرد عابد و خداشناس را در جایی آوردند که چیزها به گوش او رسید که در عمرش نشنیده بود. در هفتم ماه ذی الحجه سال 178 امام را به زندان بصره بردند، و چون عید قربان در پیش بود و ایام به اصطلاح جشن و شادمانی بود، امام را در یک وضع بدی (از نظر روحی) بردند. مدتی امام در زندان او بود. کم کم خود این عیسی بن جعفر علاقه مند و مرید شد. او هم قبلا خیال می کرد که شاید واقعا موسی بن جعفر همانطور که دستگاه خلافت تبلیغ می کند مردی است یاغی که فقط هنرش این است که مدعی خلافت است، یعنی عشق ریاست به سرش زده است. دید نه، او مرد معنویت است و اگر مسئله خلافت برای او مطرح است از جنبه معنویت مطلب مطرح است نه اینکه یک مرد دنیا طلب باشد. بعدها وضع عوض شد. دستور داد یک اطاق بسیار خوبی را در اختیار امام قرار دادند و رسما از امام پذیرایی می کرد. هارون محرمانه پیغام داد که کلک این زندانی را بکن. جواب داد من چنین کاری نمی کنم. اواخر، خودش به خلیفه نوشت که دستور بده این را از من تحویل بگیرند والا خودم او را آزاد می کنم، من نمی توانم چنین مردی را به عنوان یک زندانی نزد خود نگاه دارم. چون پسر عموی خلیفه و نوه منصور بود، حرفش البته خریدار داشت.
امام در زندانهای مختلف
امام را به بغداد آوردند و تحویل فضل بن ربیع دادند. فضل بن ربیع، پسر "ربیع" حاجب معروف است. هارون امام را به او سپرد. او هم بعد از مدتی به امام علاقمند شد، وضع امام را تغییر داد و یک وضع بهتری برای امام قرار داد. جاسوس ها به هارون خبر دادند که موسی بن جعفر در زندان فضل بن ربیع به خوشی زندگی می کند، در واقع زندانی نیست و باز مهمان است. هارون امام را از او گرفت و تحویل فضل بن یحیی برمکی داد. فضل بن یحیی هم بعد از مدتی با امام همین طور رفتار کرد که هارون خیلی خشم گرفت و جاسوس فرستاد. رفتند و تحقیق کردند، دیدند قضیه از همین قرار است، و بالاخره امام را گرفت و فضل بن یحیی مغضوب واقع شد. بعد پدرش یحیی برمکی، این وزیر ایرانی علیه ما علیه برای اینکه مبادا بچه هایش از چشم هارون بیفتند که دستور هارون را اجرا نکردند، در یک مجلسی سر زده از پشت سر هارون رفت سرش را به گوش هارون گذاشت و گفت: اگر پسر تقصیر کرده است، من خودم حاضرم هر امری شما دارید اطاعت کنم، پسرم توبه کرده است، پسرم چنین، پسرم چنان. بعد آمد به بغداد و امام را از پسرش تحویل گرفت و تحویل زندانبان دیگری به نام سندی بن شاهک داد که می گویند اساسا مسلمان نبوده، و در زندان او خیلی بر امام سخت گذشت، یعنی دیگر امام در زندان او هیچ روی آسایش ندید.