Το τμήμα καλαθοσφαίρισης του Ολυμπιακού αποτελεί μία από τις μεγαλύτερες ομάδες στον ελληνικό και στον ευρωπαϊκό χώρο. Το 1931 αθλητές του τμήματος πετοσφαίρισης της ομάδας ξεκίνησαν τη δημιουργία της ομάδας καλαθοσφαίρισης.
Το 1937 η καλαθοσφαίριση έχει ατονήσει στον Πειραιά. Η διοίκηση του Ολυμπιακού επιθυμώντας να φέρει και πάλι στην επιφάνεια το άθλημα, καλεί ορισμένους φιλάθλους του Πειραιά και τους εξουσιοδοτεί εν λευκώ να δημιουργήσουν και πάλι ομάδα καλαθοσφαίρισης. Με επικεφαλής τον Γ. Ιερώνυμο, έφορο τον Γιάννη Κουτσουλέντη και βοηθούς τους Σ. Παπαδάκη, Μ. Κρικίδη και με παίκτες από την Ιωνίδειο Σχολή Πειραιά (η οποία είχε εξαιρετική ομάδα αποτελούμενη από μαθητές που ήταν φίλαθλοι του Ολυμπιακού) ο Ολυμπιακός αποκτά και πάλι μέσα σε σύντομο χρονικό διάστημα ομάδα καλαθοσφαίρισης.
Την προπόνηση είχε αναλάβει ο Ν. Καραβιάς, ο οποίος μέσα σε σύντομο χρονικό διάστημα είχε φτιάξει ένα ισχυρό συγκρότημα, το οποίο αποτέλεσαν οι γνωστοί καλαθοσφαιριστές της εποχής εκείνης: Ξενοφών Νικολαΐδης, Σπύρος Ανδρεάδης, ο αδελφός του Γιώργος Ανδρεάδης, Πέτρος Δημητρόπουλος, Μανώλης Χατζηνικολάου, Αλέξανδρος Κουτσούκος, Σ. Μιχόπουλος, Κατσαβής, Αναγνωστόπουλος. Πριν όμως ισχυροποιηθεί η ομάδα, ήρθε ο Β΄ Παγκόσμιος Πόλεμος και σταμάτησε κάθε κίνηση. Αμέσως μετά τον πόλεμο ο Ολυμπιακός με γενικό αρχηγό τον Γιάννη Κουτσουλέντη βρίσκεται εξ αρχής μεταξύ των καλύτερων ομάδων.
Το πρώτο γήπεδο που χρησιμοποίησε η ομάδα ήταν αυτό του «Μπάκαλα» στην Καστέλλα, το οποίο κατασκευάστηκε το 1938 με προσωπική εργασία μελών του Ολυμπιακού. Το 1948 μεταφέρθηκε στο γήπεδο της οδού Μικράς Ασίας και μετέπειτα στο Πασαλιμάνι.
Πρώτες επιτυχίες
Το 1949 ο Ολυμπιακός κατέκτησε το πρώτο Πρωτάθλημα Ελλάδας στην ιστορία του μετά από νίκη στον τελικό του πρωταθλήματος επί του Τρίτωνα. Σημαντικότεροι παίκτες και πρωταγωνιστές της κατάκτησης του τίτλου ήταν οι Γιάννης και Αλέκος Σπανουδάκης, Εμμανουήλ Χατζηνικολάου, Αλέξανδρος Κουτσούκος και Στυλιανός Τσικάτος. Ο Αλέκος Σπανουδάκης μάλιστα, αναδείχτηκε πρώτος σκόρερ του πρωταθλήματος.
Το δεύτερο πρωτάθλημα του Ολυμπιακού θα έρθει 11 χρόνια μετά, το 1960, με πρωταγωνιστές και πάλι τα αδέρφια Σπανουδάκη και τους Θεόδωρο Βαμβακούση, Βασίλη Φασιλή, Νίκο Νικολαϊδη, Μάρκο Καλούδη και Μίμη Δουράτσο. Με την κατάκτηση του τίτλου ο Ολυμπιακός εξασφάλισε την συμμετοχή του στο Κύπελλο Πρωταθλητριών Ευρώπης για πρώτη φορά στην ιστορία του, όπου αντιμετώπισε τη Γαλατασαράι.
Οι αδερφοί Αλέκος και Γιάννης Σπανουδάκης, ο οποίος ήταν παίκτης-προπονητής του Ολυμπιακού και στα 2 πρώτα πρωταθλήματα που κατέκτησε η ομάδα, εφάρμοσαν σημαντικές καινοτομίες στον τρόπο παιχνιδιού. Ο Αλέκος Σπανουδάκης ήταν ο πρώτος Ευρωπαίος που χρησιμοποίησε το τζαμπ σουτ, ενώ ο Γιάννης είχε μάθει αρκετά από τα μυστικά του αθλήματος από τον θρυλικό παίκτη και προπονητή του NBA Μπομπ Κούζι.[9] Οι δυο τους υπήρξαν σημαντικότατοι συντελεστές στη δημιουργία μιας αξιόλογης ομάδας και ήταν από τους πρωταγωνιστές στα πρωταθλήματα του 1949 και του 1960.
Το αήττητο πρωτάθλημα και οι επιτυχίες της δεκαετίας του '70
Οι Στηβ Γιατζόγλου, Γιώργος Καστρινάκης, Γιώργος Μπαρλάς, Παύλος Διάκουλας, Πολ Μελίνι, Νίκος Σισμανίδης, Θανάσης Ράμμος. Παρασκευάς Τσάνταλης, Γιάννης Γκαρώνης, Τόλης Σπανός και Κίμωνας Κοκορόγιαννης με προπονητή τον Φαίδωνα Ματθαίου, οδηγούν τον Ολυμπιακό στο πρώτο νταμπλ της ιστορίας του, το 1976. Μεγάλη επιτυχία ήταν ότι τη χρονιά εκείνη κατέκτησε το τρίτο του πρωτάθλημα, αήττητος, έχοντας 22 νίκες σε ισάριθμα παιχνίδια, ενώ έφτασε και στα προημιτελικά του Κυπέλλου Κυπελλούχων. Νωρίτερα και συγκεκριμένα την περίοδο 1972–73, ο Ολυμπιακός υπό τις οδηγίες του Ματθαίου είχε αγωνιστεί για πρώτη φορά στην ιστορία του στο Κύπελλο Κυπελλούχων, φτάνοντας στους 16 της διοργάνωσης. Στα ευρωπαϊκά παιχνίδια εκείνης της περιόδου, την ομάδα είχε ενισχύσει και ο σπουδαίος Αμερικανός Τσάρλι Γιέλβερτον που είχε αγωνιστεί στους Πόρτλαντ Τρέιλ Μπλέιζερς.
Το 1977 θα κατακτήσει και πάλι το Κύπελλο Ελλάδας με τον Κώστα Μουρούζη στον πάγκο της ομάδας, με πιο χαρακτηριστική τη νίκη με 110–68 επί του Παναθηναϊκού εκτός έδρας σε νοκ-άουτ παιχνίδι, που συνιστά την μεγαλύτερη νίκη στις αναμετρήσεις μεταξύ των 2 αιωνίων αντιπάλων (42 πόντοι διαφορά και μάλιστα εκτός έδρας).[10] Πρωταγωνιστές του Ολυμπιακού ήταν οι Μελίνι με 24 πόντους και Καστρινάκης με 22, ενώ σημαντική ήταν η συνεισφορά των Διάκουλα με 18 και Γιατζόγλου με 15 πόντους αντίστοιχα.
Το επόμενο Πρωτάθλημα που κατακτήθηκε το 1978 συνοδεύτηκε πάλι με την κατάκτηση του Κυπέλλου και η ομάδα πανηγύρισε την κατάκτηση του δεύτερου συνεχόμενου ντάμπλ σε τρία χρόνια. Διακριθέντες ήταν και πάλι οι Στηβ Γιατζόγλου και Γιώργος Καστρινάκης με προπονητή τον Κώστα Μουρούζη. Το 1979 ο Ολυμπιακός έφτασε στην τελική φάση του Κυπέλλου Πρωταθλητριών (ημιτελικός γύρος των «6»), που αποτελεί τη σημαντικότερη επιτυχία του μέχρι τότε στην κορυφαία διασυλλογική διοργάνωση.
Η περίοδος Γιατζόγλου–Καστρινάκη ολοκληρώθηκε με 1 ακόμα Κύπελλο Ελλάδος το 1980, έχοντας για προπονητή τον Γιώργο Μπαρλά. Από τότε ξεκινάει μια εποχή πτώσης για την ομάδα, η οποία θα διαρκέσει μέχρι τις αρχές της δεκαετίας του 1990.
