בשנת 1976 הצטרף אולסי פרי למכבי תל אביב והוצב בתפקיד הסנטר של הקבוצה. הוא השתלב בקבוצה היטב, חברתית ומקצועית, וכבר בעונתו הראשונה היה שותף למשחקים שהפכו לקלאסיקת כדורסל ישראלית כמו הניצחון ההיסטורי 91:79 על צסק"א מוסקבה והזכייה הראשונה בגביע אירופה לאלופות.
על אף היותו של אולסי פרי ריבאונדר טוב, הוא חרג מהתפקידים הקבוצתיים השמורים לשחקנים גבוהים בקבוצות כדורסל והתמחה, בין השאר, בקליעה טובה מחצי מרחק – מה שהיקשה מאוד את השמירה עליו לשחקנים נמוכים ממנו ואילץ שחקנים גבוהים לצאת מרחבת קבוצתם במטרה לחסמו ולהפקיר בכך את אזור הסל. תכונה אופיינית נוספת שלו הייתה ההסתגלות המהירה למשחק – תכונה שהפכה אותו, עם התבגרותו, למחליף איכותי במיוחד.

בשנת 1981 היה פרי שותף בכיר לעונה הטובה ביותר בהיסטוריה של מכבי תל אביב, עונה שבה זכתה הקבוצה תחת שרביטו של המאמן האמריקני רודי ד'אמיקו, באליפות המדינה, בגביע המדינה, בגביע אירופה לאלופות ובגביע הבין יבשתי.
עד 1985, השנה שבה פרש ממשחק פעיל, הספיק לזכות בשני גביעי אירופה לאלופות, בגביע הבין יבשתי, בשבע אליפויות ובשישה גביעים. מאזנו מגיע באירופה ל-2,077 נקודות.

בתשע השנים שבהן שיחק במכבי תל אביב הפך פרי לחלק מהפולקלור הישראלי. הוא היה בן זוגה של הדוגמנית המפורסמת תמי בן עמי, לימד ילדים לשחק כדורסל ונחשב לדמות אהודה ופופולרית. הביטוי "אולסי פרי" הפך לשם נרדף לאדם גבוה במיוחד (בשיר הילדים של אריק איינשטיין "הגמד שרצה להיות ענק" נשמע הגמד מאחל לעצמו: "הלוואי שהייתי גבוה כמו אולסי פרי") ובמערכון של הגשש החיוור מופיע המשפט – "ראית את אולסי פרי כשנולד? בקושי מטר שמונים". במהלך הקריירה שלו במכבי תל אביב התגייר ובחר בשם אלישע בן אברהם. באותן שנים הוא היה הגר המפורסם ביותר במדינה.

ב-1985 הסתבך בפרשיית של אחזקה וסחר בסמים. הוא נעצר בהולנד יחד עם בן דודו, קנט ג'ונסון, כשברשותו כמות גדולה של הרואין. הוא הוסגר לאחר מכן לארצות הברית, שם נאסר וריצה 10 שנות מאסר בכלא פדרלי. אנשי מכבי תל אביב שמרו עמו על קשר במשך כל אותן שנים ולאחר שסיים לרצות את עונשו הציעו לו לשוב ארצה ולפתוח בחיים חדשים. פרי נענה בחיוב. לאחר שחרורו ולאחר תקופה קצרה בפיקוח שרות המבחן, הוא חזר לישראל.
פרי מתגורר בישראל ומנהל סניף של רשת בורגראנץ'. הוא שותף בבעלות ובניהול של מחנה כדורסל עם גרג קורנליוס במכון וינגייט – "כדורסל של כוכבים".

בטקס שנערך ב-28 בפברואר 2008 לציון 50 שנה להיווסדות המפעלים האירופאים בכדורסל, קיבל פרי אות הוקרה מטעם היורוליג כאחד מ-13 הסמלים הגדולים של מכבי תל אביב בכל הזמנים.