הטור הרביעי באבני החושן היה מורכב מתַּרְשִׁישׁ וְשֹׁהַם וְיָשְׁפֵה. חז"ל אומרים שאבן ישפה הייתה של בנימין, ור' יעקב בן הרא"ש – בספרו החשוב בעל הטורים – מצא לכך סמך בגימטרייה: 'ישפה – בגימטריא בנימין בן יעקב שישפה היה לבנימין'.
במדרש תנחומא (ויצא סימן ו') הסבירו חז"ל את הקשר באופן אחר: 'א"ר שמעון בן גמליאל כל ימי גדלתי בין החכמים ולא מצאתי לגוף טוב אלא שתיקה: רחל תפשה בשתיקה עמדה זרעה בשתיקה ראתה סבלונותיה ביד אחותה ושתקה, בנימין בנה האבן שלו מן האפוד ישפה, יודע במכירת יוסף ושותק וזהו ישפה יש לו פה ושותק שאול בן בנה ואת דבר המלוכה לא הגיד לו אסתר אין אסתר מגדת מולדתה'.
תכונת השתיקה עוברת במסורת המשפחתית מרחל אמנו לבנה בנימין ועד אסתר המלכה, שאינה מגלה את זהותה האמתית. אנחנו רגילים לחשיפה שהיא יתרון. כדאי לנו להרשים ולדבר על עצמנו כדי שידעו ויכירו אותנו. אולם לפעמים אפשר להשיג הרבה יותר דווקא אם שותקים. דברים שאין צורך שידעו כולם, עדיף לשמור עמוק בבטן. אם אסתר הייתה מתגאה ומספרת לכולם מיהו דודה או מאין באה היה נגרם לה רק נזק.
תכונה זו אפיינה את בנימין. שתיקתו של בנימין מנעה קטסטרופה במשפחת יעקב. לא רק שהשתיקה מועילה להתנהלות שבין האדם לחבריו אלא יש בה תועלת רבה לעיצוב דמותו ואופיו של האדם. השתיקה מביאה לידי ענווה ומונעת מהאדם "התנפחות" עצמית.
הרב חרל"פ בספרו ממעייני הישועה מוסיף שעצם השתיקה מאפשרת לאדם לקנות חכמה באמצעות ההקשבה לאחר.
אם כן, אבן הישפה מלמדת אותנו שאף שאדם זכה לכוח דיבור, טוב יעשה אם ירבה בשתיקה. חז"ל ראו באבן הזו סימן מיוחד הקשור לכבוד אב ואם. אחד מהסיפורים המפורסמים על מצוות כיבוד אב ואם מופיע בקשר לדמא בן נתינה, וכך מבואר בתלמוד הירושלמי [תרגום]: 'פעם אחת אבדה ישפה של בנימין אמרו: מי הוא שיש לו טובה שכמותה? אמרו יש לדמה בן נתינה. הלכו אצלו ופסק להם עמו במאה דינרים. עלה, רצה להביא להם, מצא את אביו ישן. יש שאומרים מפתח התיבה היה נתון באצבעו של אביו, ויש שאומרים רגלו הייתה פשוטה על התיבה. ירד אצלם אמר להם, לא יכולתי להביאה לכם. אמרו אולי הוא רוצה יותר מעות? העלוהו למאתיים, העלוהו לאלף. כיוון שניעור אביו משנתו עלה והביאה להם. רצו להביא לו כמו שפסקו לו באחרונה ולא קיבל עליו. אמר מה מוכר אני לכם את כיבוד אבותיי במעות? איני נהנה מכיבוד אבותיי כלום'.
לכאורה מה ראו חז"ל לבחור דווקא את אבן הישפה כזאת שחיפשו חכמים?! מדוע לא נאמר שחכמים חפשו אבן תרשיש או שוהם? נראה שהתשובה לכך מצויה בדמותו של דמא בן נתינה. שתי תכונות מרכזיות עולות מהאגדה. האחת – הוא לא גילה לחכמים מה הסיבה שאינו מוכר להם את האבן. חכמים לתומם סברו שהוא מעוניין במחיר גבוה יותר ואילו הסיבה האמתית שמנעה ממנו למכור את האבן היא השינה העמוקה של אביו. דמא בן נתינה העדיף את השתיקה. זאת ועוד, דמא בן נתינה הצטיין במיוחד במצות כיבוד אב ואם. שתי התכונות הללו משתקפות באבן הישפה. בנימין שאבן זו מיוחסת לו שילב בין שתי תכונות אלו. הוא ידע לשתוק ולא להחצין את עצמו וכן לא השתתף במכירת יוסף ולא גרם צער לאביו.
ושמא זו כוונתו של בעל שפת אמת בדרשתו לפורים: 'בענין קביעות הימים למשתה. נראה כי בימים הללו [פורים] יש תיקון לבחינת הגופים. דאיתא (שכתוב) רחל תפסה פלך שתיקה. וכן בנימין ישפה ואינו מגיד. וכן אין אסתר מגדת ואיתא (וכתוב) לא מצאתי לגוף טוב משתיקה. שזאת הוא תיקון הגוף ע"י השתיקה'.
ייתכן שאחד המסרים של פורים הוא חכמת השתיקה, אנו נדרשים ללכת בעקבותיה של אסתר שלא גילתה את עמה ומולדתה למלך אחשוורוש. אסתר ידעה להסתיר ולימדה אותנו את כוחה של השתיקה המביאה למעשה: 'שמעון בנו אומר כל ימי גדלתי בין החכמים ולא מצאתי לגוף טוב אלא שתיקה ולא המדרש הוא העיקר אלא המעשה וכל המרבה דברים מביא חטא'.