ה"הגנה" כארגון ארצי
לא חלפה שנה מפסח תר"פ, ושוב פרעו הערבים ביהודים. הפעם החלו המהומות בתל-אביב, וחזרו לירושלים ב-2 בנובמבר 1921, הוא יום השנה להצהרת בלפור. באותה שנה נהרגו ברחבי הארץ 43 יהודים ונפצעו כ-134.
התקפות הערבים הגבירו את תודעת ההגנה העצמית, וועד הצירים החליט על הקמת ארגון הגנה ארצי שמתפקידו יהיה להגן על היישוב היהודי מפני פורעים, אלא שההחלטה לא יצאה אל הפועל. אותה עת עסקו גופים רבים בענייני הגנה, ובוועידת היסוד של ההסתדרות בדצמבר 1920 הוחלט, בין השאר, להקים ארגון הגנה ארצי "להבטחת תוכנה הלאומי והסוציאלי של הגנה עממית בארץ" (מתוך כנס היסוד של ההגנה). ארגון ההגנה היה נתון למרוּת ההסתדרות וכפוף למוסדותיה.
לאחר פרעות 1921, באו על הארץ שבע שנים שקטות. היתה זו תקופה של בנייה והתפתחות, בה הוכפל היישוב היהודי בארץ-ישראל. שנים אלה נוצלו על-ידי ההגנה להתארגנות, אימונים ורכישת נשק. השקט בארץ גרם לשאננות רבה, וחלק מן המנהיגים החלו לפקפק בצורך של ארגון הגנה ארצי, שתבע תקציבים לא מעטים. אותם מנהיגים הִשלו את עצמם כי ניתן לסמוך על ממשלת המנדט הבריטית שתגן על היישוב היהודי בשעת הצורך. אולם האירועים של שנת 1929 הפכו את הקערה על פיה.
גם הפעם, כבפעמים קודמות, החלו הפרעות בירושלים. תחילתם בנאומי הסתה בשעת תפילת יום השישי במסגד "אל-אקצה", והמשכם בהתנפלות הערבים המוסתים על עוברי אורח יהודים שלווים. הפורעים הערבים פגעו תחילה ביהודי העיר העתיקה ומשם עברו אל השכונות היהודיות החדשות. מירושלים התפשטו הפרעות למקומות שונים ברחבי הארץ, אולם הגרוע מכל קרה בחברון, שם עברו הערבים מבית לבית וערכו טבח ביהודים. במשך שבוע של פרעות, נהרגו ברחבי הארץ 133 יהודים ונפצעו כ-230.
פרעות 1929 באו על היישוב היהודי בארץ בהפתעה; ארגון ההגנה לא חזה אותם מראש ולכן גם לא היה מוכן להם. רוב רובם של המנהיגים נעדרו אותה עת מן הארץ (הם השתתפו בקונגרס הציוני ה-ט"ז שנערך בציריך), והיישוב היהודי נשאר בשעתו הקשה ללא הנהגה.
בעקבות הפרעות, ניתכה ביקורת קשה על ארגון ההגנה והתעוררו מחדש הוויכוחים הקשורים לדרכה ולהנהגתה. כזכור, היתה ההגנה נתונה למרות ההסתדרות, שחבריה היוו לא יותר מ-10 עד 15 אחוזים מכלל היישוב היהודי בארץ. הסניף הגדול ביותר של ההגנה היה בתל-אביב, שהנהגתה היתה "אזרחית" ורבים מהם לא היו חברי הסתדרות כלל. הם תבעו כי ההגנה תעבור ממרות ההסתדרות ותקבל את מרות הוועד הלאומי שנבחר על-ידי היישוב כולו. כנגד טענה זו השיבו מנהיגי ההסתדרות כי אמנם הוועד הלאומי נבחר בבחירות דמוקרטיות על-ידי כלל היישוב, אולם את סמכותו הוא קיבל מממשלת המנדט וזו הגבילה אותו לעסוק בתחומים המוגדרים בחוק, כמו: חינוך, בריאות וסעד וכן מינוי הרבנים הראשיים. בחוק גם נקבע כי החברות ב"כנסת ישראל" (המוסד שבחר מתוכו את ה"ועד הלאומי") היא וולונטרית ובכל עת רשאי כל אחד לפרוש ממנה. גם כדי להטיל מסים, היה צורך באישורו של הנציב העליון, אשר הקפיד מאוד שהוועד הלאומי לא יחרוג מן הסמכויות שהוענקו לו על פי חוק. מצב דברים זה "הביא לידי כך שהשפעת הוועד הלאומי ביישוב היתה פחותה משל ההסתדרות הציונית, וההכרעה ביישוב עברה למעשה לארגונים חלקיים שהיו חזקים ממנה. הראשון במעלה בארגונים אלה והמיוחד שביניהם היתה הסתדרות העובדים הכללית" 1
לאחר הפרעות של תרפ"ט, היה יוחנן רטנר (שהיה בסוף שנות השלושים ראש המפקדה הארצית של ההגנה ובמלחמת העצמאות - חבר המטה הכללי של צה"ל) יועצו של קולונל קיש. קיש שימש באותם ימים יושב ראש ההנהלה הציונית בירושלים, ובהיותו בעל ניסיון צבאי (הוא היה קצין מקצועי בצבא הבריטי), היה קרוב במיוחד לבעיות הביטחון. כאיש צבא מקצועי, הרגיזוהו תופעות רבות שמצא בארגון ההגנה, אולם יותר מכל כעס על ראשי ההסתדרות שהיו ראשי ההגנה וסרבו בתוקף להכיר בסמכותו כיושב ראש ההנהלה הציונית 2
מלבד שאלת המרות, היו גם חילוקי דעות באשר לדרכה של ההגנה. מנהיגי המפלגות הסוציאליסטיות, שהיו מאוגדות בהסתדרות, היו אנטי מיליטריסטים. הצבאיות סימלה בעיניהם את הארגונים הפשיסטיים שצמחו באירופה באותה תקופה. הם גם חששו שהפיכתה של ההגנה לארגון צבאי מסודר ומאורגן, ייתן בידי ראשיו כוח רב, שבעזרתו הם עלולים להשתלט על היישוב היהודי. ואמנם בחוקת ארגון ההגנה נאמר כי המטרה היא: "הגנה על היישוב והתכוננות למיליציה עממית". לעומת הגישה האנטימיליטריסטית הזאת, היו מפקדים רבים בהגנה שביקשו לתת לארגון צביון צבאי. הם טענו, כי בלי סדר ומשמעת לא תוכל ההגנה למלא את תפקידה. רק בשנות הארבעים, עבר ארגון ההגנה למתכונת צבאית ובמלחמת העצמאות היווה את הבסיס ליסודו של צה"ל.
היום נדמה לנו תכופות כמובן מאליו, שההגנה חייבת היתה להתפתח לצבא סדיר, או לפחות שהכל שאפו לכך ... אין ראייה שטחית מזו. בשום מקום לא נכתב שאכן ההגנה מוכרחה היתה להיהפך לצבא, או אף שנועדה לכך מלכתחילה; כמעט עד הרגע האחרון נמצאו גורמים רבי-השפעה שדעתם היתה אחרת.3

שתי הבעיות, עניין המרות והצבאיות, גרמו לתסיסה רבה בקרב חברי ההגנה והיו ביסוד הפילוג בארגון, כאשר התרחשה בשנת 1931 "פרשת תהומי".