Dieser Bericht enthält die psychometrischen Eigenschaften und den Validierungsbericht für FranklinCoveys Speed of Trust Leader Assessment (SOTLA). Diese Bewertung ist Bestandteil von FranklinCoveys Speed of Trust® (SOT) -Kurs — und soll messen, inwieweit Führungskräfte/Personalmanager die in unserem SOT-Kurs dargestellten Fähigkeiten und Verhaltensweisen an den Tag legen. Das Assessment wird in der Regel als 360-Assessment vor und nach der Kursteilnahme durchgeführt.
Laden Sie den vollständigen technischen Bericht zur Bewertung von Trust Leader herunter
Es gibt ein Verfahren zur Validierung von Einschätzungen, das manchmal als Psychometrie bezeichnet wird.
Der Validierungsprozess kann je nach Branche standardisiert werden. Oft ist es jedoch genauer zu sagen, dass es mehrere Validierungskriterien gibt, einige sind wichtiger als andere, aber im Allgemeinen ist es umso besser, je mehr Validierungskriterien eine Bewertung erfüllt.
Viele Organisationen, die Bewertungen verkaufen, führen irgendeine Art von Validierung durch. Organisationen, die sich hauptsächlich auf Bewertungen konzentrieren, können jede Bewertung, die sie erstellen, validieren. Andere Organisationen, die Assessments zu ihrem Geschäftsbereich machen, wie KornFerry und Gallup, veröffentlichen ebenfalls umfangreiche Validierungs-/technische Berichte für ihre beliebtesten Bewertungen und aktualisieren diese Berichte regelmäßig mit neuen Daten oder um Änderungen an der Bewertung zu dokumentieren.
Verständlicherweise haben viele unserer Kunden gefragt, welche Validierungsarbeit wir für unsere FranklinCovey-Bewertungen geleistet haben.
Außerdem wurde unser alter Team Trust Index (TTI) — jetzt die SOT Team-Bewertung — zuvor validiert, was den Kunden dazu veranlasste, sich zu fragen, warum andere FC-Bewertungen nicht validiert wurden.
Dies ist ein ~15-seitiger Bericht, der die Validierungstests für das neue SOT Leader Assessment detailliert beschreibt.
Der Bericht behandelt 3 Themen:
- Wie das neue SOT Leader-Assessment im Vergleich zum alten tQ abschneidet — zum Beispiel, indem verglichen wird, wie die Leute bei beiden abschneiden UND wie die Punktzahlen bei beiden mit anderen Vertrauensmaßstäben zusammenhängen
- Die Zuverlässigkeit der SOT Leader-Bewertung — zum Beispiel, wie ähnlich schneiden die Leute ab, wenn sie das Assessment eine Woche später ablegen?
- Die Gültigkeit der SOT Leader-Bewertung — zum Beispiel, inwieweit die Ergebnisse das Engagement am Arbeitsplatz und die Arbeitszufriedenheit vorhersagen
Insgesamt bewerteten sich über tausend Führungskräfte selbst, und mehr als 500 direkt unterstellte Mitarbeiter bewerteten ihre Führungskräfte im Rahmen dieser Studien.
Ja. Der Bericht deckt die folgenden Validierungskriterien ab:
- Interne Kohärenz
- Zuverlässigkeit testen und erneut testen
- Faktorenstruktur (d. h. ist das SOT Leader-Assessment ein multidimensionales Maß)
- Konvergente Validität (d. h. bezieht sich die SOT-Leader-Bewertung auf andere validierte Vertrauensmaßstäbe)
- Basierend auf Daten von Selbstbewertern
- Und basierend auf Daten von direkt unterstellten Bewertern
- Inkrementelle Validität (d. h. ist das SOT Leader-Assessment ein besseres Maß für Vertrauen als das alte tQ)
- Kriterium/Gleichzeitigkeit (d. h. bezieht sich die SOT-Leader-Bewertung auf Ergebnisse, die wir damit vorhersagen wollen: wie Engagement und Arbeitszufriedenheit)
- Unterschiede in den Bewertungspunktzahlen des SOT-Leiters auf der Grundlage der demografischen Daten der Befragten (usw., Alter, Geschlechtsidentität) und Team- und Organisationsvariablen (z. B. Unternehmensgröße, Status der Telearbeit)
Die SOT Leader-Bewertung erfüllt die allgemein anerkannten Standards in Bezug auf mehrere Validierungskriterien — normal verteilte Antworten, mehrere Formen der Zuverlässigkeit und mehrere Formen der Gültigkeit — und schneidet in einigen Fällen bei diesen Kriterien sehr gut ab.
Die Beziehung zwischen der höheren Bewertung Ihres Leiters im SOT-Leader-Assessment und einer Vielzahl großartiger Ergebnisse, wie Engagement, Arbeitszufriedenheit, Absicht, in Ihrem Unternehmen zu bleiben, ist wirklich stark. Beziehungen, die mit einigen der wichtigsten akademischen Einschätzungen zum Thema Führung mithalten können.
Eine weitere Erkenntnis aus den Daten ist, dass die Jahre, die sie mit ihrem Manager verbracht haben, nicht vorhergesagt haben, wie direkt unterstellte Mitarbeiter ihre Manager bei der Bewertung bewertet haben. Eine vernünftige Interpretation davon ist: Eine Führungskraft kann, und viele in unserer Stichprobe haben innerhalb eines Jahres ein hohes Vertrauen bei ihren direkt unterstellten Mitarbeitern aufgebaut. Der Aufbau eines hohen Vertrauens muss nicht Jahre dauern.
Das SOT Leader-Assessment besteht aus 20 Fragen statt 25 für den tQ. Wir haben auch die Abschnitte über Markt- und Organisationsvertrauen entfernt. Die Fragen des neuen Assessments haben auch ein anderes Format — sie bestehen nur aus einer einzigen Aussage und nicht aus den 2 Aussagen, die jede tQ-Frage ergänzen. Wir bieten mehr Details zu diesen Änderungen und warum sie in der BRD vorgenommen wurden, und im technischen Bericht.
Die Schlagzeile lautet, dass das neue SOT Leader-Assessment kürzer ist und dennoch stärkere Beziehungen zu 1) anderen Vertrauensmaßstäben aufweist und 2) es ein besserer Indikator für wichtige Ergebnisse wie Mitarbeiterengagement und Arbeitszufriedenheit ist. Wir haben auch festgestellt, dass die neue Bewertung den tQ bei einigen anderen wichtigen psychometrischen Kriterien übertrifft — zum Beispiel neigen die Ergebnisse bei einer neuen Bewertung dazu, normaler verteilt zu werden, und es gibt weniger Bündelungen von Ergebnissen am oberen Ende der Antwortskala.
Weitere Einzelheiten finden Sie im technischen Bericht.
Es gibt im Grunde zwei Arten von Tests, auf die wir uns verlassen haben, um die Fragen zu ermitteln.
Wir haben mit vielen möglichen Fragenoptionen begonnen, und diese wurden zusammen mit unserem Trust Practice Leader Doug Faber festgelegt. Wir haben dann viele kleine Tests mit den Befragten durchgeführt, um die Fragen zu finden, die bei einigen Kriterien besser sind. Wonach wir gesucht haben, waren Fragen mit einer guten Bandbreite an Antworten, vorzugsweise einer normalen Punkteverteilung. Und bei Fragen mit starken Korrelationen zu Konzepten wollen wir, dass die Fragen mit — zum Beispiel anderen Vertrauensmaßen — korreliert werden. Dieser Prozess hat uns fast bis zu unserem letzten Fragenkatalog geführt.
Der zweite Schritt des Prozesses ist noch aufwändiger. Und das ist der Validierungsaufwand, der im technischen Bericht detailliert beschrieben wird.
Wir haben uns auf die Messung und Validierung der Selbst- und direkt unterstellten Bewertungen ihres Leiters konzentriert. Diese werden im Allgemeinen als die wichtigsten Perspektiven bei der Validierung von Assessments angesehen.
Aber das bedeutet, dass wir uns weder Peer-Ratings noch Managerbewertungen angesehen haben. Das können und werden wir tun, nachdem das neue SOT Leader Assessment veröffentlicht wird. Wir können den technischen Bericht mit allen relevanten Daten, die wir dort finden, aktualisieren.
Vorbehalt, falls erforderlich:
Was wir gesammelt haben, waren unabhängige Querschnittsdaten — das heißt, wir haben unabhängige Stichproben von Personen gesammelt, die sich selbst bewertet haben, und unabhängige Stichproben von Personen, die ihre Führungskräfte bewertet haben. Es war nicht so, dass wir zwei direkt unterstellte Mitarbeiter und Führungskräfte hatten, die sich selbst und einander bewerteten.
Beziehung zur FranklinCovey 360-Diagnose:
Wir haben jedoch Daten von anderen Bewertern, die dieselbe Person im FranklinCovey Leader Diagnostic bewertet haben. Die relevanten Statistiken, die für die Zuverlässigkeit von 360 sprechen, sind im technischen Bericht für FC Leader Diagnostic (im Help Center zu finden) detailliert.
Wir haben einen Abschnitt in der BRD, der sich ausführlich damit befasst. Kurz gesagt, die Skala, die der SOT-Leader-Bewertung beiliegt, stimmt mit der FC-Diagnose überein, die notwendig ist, um die Erfahrung der Befragten zu gewährleisten, wenn sie die Diagnose zusammen mit der SOT-Leader-Bewertung abschließen. Wir haben auch Daten, aus denen hervorgeht, dass die neue Antwortskala normalverteilte Antworten liefert als die alte Antwortskala für den tQ, was ein wichtiges Kriterium für die Validierung der Bewertung ist.
Informationen zum SOT-Team-Assessment finden Sie in der SOT BRD.
Bezüglich der Validierung der Teambewertung: Die Fragen der Teambewertung sind fast identisch mit dem vorherigen Team Trust Index (TTi). Die meisten Aktualisierungen dieser Bewertung beziehen sich auf ihre Verwaltung und ihren Anhang zu Modul 4. Darüber hinaus wurde das alte TTi bereits 2016 von einem externen Forschungsunternehmen validiert, und die Schlussfolgerungen aus diesem Bericht sind immer noch gültig. Der Validierungsbericht für das SOT-Team-Assessment ist vielleicht nicht so gründlich wie für das Leader Assessment, aber er berichtet über wichtige Kennzahlen zur Zuverlässigkeit des Assessments (z. B. interne Konsistenz).
Unsere Validierungstests wurden nur in den USA und auf Englisch durchgeführt. Es ist fast immer so, dass die Validierung innerhalb eines Landes und einer Sprache beginnt, und wenn dann eine interkulturelle Validierung erforderlich ist, erfolgt sie später durch zusätzliche Studien.
Wir stellen auch fest, dass es einen wichtigen Unterschied gibt zwischen der Frage, ob eine Bewertung kulturübergreifend gültig ist, und ob es einfach Unterschiede zwischen den Kulturen gibt. So finden wir zum Beispiel einige demografische Unterschiede in unseren Daten aus den USA — einige basieren auf Rasse/ethnischer Zugehörigkeit, andere auf dem Status der Telearbeit. Das sind also Unterschiede zwischen den Gruppen. Aber unabhängig von der Gruppe sagen die Ergebnisse der SOT Leader-Assessments immer noch Ergebnisse wie Engagement und Arbeitszufriedenheit voraus. Das spricht für die Gültigkeit der Bewertung.
Alles in allem, wenn wir eine interkulturelle Studie des SOT Leader-Assessments durchführen sollten, würde das in der Zukunft erfolgen und könnte einer überarbeiteten Version des technischen Berichts hinzugefügt werden.
Unsere Validierungsarbeit wurde von Alex O'Connor aus dem Produktteam geleitet. Er hat einen Doktortitel in Forschungspsychologie, wurde in Psychometrie ausgebildet und hat zuvor validierte Bewertungen in Fachzeitschriften veröffentlicht.
Unsere Validierungsarbeit wurde von einem externen Experten, Joshua Eng, PhD, unterstützt. Er ist Dozent an der Indiana University — School of Medical. Er ist verantwortlich für die Validierung der Bewertungen, mit denen die Lern- und Wohlfühlergebnisse von OP-Ärzten im ganzen Land gemessen werden, und verfügt über jahrzehntelange Erfahrung als Psychometriker.
Kommentare
0 Kommentare
Zu diesem Beitrag können keine Kommentare hinterlassen werden.