FAQ-Bereich A: Zum Hintergrund des Projekts
A03: Warum evaluieren?
- Um zu erfahren, ob Ihre Arbeit die beabsichtigten Ziele erreicht hat, ob ein Projekt den Erwartungen der Teilnehmerinnen und Teilnehmer entsprochen hat und auch ob die eingesetzten Methoden während des Treffens angemessen ausgewählt wurden.
- Weil die Ergebnisse von Evaluation ein bedeutender Baustein des Projektmanagements einer Organisation sind. Mit Hilfe der Daten können Sie an der Qualität Ihrer Projekte arbeiten, bestätigen, dass Sie auf dem richtigen Weg sind, oder sich mögliche Schwächen Ihrer Arbeit bewusst machen. Evaluationsergebnisse zeigen zudem auf, wie bestehende Ressourcen wie Personal, Zeit, Ausstattung und Finanzen effektiver genutzt werden können. Denn nach der Fahrt ist immer auch vor der Fahrt.
- Um bei potentiellen Sponsoren/Geldgebern für Ihre Arbeit und Ihre Organisation zu werben. Denn anschaulich aufbereitete Evaluationsergebnisse können ein überzeugendes Argument bei der Einwerbung neuer Mittel für kommende Projekte darstellen.
- Weil die Evaluation eines Projektes immer öfter einen obligatorischer Bestandteil des finanziellen und inhaltlichen Projektberichts darstellt.
- Statistische Daten alleine helfen noch nicht viel weiter. Die Ergebnisse sollten interpretiert und diskutiert werden.
A05: Wer finanziert das Projekt?
Die Angebote der eigenständigen Evaluation waren von Anfang an so konzipiert, dass sie ein kostenloser Service für Teams, Veranstalter und Träger vor Ort sind.
Das Projekt zur Entwicklung der Kinderfreizeitenevaluation wurde federführend von der Evangelischen Jugend im Kirchenkreis An Nahe und Glan durchgeführt. Es wurde aus Mitteln des lokalen Aktionsplans für die Stadt und den Landkreis Bad Kreuznach im Bundesprogramm „Vielfalt tut gut – Jugend für Vielfalt Toleranz und Demokratie“, der Jugendstiftung der Sparkasse Rhein – Nahe, der Akademie der Bruderhilfe, des Comenius-Instituts und des Landesjugendrings Rheinland Pfalz finanziert.
Für das bundesweite Verfahren zur Evaluation von Jugendfreizeiten standen Finanzierungsbeiträge unter anderem vom „Forscher-Praktiker-Dialog“, dem Bundesministerium für Familie, Senioren, Frauen und Jugend, der Arbeitsgemeinschaft Evangelische Jugend in Deutschland (aej) und dem Bundesforum Kinder- und Jugendreisen zur Verfügung.
Im internationalen Projekt für Jugendbegegnungen waren das Deutsch-Französische und das Deutsch-Polnische Jugendwerk sowie IJAB, die Fachstelle für Internationale Jugendarbeit der Bundesrepublik Deutschland e.V. beteiligt.
Das Projekt Freizeitenevaluation / Evaluation Internationaler Jugendbegegnungen verfolgt ausdrücklich keine kommerziellen oder verbandlichen Interessen.
A10: Warum werden die Daten der Freizeitenevaluation zentral gesammelt?
Sie können mit Ihren Daten einen Beitrag für die wissenschaftliche empirische Forschung über Freizeiten leisten. Die Projektstelle wahrt die Anonymität, eine Verbindung der Daten einer einzelnen Freizeit zur Organisation lässt sich im zentralen Gesamtdatensatz nicht herstellen. Ihre Daten sind ein wertvolles Puzzle-Teil im Gesamtdatensatz für umfangreiche Analysen und Veröffentlichungen. So tragen Anwender(innen) des Verfahrens dazu bei, dass Freizeiten als bedeutsames Segment der Kinder- und Jugendarbeit sichtbarer werden und deren Lobby gestärkt wird.
Für die Arbeit mit den Daten auf allen Ebenen gelten die Grundsätze der Freizeitenevaluation.
A15: Was ist der Unterschied zwischen „GrafStat“ und i-EVAL?
Bis 2016 wurde die Evaluation mit der lokal zu installierenden Software GrafStat durchgeführt. Allerdings war diese Lösung immer weniger kompatibel mit aktueller Benutzersoftware und führte zu einem hohen Aufwand durch die Notwendigkeit einer Installation. Daher erfolgte ab der Saison 2017 der Umstieg auf eine vollständig online bereitgestellte, individuell programmierte Software: Unter www.i-eval.eu (Jugendbegegnungen) und www.i-eval-freizeiten.de stehen die neuen Systeme zur freien Nutzung online. Die Arbeit mit GrafStat ist zwar im Prinzip noch möglich, wird vom Team der Freizeitenevaluation aber nicht mehr empfohlen und seit 2017 auch nicht mehr unterstützt.
A20: Wie bleibe ich auf dem Laufenden bei neuen Entwicklungen?
Melden Sie sich für den Newsletter Freizeitenevaluation an, der regelmäßig über Neuerungen und Aktivitäten rund um i-EVAL und i-EVAL-Freizeiten informiert. Anmeldung hier.
FAQ-Bereich B: Zum Einsatz der Evaluation
B05: Welcher Fragebogen für welches Alter?
Der Fragebogen für Kinderfreizeiten wurde für Kinder zwischen 8 und 12 Jahren erfolgreich getestet.
Der Fragebogen für Jugendfreizeiten ist für den Einsatz ab ca. 13 Jahren möglich, er lässt sich grundsätzlich auch bei jungen Erwachsenen noch einsetzen.
B10: Müssen alle einen Fragebogen ausfüllen?
Niemand wird gezwungen, einen Fragebogen auszufüllen. Wenn ein(e) Mitarbeiter(in) oder ein Kind nicht bereit ist, den Fragebogen ernsthaft und ehrlich auszufüllen, ist es besser, wenn sie an der Befragung gar nicht teilnimmt.
B15: Brauchen wir für die Kinder-Befragung eine Einverständniserklärung der Eltern?
Bei der Evaluation werden auf freiwilliger Basis schriftliche Daten Minderjähriger erhoben. Wenn Sie mit i-EVAL bzw. i-EVAL-Freizeiten Teilnehmende unter 14 Jahren befragen, muss dazu die Einwilligung der Eltern eingeholt werden. In welcher Weise Sie diese Einwilligung einholen, bleibt Ihnen überlassen. Die eingeholten Einwilligungen der Eltern verbleiben bei Ihnen. Eine Kontrolle über das Vorliegen dieser Einwilligungen durch das Team von i-EVAL erfolgt nicht. Falls Sie dies über ein Informationsschreiben tun möchten, können Sie ein Formular nutzen, das hier bereitgestellt wird.
B20: Was muss ich beim Formulieren eigener Fragen beachten?
Gute Fragen/ Items zu formulieren, ist eine Kunst für sich. Es ist viel erreicht, wenn Fragen oder Aussagen kurz und trotzdem so konkret wie möglich sind. Bei diesem Spagat muss man für jede Frage erneut abwägen, ob für alle Angesprochenen die Frage noch gleichermaßen verständlich ist. Formulieren Sie kurze und leicht verständliche Aussagen. Vermeiden Sie Doppelfragen (wie „Die Spiele und Ausflüge haben mir gut gefallen“), Verneinungen („Es hat mir nicht gefallen, dass…“) und Suggestivfragen („Besonders gut fand ich das Bergfest.“).
Wer es genauer wissen möchte: Gut lesbare Tipps vom Fragebogen-Experten Rolf Porst finden Sie als pdf-Broschüre hier.
FAQ-Bereich C: Fragen für Spezialisten
C05: Warum werden Mitarbeitende mit ‚Du’ angesprochen – und was ist mit der inklusiven Sprache?
Die meisten Mitarbeiter(innen) wollen lieber mit ‚Du’ als mit ‚Sie’ angesprochen werden. Wer sich am ‚Du’ stört, wird um Nachsicht gebeten. Aus Gründen der Lesbarkeit wurden, insbesondere im Kinder-Fragebogen, nicht durchgehend inklusive Sprachformen („Mitarbeiter“) gewählt. Natürlich sind immer Frauen und Männer bzw. Jungen und Mädchen gemeint.
C10: Mitarbeiter(innen) oder Betreuer(innen): Warum werden unterschiedliche Bezeichnungen verwendet?
Personen, die auf Freizeiten mitarbeiten, haben quer durch Deutschland unterschiedliche Bezeichnungen. Mit Ausnahme des Kinder-Fragebogens wird im Evaluations-Verfahren und allen Materialien „neutral“ von Mitarbeiter(inne)n gesprochen.
Kinder allerdings, so haben die Erfahrungen aus mehreren Studien gezeigt, können eher etwas mit „Betreuer(inne)n“ anfangen. Eine Erklärung für die Kinder vor dem Ausfüllen, wer auf Ihrer Freizeit damit gemeint ist, ist auf jeden Fall hilfreich.
C15: Sind die Mitarbeiter-Fragebögen ein Kontrollinstrument?
Nein, das widerspricht der Intention des Instruments! Bei den Mitarbeiter-Fragebögen ist bewusst eine breite Palette potenzieller Ziele genannt. Nicht alle diese Ziele sind automatisch „gut“ oder wünschenswert. Jede(r) Mitarbeiter(in) soll hier gemäß den eigenen Zielvorstellungen Gewichtungen vornehmen. Die Szene der Freizeiten zeichnet sich durch ihre Vielfalt aus. Es gibt keine „guten“ oder „schlechten“ Ziele. Es ist wichtig, dass die eigenen Ziele ehrlich angegeben werden. Auf diese Weise entsteht für jede Freizeit ein individuelles Profil.
C20: Warum sind nicht alle Felder der Ankreuz-Skala beschriftet?
Die Beschriftung wurde nicht vergessen, sondern dahinter liegt eine statistische Herausforderung sozialwissenschaftlicher Forschung. Viele Auswertungsverfahren (z.B. das arithmetische Mittel, Korrelationen oder Faktorenanalysen) setzen „eigentlich“ intervallskalierte Variablen voraus. Bei einer Intervallskala sind die Abstände zwischen den Skalenpunkten genau gleich, wie zum Beispiel beim Thermometer mit der Temperaturskala in Grad Celsius. Wir brauchen also die Intervallskalierung für die Auswertung, obwohl eine Skala von „Stimmt nicht“ bis „Stimmt genau“ nicht mit einem Thermometer vergleichbar ist.
Es gibt zwei Möglichkeiten, mit diesem Problem umzugehen: (vgl. dazu Porst 2008, S.72f und S.80).
- Möglichkeit 1: Ordinalskalierte Variablen werden mit entsprechendem Hinweis in der Auswertung wie intervallskalierte behandelt. Die entsprechend verbalisierte Skala ist konkreter und wurde deshalb im Kinder-Fragebogen verwendet.
- Möglichkeit 2: Die Skala im Fragebogen erfüllt bereits die Voraussetzung für eine Intervallskala. Die gebräuchlichste Form dafür ist die endpunktbenannte Skala, in der nur, wie im Mitarbeiter-Fragebogen, die Extrempunkte verbalisiert werden.
Quelle und Buchtipp: Porst, Rolf (2008): Fragebogen: Ein Arbeitsbuch. Wiesbaden: VS Verlag für Sozialwissenschaften.
C25: Was bedeuten die kleinen Codes (z.B. T206) hinter den Items auf den Fragebögen?
In den Fragebögen sind die Items bewusst „durcheinander“ angeordnet. Bei einer Sortierung entsprechend des vierstelligen Item-Codes ergibt sich eine Reihenfolge der Items nach deren inhaltlicher Zusammengehörigkeit. Anhand dieses Item-Codes sind auch die Ergebnisse im Tabellenanhang in den Büchern zum Projekt angeordnet.
C30: Warum werden soziodemografische Daten (z.B. Alter, Geschlecht, Religion) erfragt?
Es geht nicht um die Identifizierung einzelner Personen, auch wenn das auf der Ebene einer Freizeit mitunter möglich wäre (hiermit muss im Team der Freizeit vertraulich umgegangen werden). In der Gesamtheit der Evaluationsdaten eröffnet die standardisierte Erfragung soziodemografischer Daten verschiedene Möglichkeiten:
„Wen erreichen wir eigentlich mit unseren Angeboten?“ Für diese häufig interessierende Frage liefern Daten zum Alter, Geschlecht, der Schulform und zum Migrationshintergrund aussagekräftige und wertvolle Anhaltspunkte. Hinweise auf einen möglichen Migrationshintergrund erhalten wir aus der Kombination verschiedener Variablen, und zwar aus der Staatsangehörigkeit bzw. Alltagssprache(n), dem Geburtsland der Eltern und der Religionszugehörigkeit. Nach der Definition des Statistischen Bundesamtes gelten als Menschen mit Migrationshintergrund alle zugewanderten und eingebürgerten Ausländer(innen) und Spätaussiedler(innen) sowie Kinder mit zumindest einem Elternteil, das eines dieser Merkmale erfüllt.
Der Clou darüber hinaus: Die soziodemografischen Angaben (Geschlecht, Alter, Schulform, möglicher Migrationshintergrund) können mit den Aussagen zur Zufriedenheit und den Erfahrungen verknüpft werden. So sind Erkenntnisse z.B. darüber möglich, ob bestimmte Angebote eher von Mädchen positiv bewertet werden, kritische Bewertungen eher von älteren Teilnehmer(inne)n kommen oder Kinder mit Migrationshintergrund besonders von Freizeiten profitieren. Die Evaluations-Ergebnisse ermöglichen so eine gezieltere Planung, z.B. hinsichtlich Konzeptionen, Programminhalten Schulungsbedarfen oder auch für die gezielte Ansprache möglicher Teilnehmer(innen).
C35: Wir haben viele Daten erhoben. Gibt es Unterstützung bei einer vertieften Auswertung?
Für Veranstalter, die mit dem standardisierten Verfahren mehrere Kinder- und/oder Jugendgruppenfahrten auswerten, kann es von Interesse sein, die Daten vertieft zu analysieren: Gibt es signifikante Unterschiede in den Rückmeldungen von Mädchen und Jungen? Welche Aspekte der Freizeit werden von jüngeren, welche von älteren Teilnehmern besonders positiv beurteilt? Mit welchen Zufriedenheitsfaktoren korreliert das Gesamturteil?
Die Auswertung mit GrafStat stößt bei solchen Fragen an ihre Grenzen. Die Projektleitung der Freizeitenevaluation bietet interessierten Veranstaltern hier weiterführende Einzelauswertungen unter Nutzung des wissenschaftlichen Statistik-Programms SPSS. Die Preise hängen vom gewünschten Umfang der Spezial-Auswertungen ab. Bei Interesse nehmen Sie unverbindlich Kontakt mit dem Team des Forschungsverbunds auf.