On ne peut évaluer l’internationalisation de l’enseignement supérieur sans avoir un cadre de suivi et évaluation approprié.
L’évaluation de l’internationalisation de l’enseignement supérieur doit être comprise et développée en harmonie avec la mission de ce secteur. Il ne suffit pas de quantifier le nombre d’étudiants internationaux dans un établissement pour juger que le dit établissement est assez internationalisé ou pas. L’enseignement supérieur possède une mission tri-sectorielle: 1- recherche, 2- éducation et 3- service à la communauté (ou engagement communautaire). Ainsi vu, quand on veut évaluer l’internationalisation d’un établissement de l’enseignement supérieur, la question est de savoir dans quelle mesure chacun des secteurs de sa mission est internationalisé.
Sans vouloir être trop pointilleux sur les mots et la sémantique, il faudra aussi s’entendre sur ce que l’on veut dire par “évaluer” et “mesurer” d’une part, et “évaluer l’internationalisation” ou évaluer les “résultats de l’internationalisation”.
Très souvent, l’évaluation est une tâche négligée faute de responsable de cette tâche et faute de cadre d’évaluation adaptée aux efforts d’internationalisation et de l’enseignement supérieur. On confond l’évaluation de l’internationalisation avec la mesure du nombre d’étudiants internationaux, ou le nombre d’étudiants partis en mobilité internationale, ou le nombre de partenariats signés avec des établissements étrangers, ou même le nombre d’articles scientifiques publiés dans des revues étrangères. Que dire alors de la volonté d’évaluer “l’impact de l’internationalisation”, tâche difficile et mission impossible s’il en est. L’évaluation de l’internationalisation et des ses résultats et impacts doit être explicitement planifiée et effectuée selon un cadre conceptuel bien développé et explicité pour tous les acteurs de l’internationalisation qui, par ailleurs, auront accepté ce cadre conceptuel et contribué à son élaboration. Étant donné l’importance de l’internationalisation dans la vie des établissements et dans l’économie locale, nationale et internationale, on ne se permettra pas d’improviser lorsqu’il s’agira d’évaluer, de classer et de tirer des jugements sur des efforts d’internationalisation, à plus forte raison puisque cela implique aussi d’influencer des décideurs, des familles, des étudiants et des chercheurs dans le choix de leurs lieux d’étude et de vie.
Qui évalue l’internationalisation et comment?
Dans le cadre général de l’internationalisation compréhensive intentionnelle, on a proposé que l’évaluation est l’une des tâches de la branche Administration de l’évaluation. Plus précisément, l’administration de l’internationalisation aura à notre avis la responsabilité de répondre (avec les autres acteurs) aux deux questions:
La réponse à la première question devra contribuer à bien cerner l’objectif fondamental de l’évaluation dans un milieu d’apprentissage et de création de nouvelles connaissances. Je pose comme hypothèse que l’objectif de l’évaluation est d'”apprendre” et de s’améliorer.
La réponse à la deuxième question devra bien aboutir à l’identification des objets et des outils d’évaluation. Comme je le disais, on n’évalue pas l’internationalisation de l’éducation (éducation internationale) en se contentant de calculer le nombre d’étudiants, ou le nombre de pays d’origine, ni même pas en calculant les dépenses faites par ces étudiants considérées comme leur contribution à l’économie locale et nationale.
Les deux questions nous mèneront à construire un “système d’évaluation. L’implémentation de ce système se fera dans les trois secteurs de l’enseignement supérieur avec des des outils à chaque fois appropriés à l’objet que l’on évalue et à ce que l’on veut apprendre en évaluant. Dans le cadre de l’internationalisation compréhensive intentionnelle, j’ai proposé d’emprunter à la théorie de cartographie des incidences (Outcome mapping), reconnue dans le domaine du développement international, et de l’adapter à l’évaluation de l’internationalisation de l’enseignement supérieur. Le système proposé aura donc trois composantes:
Illustration de l’utilisation de ce système d’évaluation
Prenons l’exemple d’une recherche faite en collaboration internationale:
Action/Projet | Outputs | Outcomes (attendus ou inattendus) | Impacts |
Collaboration internationale de recherche | Nombre d’article revus par les pairs Nombre de conférences Montant du financement obtenu Nombre d’étudiants encadrés Équipements et installations Voyages et réunions | Nouvelles connaissance développée Nouvelles solutions développées ou améliorées Nouveaux brevets (attendus) Nouveaux prix (inattendus) Nouveaux financements Engagement de nouveaux chercheurs | Un problème résolu grâce à la recherche effectuée en collaboration internationale: totalement (attribution) ou en partie (contribution) Nouvelle politique développée sur ll abase des résultats de la recherche Changement de politique gouvernementale Révolution sociale ou autre |
Prenons maintenant l’exemple de l’évaluation d’une composante de l’internationalisation de l’enseignement et l’apprentissage, soit les études à l’étranger (study abroad).
Action/Programme | Outputs | Outcomes (attendus ou inattendus | Impacts |
Internationalisation de l’enseignement et de l’apprentissage | Nombre d’étudiants à l’étranger Nombre et montant des bourses Nombre des programmes | Expérience d’apprentissage améliorée Plus de rayonnement pour l’institution (réputation, classement) Plus de partenariats de recherche (inattendu) Augmentation du nombre d’étudiants entrants (inattendu) | Citoyens du monde Meilleures chance d’emploi Meilleure réputation institutionnelle Meilleure relation avec les partenaires socio-économiques |
Ce système d’évaluation de l’internationalisation a le mérite de poser un cadre et de préciser les objets d’évaluation. Son implementation de façon systématique et raisonnée permet d’établir une relation de confiance envers l’acte d’évaluer en partant de l’hypothèse que l’objectif fondamental est d’apprendre et de s’améliorer. On n’internationalise pas juste pour voyager à l’étranger ou simplement attirer des consommateurs au pays. Même le motif démographique consistant en l’attraction de nouveaux immigrants futurs contribuables n’est pas vraiment l’objectif premier des établissements d’enseignement supérieur, quoiqu’ils y contribuent activement et le considèrent, surtout dans les régions moins peuplées, comme un objectif secondaire ou indirect.
Retro-analyse d’une stratégie d’internationalisation: peut-on l’évaluer?
En lisant la stratégie d’internationalisation d’une université que je ne nommerai pas ici, j’ai pu identifier les trois composantes du système d’évaluation proposé:
WE CREATE SOLUTIONS FOR THE BENEFIT OF THE WORLD Achieving and maintaining research excellence is a primary goal and a matter of pride at [our university]. OUTPUT: We monitor the quality of our research yearly through international rankings. Our target is to be among the top 50 universities in the world. OUTPUT: Our researchers publish in the best journals. We aim for a 15% increase in the number of top quality international scientific publications by 2020. OUTCOME: [our university] will be a pioneer in open knowledge OUTPUT: and aims to increase its number of Open Access publications by 40%. We provide support for our researchers as they make even OUTCOME: stronger research applications for international research funding. OUTPUT: Our target is to increase international research funding up to 50 million euro annually. IMPACT: We produce world class high-impact knowledge that contributes to solving global problems. Together with our partners we are building a better, more sustainable world. |
Notons, cependant, que la stratégie ne dit pas dans quels domaines de recherche ni sur quels enjeux mondiaux travailleront les chercheurs. J’imagine facilement qu’un plan d’action plus localisé dans les unités de recherche et dans les facultés suivait cette stratégie institutionnelle de haut niveau. Les outils de mesure et d’évaluation ne sont pas définis non plus, quoique les outputs sont bien quantifiés et les outcomes bien quantifiés.
Comment et quand évaluer?
Lorsqu’on parle d’évaluation, on néglige parfois les outils d’évaluation, les données que l’on veut collectés pour mesurer. Il n’est pas rare non plus d’omettre de planifier l’évaluation elle-même ou d’attendre tout simplement la fin de la période d’implantation de la stratégie pour courir collecter des résultats et des données. Voici quelques mots sur le comment et le quand de l’évaluation, quelques mots qu’il conviendra de développer de façon plus détaillée et appliquée.
Comment collecter les outputs, les outcomes et les impacts
Quand collecter ces données?
Références:
Les étudiants internationaux viennent dans nos établissements avec un projet d’études mais aussi un projet de vie. Ce sont des apprenants, des consommateurs, des ambassadeurs de leur pays et de leur culture d’origine. Ce sont aussi des futurs professionnels, futurs collègues et partenaires d’affaires et de vie. Leur projet d’études influencera le reste de leur vie professionnelle et personnelle.
Les étudiants internationaux sont aussi le fils ou la fille de quelqu’un dont ils s’éloignent, assez souvent pour la première fois. Ils ont des familles, des amis, et parfois ils sont eux-mêmes des parents de jeunes familles.
Les étudiants internationaux ne sont pas que source de revenus comme les conçoivent malheureusement certaines stratégies de développement des affaires gouvernementales ou même institutionnelles. Il est vrai cependant que l’éducation internationale constitue de plus en plus un produit de service et d’export non-négligeable dans les revenus des établissements et des provinces ou Etats.
Nous recrutons les étudiants internationaux, les accueillons et leur offrons tous les services nécessaires parce que nous voulons qu’ils réussissent et deviennent nos meilleurs alumni et les meilleurs ambassadeurs de nos établissements et de notre pays. Nous voulons qu’ils vivent la meilleure expérience possible d’études et de vie chez nous et qu’ils en gardent les meilleurs souvenirs.
Ils arrivent comme ambassadeurs de leur pays et de leur culture. Ils retournent chez nous comme les meilleurs ambassadeurs de notre pays et de notre culture.
Cependant, nous ne contrôlons pas tout l’environnement de cette expérience.
Nous les admettons parmi nos étudiants, mais nous ne pourrons pas garantir qu’ils obtiendront leur permis d’études ou leur visa d’entrée au pays. Nous développons les meilleurs programmes, les meilleurs cours et la meilleure pédagogie, mais nous ne pouvons pas garantir qu’il réussiront tous leurs examens. Nous créons le meilleur environnement de vie et d’études sur le campus, et nous espérons qu’ils en profiteront au maximum.
Soutenir les étudiants internationaux est l’un des plus grands défis pour nos services en temps normal, mais en 2020, le normal a complètement changé. La pandémie affecte la planète et tous les services en sont impactés. Malgré tout, nous continuons d’avoir des étudiants internationaux sur nos campus et dans nos cours offerts à distance grâce à des technologies de plus en plus performantes et dans des fuseaux horaires que personne ne peut changer. La renommée des établissements attirent les étudiants dans tel ou tel pays. La qualité de l’expérience étudiante en ces temps de distance physique, géographique et sociale sera le juge et le vrai motif de continuer ses études au-delà des premiers semestres et par-dessus les frontières. Or l’expérience étudiante commence bien avant la salle de classe et s’étend au-delà des heures de cours. L’expérience de l’étudiant international est entre les mains de tous ceux et celles qui donnent un service et ainsi aident l’étudiant à franchir un pas de plus vers son diplôme que ce soit dans les différents services de l’Université, des services de visa et d’immigration, le voyage, le logement, ainsi que toutes les autres formalités et nouvelles habitudes de vie à déchiffrer avant de les apprendre et de les intégrer. C’est aussi la vie sur le campus, les relations avec des nouvelles personnes professeurs, amis, conseillers, et ainsi de suite.
Les services aux étudiants internationaux sont une composante essentielle de l’expérience étudiante. Elle est plus ou moins “professionnalisée” et intégrée dans une offre d’apprentissage de qualité, quoique ce ne soit pas le cas dans tous les pays du monde, d’où la nécessité non seulement d’offrir le service, mais aussi de montrer comment s’en servir et le canaliser pour la réussite du projet original, le projet d’études et de développement de carrière future des apprenants qui nous ont confié leurs rêves et leur avenir.
Les temps de crise nécessitent plus d’innovation et plus de flexibilité pour s’adapter aux changements perpetuels, imprévus et généralisés. On ne parle pas ici de résilience ni de patience. On parle de changement, de transformation pour passer de notre état de systèmes fragiles à systèmes anti-fragiles au sens donné à ce mot par Nassim Nicholas Taleb.
La Gazette de l’Université d’Ottawa a récemment publié une interview dans laquelle je partage ma vision de l’impératif d’internationalisation de l’Université et du rôle de l’enseignement supérieur dans les enjeux mondiaux de nos jours.
J’y ai aussi parlé de mon rôle à l’Association of International Education Administrators (AIEA)
Voir ici.
Gazette de l’Université d’Ottawa
FAUBAI 2018 Conference in Rio de Janeiro is dedicated to the theme Internationalization and Research: Challenges and Strategies. I was invited to speak about the Impact of International Cooperation on Research, which is of a crucial interest.
The Power Point of my presentation is available here. Below are my notes.
————-
The conference theme is of crucial interest too, and I would like to position my contribution vis-à-vis the general topic of the conference because one could not speak about Impacts and Internationalization of Research without addressing the strategy and the challenges this subject poses for SIO and the University leadership.
Actually, we need first of all to know what we really mean by Impact, International Cooperation, and Research in this specific context of Internationalization. Are we talking about “international research”? Internationalization of Research?, What about “Impacts” and what are we referring to?
To make things easier, I assume that we are addressing the “evaluation of the support we (SIO’s, university administrators), offer to researchers and research projects being conducted in cooperation with international research partners”. We are not going to address the evaluation of the research results themselves, which is the responsibility of the vice president research, or their equivalent.
INTENTIONAL COMPREHENSIVE INTERNATIONALIZATION FRAMEWORK
In order to be really comprehensive, any Internationalization Strategy should cover the three dimension of the University mission, namely:
Such a strategy cannot be implemented without clear and shared responsibility that networks and connects all the actors in the institution. Like any network, Internationalization is an approach that needs Rules of Governance and Administration. Hence the two additional legs to the Framework:
At the 2016 CBIE conference in Ottawa, I insisted on the Grammar of Internationalization. The word Internationalization is a transitive action that commands an object. Internationalization alone is incomplete. We should talk about Internationalization of Research, Internationalization of Education (International Education is the result), and Internationalization of Community services. The two other legs are Administration of Internationalization and Governance of Internationalization.
Internationalization of Research commands:
INTERNATIONAL COOPERATION AS A MEANS
In this framework, International cooperation is one of the means we have at our disposal (a means we can develop, implement) in order to take research actions and achieve objectives. International cooperation, as a means, is an approach, a way to conduct research or any other Internationalization effort, entirely or partially. It can be materialized in the shape of “a partnership” and supported by an “agreement”, a “contract”, or any other document.
International cooperation includes:
WHY TO INTERNATIONALIZE RESEARCH
Is research international by nature? Do we need to internationalize research? And if yes, Why and How?
The Danish minister of Higher Education and Science, Ulla Tørnæs, stated in 2016 that “Internationalisation of research is important, not a goal in itself, but as a means to increase the impact and quality of Danish research.”[1]
But, It is very common to hear researchers and University administrators saying: Research is international by nature, so there is no need to internationalize it. I would argue it is not. Some research programs and projects are International. Some research programs and projects cannot be developed and sustained without International cooperation and collaboration, like for example the Space Science and Space exploration programs, or the Global Health programs. Some research areas and programs are international and global by nature of their research objects, while some research projects could be inter-national because they spread over several nations or are of interest to those nations.
But, all research is not international by nature. Even research on global issues such as climate change, renewable energy, clean technologies, global health, may be conducted locally without any international cooperation. Hence the imperative for universities who are willing to become international and global players to internationalize the research component of their University mission.
BENEFITS OF INTERNATIONAL COOPERATION ON RESEARCH
Here are few examples of benefits a University Internationalization Strategy might look to have by developing International Cooperation for Research.
How to internationalize research
HOW TO MEASURE/EVALUATE/ASSESS THE IMPACTS OF INTERNATIONAL COOPERATION
The evaluation of the Internationalization efforts is, as conceived in the framework, the responsibility of the administration of Internationalization. It is a very serious task, often time overlooked because of the lack of clarity in the responsibility, and because of the lack of an adapted evaluation framework. Measuring the impacts has to be explicitly planned for, and done in an agreed upon framework. One should not improvise when it comes to the evaluation step of any project, more seriously wen it involves partnership and partners. However, it is important to clarify that evaluating the impact of international cooperation on research is not evaluating the Research itself neither the impact of research. Evaluation of Research and its Impacts is the responsibility of the vice president for Research, or their Research office, or the Research councils and agencies, on an administrative side, and the responsibility of the community of peer scientists and researchers, on the other side. When we internationalize research, we aim at achieving specific objectives, one of them could be enhancing the quality of research, or developing research capacity, etc.
EVALUATION FRAMEWORK
The identification and definition of the evaluation object is of crucial importance, otherwise we iterate confusion and create troubles. In the Intentional Comprehensive Internationalization Framework, I proposed to borrow the Outcome mapping theory and adapt it for the Internationalization of Higher Education. Evaluation of Internationalization Efforts is the responsibility of the Administration of Internationalization. A framework should be established and agreed upon in the Internationalization Strategy and it should cover all three dimension of the University Mission. It has three components:
Example of evaluation of International Research Cooperation:
Action/means | Outputs | Outcomes
(Expected or unexpected) |
Impacts | ||
Research cooperation | Number of reviewed papers and conferences
Fund obtained Number of students trained Equipment and facilities Trips and meetings |
New knowledge developed
New solutions developed or improved New patents (expected) New awards (unexpected) New or more funds New researchers hired |
Problem solved thanks to the research: totally (attribution) or partially (contribution)
New policy developed based on the research results New enterprise created Government change Revolution |
||
Example: Evaluation of Internationalization of Teaching and learning. Study abroad.
Action/means | Outputs | Outcomes
(Expected or unexpected) |
Impacts | ||
Internationalization of Teaching and learning | Number of students abroad
Number and amount of scholarships Number of programs |
Enhanced teaching and learning experience
New experience: international More visibility for the institution More research partnership (unexpected) Increased number of students (unexpected) |
Global citizens
Better chance of employment Better institutional reputation |
||
Example of a University strategy. We anonymized the text:
WE CREATE SOLUTIONS FOR THE BENEFIT OF THE WORLD
Achieving and maintaining research excellence is a primary goal and a matter of pride at [our university].
OUTPUT: We monitor the quality of our research yearly through international rankings. Our target is to be among the top 50 universities in the world.
OUTPUT: Our researchers publish in the best journals. We aim for a 15% increase in the number of top quality international scientific publications by 2020.
OUTCOME: [our university] will be a pioneer in open knowledge
OUTPUT: and aims to increase its number of Open Access publications by 40%.
We provide support for our researchers as they make even
OUTCOME: stronger research applications for international research funding.
OUTPUT: Our target is to increase international research funding up to 50 million euro annually.
IMPACT: We produce world class high-impact knowledge that contributes to solving global problems. Together with our partners we are building a better, more sustainable world.
NOTA BENE: However, it does not say in which areas of research or which global issues. How to measure it? Story telling? Theory of change? Other methods? Etc.
How to collect the outputs, outcomes and impacts
When to collect the outputs, outcomes and impacts
CHALLENGES AND CONCLUSION
——————————————————-
[1] http://www.universityworldnews.com/article.php?story=20160929130840731
In 2015-2016, I started the development of an integrated framework showing how a comprehensive internationalization strategy could be intentionally designed as networked system. It has to be systemic across the three dimension of the mandate of the institution, that is Research, Education and Community Services. It has also to integrate the Administration and the Governance of Internationalization.
The framework is network-based one and illustrates a new type of organizations, in the era of connected generation and a new type of leadership.
Presentation can be downloaded here.
“[The] reduction into parts and the proliferation of separations has characterized not just organizations, but everything in the Western world during the past three hundred years. We broke knowledge into separate disciplines and subjects, built offices and schools with divided spaces, developed analytic techniques that focus on discrete factors, and even counselled ourselves to act in fragments, to use different “parts” of ourselves in different settings.”
Wheatley, Margaret J. “Leadership and the New Science.” Berrett-Koehler Publishers.
Peut-on vraiment parler de stratégie nationale d’internationalisation de l’enseignement supérieur alors que l’on n’a pas d’entité en charge et que la définition même d’internationalisation n’est pas claire?
Cette pensée du jour d’Alex Usher et Robert Burroughs, de HESA Research Associate donne une bonne idée de la raison pour laquelle il est difficile de stratégiser au niveau national et de la nature du document appelé stratégie qu’un tel exercice donne asses souvent.
A mon avis, il y a aussi le fait que les définitions de l’objet de la stratégie sont souvent pas claires ou pas conformes à la réalité des institutions et à ce que les experts et praticiens signifient quand ils parlent d’internationalisation. A titre d’exemple, le rapport Education Mondiale pour les Canadiens ne fait pas de différence entre Internationalisation et Globalisation. Il se concentre sur l’aspect “Éducation” et ne fait pas de place à l’internationalisation des autres aspects de la mission universitaire (ou de l’enseignement supérieur).
2018 AIEA Conference
I attended the 2018 AIEA conference in Washington DC from 19 to 22 of February. As usual, this event is the best venue to meet Senior International Officers from more than 40 countries and to meet with a few number of selected providers on international education services in the world.
Hot topic thematic this year: The Internationalization Imperative in Turbulent Times.
I facilitated the AIEA workshop on the role of the the University and the SIO in achieving the UN Sustainable Development Goals or SDGs, and presented with my colleagues from University of Toronto and McGill University a Canadian perspective on Internationalizing in turbulent times. We shared some examples of initiatives taken by Canadian universities and organizations to help refugees and students and scholars at risk. A second presentation with my colleagues from Harvard University and National Taiwan University about the University Leadership in turbulent times allowed us to interact with a group of more than 40 participants about the responsibility of the University in communicating, helping and supporting students and faculty in this era of clash of globalization. Our presentations will be added soon to the Conference web page.
Few Highlights from the Conference:
Conference material is being made available here and pictures here.
Business in Vancouver has visited our office in Hong Kong for Asia Pacific Region. You can read the article here.
France Alumni
En décembre 2015, à l’occasion du lancement du réseau France Alumni, j’ai donné une interview à la radio francophone de Radio Canada à Vancouver que l’on peut écouter ici.
A Radio Canada Vancouver, Décembre 2015
Avec Rafael Pont, attaché culturel au Consulat général de France à Vancouver