Разработка
тестов и анкет
для национальной
оценки
учебных
достижений
Developing Tests
and Questionnaires
for a National
Assessment of
Educational
Achievement
Стр.1
NationalAssessmentsofEducationalAchievement
VOLUME2
Developing Tests
and Questionnaires
for a National
Assessment of
Educational
Achievement
PrueAndersonandGeorgeMorgan
VincentGreaneyand
ThomasKellaghan,SeriesEditors
THEWORLDBANK
Стр.2
Национальнаяоценачебныхдостижений
ПрАндерсен,ДжорджМоран
Разработка
тестов
и анкет для
национальной
оценки учебных
достижений
КНИГА2
Редаторысерии–
ВинсентГрини,ТомасКеллаан
Москва
Логос
2011
Стр.3
УДК 378
ББК 74.58
À65
Издание подготовлено при поддержке
Международного банка реконструкции и развития
Перевод подготовлен по инициативе
Центра международного сотрудничества
по развитию образования Российской
академии народного хозяйства
и государственной службы
при Президенте Российской Федерации
Андерсен, Пру
А65 Разработка тестов и анкет для национальной оценки учебных
достижений / Пру Андерсен, Джордж Морган; пер. с англ.
Â.Í. Ñèìêèíà; íàó÷. ðåä. Â.È. Звонников. – Ì.: Ëîãîñ, 2011. –
196 ñ.: èë. – (Национальная оценка учебных äîñòèæåíèé).
ISBN 978-5-98704-546-6
Представлена технология разработки надежного инструментария для систем
оценки учебных достижений. Освещено конструирование тестов учебных
достижений, включая разработку структуры заданий, их предварительную проверку,
отбор и создание окончательного теста. Раскрыты основные этапы конструирования
анкет: их проектирование, написание вопросов, кодирование ответов.
Рассмотрен вопрос соответствия данных анкет и тестов. Показано, как
спроектировать руководство для администратора тестирования и гарантировать,
что учащиеся выполняют тест в равных условиях. Характеризуются обязанности
администратора по тестированию. Изложен подход к реформированию
школ в национальном оценивании.
Для специалистов по разработке специализированных тестов и специалистов-предметников,
а также для методистов, участвующих в организации тестирования
и других оценочных мероприятий. Представляет интерес для широкого
круга специалистов-предметников – учителей и преподавателей различных
дисциплин, самостоятельно разрабатывающих и/или использующих тесты и
другие технологии педагогических измерений, которые позволяют оценивать
учебные достижения обучаемых и сопутствующие им факторы. Может использоваться
в учебном процессе по педагогическим направлениям (специальностям),
а также при повышении квалификации педагогических кадров и их подготовке
в магистратуре в области тестологии и педагогических измерений, при
изучении тематики, связанной с контролем и оценкой знаний обучаемых. Представляет
интерес для широкого круга учителей, преподавателей и методистов
учебных заведений всех видов и уровней.
УДК 378
ББК 74.58
ISBN 978-5-98704-546-6
© Международный банк
реконструкции и развития/
Всемирный áàíê, 2008, 2011
© Ëîãîñ, 2011
Стр.4
1818 H Street NW
Washington, DC 20433
Òåëåôîí: 202-473-1000
Internet: www.worldbank.org
E-mail: feedback@worldbank.org
Все права защищены
1 2 3 4 10 09 08 07
Эта книга подготовлена под эгидой Международного банка реконструкции
и развития. Представленные в ней материалы не всегда отражают точку
зрения исполнительных директоров Всемирного банка или правительств
государств, которые они представляют.
Всемирный банк не гарантирует точности приведенных данных. Границы,
цвета, географические наименования и иная информация, приведенная на
картах, не отражает позицию Всемирного банка относительно правового
статуса территорий.
Авторское право
Произведение защищается авторским правом. Копирование и/или передача
произведения или его частей без разрешения правообладателя преследуется
по закону.
Международный банк реконструкции и развития поощряет работы по
распространению книги и гарантирует предоставление разрешения на
воспроизведение ее частей.
For permission to photocopy or reprint any part of this work, please send a
request with complete information to the Copyright Clearance Center Inc., 222
Rosewood Drive, Danvers, MA 01923, USA; telephone: 978-750-8400; fax: 978750-4470;
Internet: www.copyright.com.
All other queries on rights and licenses, including subsidiary rights, should be
addressed to the Offi ce of the Publisher, The World Bank, 1818 H Street NW,
Washington, DC 20433, USA; fax: 202-522-2422; e-mail:
pubrights@worldbank.org.
Cover design: Naylor Design, Washington, DC
ISBN-13: 978-0-8213-7497-9
eISBN: 978-0-8213-7498-6
DOI: 10.1596/978-0-8213-7497-9
Library of Congress Cataloging-in-Publication Data
Anderson, Prue, 1954–
Developing tests and questionnaires for a national assessment of educational
achievement / Prue Anderson, George Morgan. p. cm.—(National assessment of
educational achievement ; volume 2)
Includes bibliographical references and index.
ISBN 978-0-8213-7497-9 (alk. paper)—ISBN 978-0-8213-7498-6
1. Educational tests and measurements—United States. 2. Educational
evaluation—
United States. I. Morgan, George, 1945– II. Title.
LB3051.A715 2008
371.26”1—dc22
2008002684
Стр.5
Выражение признательности
Научные консультанты, переводчики, редакторы Издательской
группы «Логос» выражают признательность Московскому
представительству Международного банка реконструкции
и развития, особенно Исаку Фрумину и Тиграну Шмису, за помощь
и поддержку в подготовке и выпуске этой книги и всей
серии книг «Национальная оценка учебных достижений». Мы
благодарим В.А. Болотова, вице-президента Российской академии
образования, который направлял наши усилия на достижение
целей, имеющих исключительное значение для реформирования
российской системы образования. Высокой оценки
заслуживает вклад Центра международного сотрудничества
по развитию образования, который выступил инициатором
перевода книг по оценке учебных достижений на русский язык.
Стр.6
СОДЕРЖАНИЕ
ПРЕДИСЛОВИЕ ................................................................................13
ОБАВТОРАХИРЕДАКТОРАХ .........................................................15
БЛАГОДАРНОСТИ ............................................................................17
СПИСОКСОКРАЩЕНИЙ ..................................................................19
ЧАСТЬ1 КОНСТРУИРОВАНИЕТЕСТОВУЧЕБНЫХ
ДОСТИЖЕНИЙ
ГЛАВА1 ПРЕДВАРИТЕЛЬНЫЕЗАМЕЧАНИЯ .............................21
ГЛАВА2 РАЗРАБОТКАСТРУКТУРЫ...........................................29
Проект òåñòà, или Таблица спецификации ................. 31
Валидность ........................................................................ 37
Язык òåñòà.......................................................................... 37
Форма задания .................................................................. 38
Генеральная совокупность учащихся
для проведения оценки ................................................... 46
Сообщение ðåçóëüòàòîâ................................................... 46
Контекст ............................................................................ 48
ГЛАВА3 НАПИСАНИЕЗАДАНИЙ................................................51
Трудность задания ............................................................ 53
Систематическая ошибка çàäàíèÿ................................. 55
Стр.7
8
СОДЕРЖАНИЕ
Материал стимула ............................................................ 56
Форма задания .................................................................. 58
Тренировочные задания ................................................. 72
Расположение и дизайн заданий ................................... 73
Êîìàíäà, пищущая задания ............................................ 79
Группы экспертов по заданиям ...................................... 83
Другие эксперты ............................................................... 86
Отслеживание çàäàíèé.................................................... 87
ГЛАВА4 ПРЕДВАРИТЕЛЬНАЯПРОВЕРКАЗАДАНИЙ ...............91
Дизайн предтестовой ôîðìû......................................... 95
Вычитка и тиражирование предварительного теста .. 100
Проведение предварительного тестирования.......... 103
Оценка предварительного теста ................................. 104
Надежность ..................................................................... 111
ГЛАВА5 ОТБОРТЕСТОВЫХЗАДАНИЙ ................................... 113
ГЛАВА6 СОЗДАНИЕОКОНЧАТЕЛЬНОГОТЕСТА .................... 121
Проектирование окончательного теста .................... 121
Вычитка и тиражирование ........................................... 125
ГЛАВА7 ОЦЕНКАТЕСТОВЫХЗАДАНИЙВРУЧНУЮ............... 129
ЧАСТЬ2 КОНСТРУИРОВАНИЕАНКЕТ
ГЛАВА8 ПРОЕКТИРОВАНИЕАНКЕТ ........................................ 137
Содержание анкет .......................................................... 139
Проект анкеты ................................................................ 144
Задания анкеты ............................................................... 146
Форма заданий ................................................................ 148
Язык анкеты .................................................................... 149
Ðåñïîíäåíòû.................................................................... 149
Предъявление анкет ...................................................... 150
План анализа данных ..................................................... 151
ГЛАВА9 НАПИСАНИЕЗАДАНИЙДЛЯАНКЕТ ......................... 153
Вопросы ........................................................................... 154
Утверждения ................................................................... 154
Варианты ответов .......................................................... 155
Управление проблемами чувствительности .............. 157
Макет анкеты .................................................................. 158
Экспертиза àíêåò............................................................ 158
Стр.8
СОДЕРЖАНИЕ
9
ГЛАВА10 КОДИРОВАНИЕОТВЕТОВНААНКЕТЫ .................... 163
Подготовка анкет для ввода данных ........................... 165
Кодирование пропущенных или неоднозначных
ответов ............................................................................. 165
ГЛАВА11 СООТВЕТСТВИЕДАННЫХАНКЕТИТЕСТОВ........... 167
Анкеты для ó÷àùèõñÿ..................................................... 168
Анкеты для родителей ................................................... 168
Анкеты для опроса преподавателей и директоров
школ .................................................................................. 169
ЧАСТЬ3 ДИЗАЙНРУКОВОДСТВАПОПРЕДЪЯВЛЕНИЮ
ТЕСТА
ГЛАВА12 РУКОВОДСТВОПОПРЕДЪЯВЛЕНИЮТЕСТА .......... 173
Содержание руководства .............................................. 174
Использование руководства ......................................... 176
Особенности ðóêîâîäñòâà............................................. 176
Сколько деталей необходимо? ..................................... 178
Тренировочные вопросы .............................................. 179
Апробация ....................................................................... 179
Обзор ................................................................................ 182
ГЛАВА13 АДМИНИСТРАТОРПОТЕСТИРОВАНИЮ.................. 183
Выбор администратора ................................................. 183
Следование èíñòðóêöèÿì.............................................. 184
Проверка качества ......................................................... 186
Контрольный список обязанностей
администратора .............................................................. 187
ГЛАВА14 ИНФОРМИРОВАНИЕШКОЛОНАЦИОНАЛЬНОЙ
ОЦЕНКЕ ...................................................................... 191
ЛИТЕРАТУРАДЛЯДАЛЬНЕЙШЕГОЧТЕНИЯ ......................... 193
ДОПОЛНИТЕЛЬНЫЕМАТЕРИАЛЫ
2.1. Учебный план по математике в Папуа – Новая
Гвинея ................................................................................. 32
2.2. Проект Новой Зеландии по английскому языку .. 32
2.3. Примеры заданий с множественным âûáîðîì.... 39
2.4. Пример задания с кратким конструируемым
îòâåòîì............................................................................... 39
2.5. Пример открытого задания с кратким îòâåòîì... 40
2.6. Пример краткого эссе .............................................. 41
Стр.9
10
СОДЕРЖАНИЕ
3.1. Пример иррелевантного материала стимула ...... 58
3.2. Пример задания с неточной или вводящей в
заблуждение информацией ............................................ 59
3.3. Пример задания с множественным âûáîðîì....... 60
3.4. Расстановка знаков препинания в случае, если
варианты ответов представляют собой законченные
предложения ..................................................................... 61
3.5. Расстановка знаков препинания, если варианты
ответов даны в форме перечня ...................................... 61
3.6. Сокращение текста задания .................................... 62
3.7. Задание с отрицанием в основной части .............. 62
3.8. Некорректный подбор слов в дистракторах ........ 63
3.9. Корректное сочетание основной части с дистракторами
................................................................................ 63
3.10. Пример неграмотно составленного задания с
кратким ответом ............................................................... 67
3.11. Пример грамотно составленного закрытого
задания с конструируемым îòâåòîì.............................. 68
3.12. Задание с частичным êðåäèòîâàíèåì.................. 68
3.13. Пример открытого задания с кратким ответом
с руководством по оценке ............................................... 70
3.14. Пример закрытого задания с конструируемым
ответом и руководство по îöåíêå.................................. 71
3.15. Использование рисунков для сокращения формулировок
.............................................................................. 75
3.16. Принцип простоты изображения ........................ 76
3.17. Четкая маркировка изобразительного
ìàòåðèàëà........................................................................... 76
3.18. Ясные обозначения на êàðòàõ............................... 77
3.19. Роль свободного пространства для понимания
материала ñòèìóëà............................................................ 78
3.20. Пример таблицы стилей для авторов çàäàíèé... 82
4.1. Пример задания в форме с множественным
выбором и в открытой ôîðìå...................................... 105
4.2. Пример формата ввода данных
для предтеста .................................................................. 107
6.1. Пример обложки теста ........................................... 122
8.1. Проект анкеты по отношениям и ценностям .... 145
9.1. Пример неграмотного расположения квадратиков
для ответов ...................................................................... 159
9.2. Пример грамотного расположения квадратиков
для ответов ...................................................................... 159
Стр.10
СОДЕРЖАНИЕ
11
10.1. Пример кодирования ответов
без выделения ................................................................. 164
10.2. Пример рассмотрения каждого варианта ответа в
отдельности при вводе данных .................................... 164
12.1. Инструкции руководства
по применению теста .................................................... 177
12.2. Информация для преподавателей
и руководителей ............................................................. 178
12.3. Предъявление тренировочных заданий ........... 180
13.1. Список обязанностей администратора:
пример из Ôèëèïïèí..................................................... 188
РИСУНКИ
1.1. Организационная структура национальной
оценки ................................................................................ 24
1.2. Этапы национальной оценки .................................. 25
4.1. Пример круговой связи çàäàíèé............................. 97
4.2. Модель для вертикально связующих заданий ...... 98
ТАБЛИЦЫ
1.1. Этапы разработки тестов и àíêåò.......................... 26
2.1. Проект теста по основам математики для средних
классов начальной øêîëû............................................... 33
2.2. Спецификация теста по математике в исследовании
TIMSS, 3-é и 4-é классы ........................................... 34
2.3. Проект содержания теста по математике в Папуа –
Новой Гвинеи .................................................................... 35
2.4. Преимущества и ограничения форм тестовых
заданий ............................................................................... 44
2.5. Формы тестовых заданий по математике в Папуа
– Новой Гвинеи ........................................................ 45
4.1. Связующие задания в двух юнитах по чтению .... 99
4.2. Часть крупноформатной таблицы для отслеживания
заданий по ôîðìàì................................................. 100
5.1. Пример результатов анализа задания с множественным
âûáîðîì......................................................... 115
5.2. Пример результатов анализа открытого дифференцированного
задания ..................................................... 117
8.1. Компоненты процесса разработки анкет ........... 140
8.2. Функции чтения в международном
исследовании .................................................................. 147
Стр.11
ГЛАВА
14
ИНФОРМИРОВАНИЕ
ШКОЛ
О НАЦИОНАЛЬНОЙ
ОЦЕНКЕ
Чтобы учащиеся в процессе национальной
оценки выполнили тест наилучшим образом, у них должен быть
стимул. Обычно мотивации учащихся способствуют слова преподавателей
о том, что результаты тестирования будут использоваться
исключительно для совершенствования процесса обучения,
а не для оценивания уровня подготовки самих
испытуемых.
Учащиеся должны чувствовать значимость своего участия
в тестировании, особенно те из них, чьи успехи в учебе оставляют
желать лучшего. Выбор наиболее подходящего времени
для сообщения учащимся даты тестирования зависит от ряда
обстоятельств. Если учащиеся боятся тестирования и есть вероятность,
что они пропустят школу в назначенный день, то
дату лучше вовсе не объявлять. Если испытуемые, хотя и волнуются,
но, скорее всего, придут в школу, то предпочтительнее
предупредить их заранее, чтобы они успели настроиться.
Агентство по проведению тестов должно гарантировать,
что цель тестирования была поставлена перед школами заранее,
до его проведения. Информацию можно обеспечить с помощью
семинаров, информационных писем или телефонных
контактов. Желательно честно и ясно сообщить о том, какие
Стр.191
192
РАЗРАБОТКАТЕСТОВИАНКЕТДЛЯНАЦИОНАЛЬНОЙОЦЕНКИУЧЕБНЫХДОСТИЖЕНИЙ
данные собираются по результатам тестирования, в каком виде
о них будут сообщать, как они будут использоваться и какова
будет обратная связь.
Руководителей и преподавателей школ, принимающих участие
в тестировании, необходимо предупредить, какие классы
были отобраны, чтобы помочь получить информацию о том,
что учащиеся освоили и чего они не знают. Цель национальной
оценки – помочь улучшить систему образования, а не оценить
отдельные школы или классы. Следует также объявить,
что результаты тестирования и ответы на анкеты будут конфиденциальны.
Необходимо
гарантировать, что школы согласились участвовать
в тестировании до назначения внешних администраторов.
Внешние администраторы должны иметь все необходимые
документы, например письменное соглашение. Это даст
им уверенность в том, что руководство школы окажет им поддержку.
В третьей книге серии вы найдете дальнейшие предложения
по информированию школ, включая проект такого соглашения.
Стр.192
ЛИТЕРАТУРА
ДЛЯ ДАЛЬНЕЙШЕГО
ЧТЕНИЯ
Allen, N. L., J. R. Donoghue, and T. L. Schoeps. 2001. The NAEP 1998
Technical Report. Washington, DC: National Center for Education
Statistics. Australian Council for Educational Research. No date. Literacy
and Numeracy
National Assessment (LANNA), Sample Questions, Numeracy Year5. http://
www.acer.edu.au/documents/LANNA_Y5Numeracy Questions.pdf.
Baker, F. 2001. The Basics of Item Response Theory. College Park, MD: ERIC
Clearinghouse on Assessment and Evaluation, University of Maryland.
Beaton, A. E., and E. G. Johnson. 1989. “Overview of the Scaling
Methodology used in the National Assessment.” Journal of Educational
Measurement 29: 163–75.
Bloom, B. S., M. D. Engelhart, E. J. Furst, W. H. Hill, and D. R. Krathwohl.
1956. Taxonomy of Educational Objectives: Handbook 1—Cognitive Domain.
London: Longmans, Green. Campbell, J. R., D. L. Kelly, I. V. S. Mullis,
M. O. Martin, and M. Sainsbury.
2001. Framework and Specifications for PIRLS Assessment 2001. Chestnut Hill,
MA: International Study Center, Boston College.
Chatterji, M. 2003. Designing and Using Tools for Educational Assessment.
Boston: Allyn and Bacon.
Educational Research Centre. 1978. Drumcondra Attainment Tests, Manual,
Level II, Form A. Dublin: Educational Research Centre.
Стр.193
194
РАЗРАБОТКАТЕСТОВИАНКЕТДЛЯНАЦИОНАЛЬНОЙОЦЕНКИУЧЕБНЫХДОСТИЖЕНИЙ
Eivers, E., G. Shiel, R. Perkins, and J. Cosgrove. 2005. The 2004 National
Assessment of English Reading. Dublin: Educational Research Centre.
Forster, M. 2000. A Policy Maker’s Guide to International Achievement Studies.
Camberwell, Australia: Australian Council for Educational Research.
———. 2000. A Policy Maker’s Guide to Systemwide Assessment Programs.
Camberwell, Australia: Australian Council for Educational Research.
Greaney, V., and S. B. Neuman. 1990. “The Functions of Reading: A CrossCultural
Perspective.” Reading Research Quarterly 25 (3):172–95.
Haladyna, T. M. 1999. Developing and Validating Multiple-Choice Test Items.
2nd ed. Hillsdale, NJ: Lawrence Erlbaum.
Harlen, W., ed. 2008. Student Assessment and Testing. Vols. 1–4. London:
Sage IEA (International Association for the Evaluation of Educational
Achievement).
1998. Third International Mathematics and Science Study—TIMSS Sample Items.
Chestnut Hill, MA: International Study Center, Boston College. http://
www.edinformatics.com/timss/pop1/mpop1.htm, http://
timss.bc.edu/timss1995i/TIMSSPDF/BSItems.pdf/, and http://
www.ed. gov/inits/Math/timss4_8.html. ———. 2007. TIMSS 2003, Science
Items, Released Set. Fourth Grade.
S011026. Chestnut Hill, Mass.: TIMSS & PIRLS International Study
Center, Boston College. timss.bc.edu/PDF/T03_RELEASED_S4.pdf.
Kirsch, I. 2001. The International Adult Literacy Survey (IALS): Understanding
What Was Measured. Research Report RR-01-25. Princeton, NJ:
Educational Testing Service.
Kubiszyn, T., and G. Borich. 2000. Educational Testing and
Measurement.New York: Wiley.
Linn, R. L., and S. B. Dunbar. 1992. “Issues in the Design and Reporting
of the National Assessment of Educational Progress.” Journal of Educational
Measurement 29 (2): 177–94.
Linn, R. L., and M. D. Miller. 2004. Measurement and Assessment in Teaching:
Student Exercise Manual. Upper Saddle River, NJ: Prentice Hall.
Messick, S. 1987. “Large-Scale Educational Assessment as Policy Research:
Aspirations and Limitations.” European Journal of Psychology and Education
2 (2): 157–65.
———. 1989. “Validity.” In Educational Measurement, 3rd ed., ed. R. L. Linn,
13–103. New York: American Council on Education/Macmillan.
Mullis, I. V. S, A. M. Kennedy, M. O. Martin, and M. Sainsbury. 2006.
Стр.194
ЛИТЕРАТУРАДЛЯДАЛЬНЕЙШЕГОЧТЕНИЯ 195
Assessment Framework and Specifications: Progress in International
ReadingLiteracy Study. 2nd ed. Chestnut Hill, MA: TIMSS and PIRLS
International
Study Center, Boston College.Mullis, I. V. S., M. O. Martin, E. J. Gonzalez,
and S. J. Chrostowski. 2004.
TIMSS 2003 International Mathematics Report: Findings from IEA’s
Trends inInternational Mathematics and Science Study at the Fourth
and Eighth
Grades. Chestnut Hill, MA: TIMSS and PIRLS International Study
Center,Boston College.
Mullis, I. V. S., M. O. Martin, E. J. Gonzalez, K. D. Gregory, R. A. Garden,K.
M. O’Connor, S. J. Chrostowski, and T. A. Smith. 2000. TIMSS 1999
International Mathematics Report. Findings from IEA’s Repeat of the
ThirdInternational Mathematics and Science Study at the Eighth Grade.
Chestnut
Hill, Mass.: The International Study Center, Boston College.
timssandpirls.bc.edu/timss1999i/pdf/T99i_Math_2.pdf.
National Assessment Governing Board. No date. Writing Framework
andSpecifications for the 1998 National Assessment of Educational
Progress.Washington, DC: U.S. Department of Education.
New Zealand Ministry of Education. 2002. English in the New
Zealandurriculum. Wellington: Learning Media for the New Zealand
Ministry of Education.
Nitko, A. J. 2004. Educational Assessment of Students. 4th ed. Upper
SaddleRiver, NJ: Pearson, Merrill, Prentice Hall.
Papua New Guinea Department of Education. 2003. Cultural Mathematics
Elementary Syllabus. Port Moresby: Papua New Guinea Department of
Education.———. 2004.
National Curriculum Standards Monitoring Test. Port Moresby: Papua New
Guinea Department of Education.
Philippine Department of Education. 2004. Region-wide Assessment
forMathematics, Science, and English (RAMSE): Basic Education Assistance
forMindanao (BEAM). Manila: Philippine Department of Education.
PISA (Programme for International Student Assessment). 2004. Learning
forTomorrow’s World: First Results from PISA 200. Paris: Organisation for
Economic Co-operation and Development.
Стр.195
Научное издание
Национальная оценка учебных достижений
Андерсен Пру
Морган Джордж
РАЗРАБОТКА ТЕСТОВ И АНКЕТ
ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ
УЧЕБНЫХ ДОСТИЖЕНИЙ
Ответственная за выпуск, литературный радактор С.А. Есина
Корректор Ю.Г. Слизун
Компьютерная верстка И.В. Кравченко
Оформление И.В. Кравченко
Подписано в печать 04.03.2011. Формат 70õ100/16
Печать îôñåòíàÿ. Бумага îôñåòíàÿ. 12,25 ïå÷. ë.
Тираж 3000 ýêç. Заказ
Издательская группа «Логос»
111024, Ìîñêâà, óë. Авиамоторная, ä. 55, êîðï. 31, офис 305
Òåë.: (495) 644-38-04, 642-59-89
Электронная ïî÷òà: universitas@mail.ru
Дополнительная информация на ñàéòå: http://logosbook.ru
Стр.196