Przeprowadzenie nieterenowej kontroli realizacji trzeciego etapu badania uczenia się i nauczania języków obcych w gimnazjum (BUNJO 3)
OGŁOSZENIE O ZAMÓWIENIU
Zamawiający:
Instytut Badań Edukacyjnych, ul. Górczewska 8, 01-180 Warszawa, woj. mazowieckie, tel. 22 241 71 00, faks 22 241 71 11.
Adres strony internetowej zamawiającego: www.ibe.edu.pl
Osobą do kontaktu w zakresie treści przedmiotowego zamówienia (ogłoszenia) jest pani Anna Michałowska – Ten adres pocztowy jest chroniony przed spamowaniem. Aby go zobaczyć, konieczne jest włączenie obsługi. , tel. 22 241 71 25.
Przedmiot zamówienia:
Przeprowadzenie nieterenowej kontroli realizacji trzeciego etapu badania uczenia się i nauczania języków obcych w gimnazjum (BUNJO 3). Kontroli podlegać będzie cała dokumentacja badania ze 120 szkół objętych badaniem, bazy danych z wybranych badań cząstkowych oraz raporty realizacyjne.
Narzędzia badawcze:
Test 1 | zadania z rozumienia ze słuchu i rozumienia tekstu pisanego oraz krótką ankietę do wypełnia przez uczniów po zakończeniu testu | 38 pytań jednoodpowiedziowych | ok. 4200 testów |
Test 2 | zadania w zakresie słownictwa, gramatyki i znajomości funkcji językowych oraz krótką ankietę do wypełnia przez uczniów po zakończeniu testu | 54 pytań jednoodpowiedziowych 22 pola tekstowe |
ok. 4100 testów |
Test 3 | zadanie otwarte w zakresie tworzenia wypowiedzi pisemnych w języku angielskim | krótki tekst pisany (max. ok. 100 słów) W bazie danych znajdują się oceny testu wprowadzone z papierowych kart ocen; każdy test może mieć 2, 3, 4, 8, 9 lub 10 ocen; na jedną ocenę składa się 20 zmiennych; w bazie znajduje się zatem ok. 2000 ocen (Ostateczna liczba ocen jest uzależniona od wyników ostatniego etapu oceniania, który nie jest jeszcze zakończony. Minimalna liczba ocen to 1600, a maksymalna liczba ocen to 2800) | ok. 600 testów |
Test 4 | Test 4 (zadania zamknięte w zakresie struktur gramatycznych i słownictwa) | 49 pytań jednoodpowiedziowych | ok. 4600 testów |
Kwestionariusz ucznia |
pytania dotyczące środowiska uczniów o przebiegu nauki języków obcych w szkole i poza nią | 193 stwierdzenia jednoodpowiedziowe 12 pytań wieloopodpowiedziowych 48 pytań otwartych liczbowych 9 pól tekstowych |
ok. 4600 kwestionariuszy |
1. Kontrola dokumentacji
Kontrola dokumentacji polegać będzie na weryfikacji papierowych wersji materiałów z badania – tj. materiałów badawczych oraz administracyjnych.
Materiały badawcze podlegające kontroli obejmują testy (Test 1, Test 2, Test 3, Test 4) oraz kwestionariusz ucznia.
Materiały administracyjne podlegające kontroli obejmują:
- formularze realizacji sesji badawczych z listami ID uczniów
- protokoły realizacji badania
- karty planu klasy do każdej sesji badawczej
Wykonawca przeprowadzi kontrolę materiałów i dokumentacji z badania pod względem sposobu archiwizacji oraz kompletności materiałów.
1.1. Kontrola sposobu archiwizacji
Wykonawca sprawdzi, czy materiały oraz dokumentacja z badania z zostały posegregowane według ID szkół i zapakowane w pudła, osobno dla każdej szkoły. Wszystkie pudła (na grzbiecie) oraz teczki z materiałami powinny zostać oznaczone dużym napisem z ID szkoły oraz napisem „BUNJO 3, 2014”. Dodatkowo na pudle powinien znaleźć się opis zawierający nazwę szkoły, nazwę oddziału klasowego, datę realizacji, spis materiałów, które są w pudle wraz z informacją o liczbie tych materiałów. Pudła powinny mieć wysokość nie wyższą niż 27, 5cm, a jeden z wymiarów dna kartonu powinien być nie większy niż 24, 5 cm.
Materiały z badania z użyciem Testu 1, Testu 2 i Testu 3 (wypełnione zeszyty testowe, formularze realizacji sesji badawczych z listami ID uczniów i protokoły realizacji badania oraz karty planu klasy do każdej sesji badawczej) zostaną posortowane według grup – dla każdej grupy osobno Test 1, Test 2 oraz oddzielnie Testy 3 z danej szkoły. Niewykorzystane materiały badawcze będą osobno zapakowane i oznaczone.
Materiały z badania z użyciem testu 4 i badania kwestionariuszowego uczniów (wypełnione zeszyty testowe oraz kwestionariusze ucznia, formularze realizacji badawczych z listami ID uczniów i protokoły realizacji badania oraz karty planu klasy do każdej sesji badawczej) zostaną posortowane według grup – dla każdej grupy osobno Test 4 oraz kwestionariusze ucznia. Niewykorzystane materiały badawcze będą osobno zapakowane i oznaczone.
Wykonawca sprawdzi, czy sposób zarchiwizowania materiałów przez firmę realizującą badanie jest zgodny z powyższym opisem i sporządzi listy uchybień, jeżeli takie zaistnieją.
1.2. Kontrola kompletności materiałów
Wykonawca zweryfikuje kompletność przekazanych przez firmę realizującą badanie materiałów.
Wykonawca sprawdzi:
- czy firma realizująca badanie przekazała wszystkie wymagane dla danej szkoły materiały badawcze;
- czy liczba papierowych testów oraz kwestionariuszy zgadza się z liczbą testów oraz kwestionariuszy wykazaną w formularzu realizacji sesji badawczej;
- czy każdy test oraz każdy kwestionariusz został oznaczony czytelnym numerem ID;
- czy numery ID uczniów, zawarte w formularzu realizacji sesji badawczej, zgadzają się z ID testów oraz kwestionariuszy;
- czy liczba wypełnionych i niewypełnionych papierowych testów i kwestionariuszy zgadza się z informacjami dotyczącymi uczestnictwa ucznia w badaniach cząstkowych wynikającymi z baz danych.
2. Kontrola baz danych
Kontrola baz danych polegać będzie na weryfikacji baz danych zawierających dane z badań cząstkowych wyszczególnionych w tabeli 1 powyżej. Kontroli będzie podlegać 10% rekordów z każdej poszczególnej bazy, wylosowanych przez Zamawiającego. Wykonawca dokona kontroli baz pod względem m.in.:
- poprawności wprowadzania danych z zeszytów testowych (Test 1, Test 2, Test 4) oraz kwestionariusza ucznia z przekazanymi bazami danych;
- spójności danych na papierowych kartach ocen Testu 3 uzupełnianych przez daną osobę sprawdzającą z przekazaną bazą danych.
3. Kontrola raportów realizacyjnych
Wykonawca zweryfikuje, czy liczba respondentów wykazana w raportach zgadza się liczbą respondentów w bazach danych.
4. Procedura kontroli
W terminie ustalonym z Zamawiającym Wykonawca odbierze od Zamawiającego dokumentację, raport realizacyjny oraz materiały badawcze ze szkół uczestniczących w badaniu.
Każdorazowo w dniu przekazania Wykonawcy przez Zamawiającego materiałów badawczych, raportów realizacyjnych oraz baz danych Zamawiający sporządzi protokół przekazania.
Protokół powinien zawierać w szczególności:
- datę i miejsce przekazania materiałów badawczych
- wykaz załączonych dokumentów badawczych
- podpisy stron.
Analogiczny protokół przekazania materiałów badawczych sporządzi każdorazowo Wykonawca w dniu przekazania materiałów badawczych Zamawiającemu.
Wykonawca przeprowadzi kontrolę poza siedzibą Zamawiającego.
4.1 Procedura kontroli dokumentacji i materiałów z badania
W dniu przekazania materiałów oraz dokumentacji do danego etapu kontroli Zamawiający przekaże Wykonawcy ID szkół wylosowanych do kontroli. Wykonawca zweryfikuje dokumentację i materiały z badania ze wskazanych przez Zamawiającego szkół. Po przeprowadzeniu kontroli Wykonawca zwróci do siedziby Zamawiającego, we wskazane przez Zamawiającego miejsce, całą przekazaną dokumentację oraz wszystkie przekazane materiały badawcze podlegające kontroli. Wykonawca ma obowiązek przekazać materiały i dokumentację w takim samym stanie, w jakim je otrzymał od Zamawiającego.
4.2. Procedura kontroli baz danych
- Zamawiający przekaże Wykonawcy wykaz materiałów poddawanych kontroli oraz książki kodowe, stanowiące informację o strukturze baz danych, których przygotowanie należeć będzie do zadań Wykonawcy. Książki kodowe zawierają informacje o nazwach zmiennych, które zawierają informacje z poszczególnych pytań kwestionariuszowych/zadań testowych, etykietach zmiennych, pozwalających na identyfikację poszczególnych pytań z narzędzi badawczych, etykietach wartości zmiennych, pozwalających na identyfikację poszczególnych odpowiedzi z narzędzi badawczych oraz filtrach logicznych, określających warunki posiadania przez poszczególne zmienne wartości.
- W oparciu o przekazane książki kodowe Wykonawca wprowadzi dane ze wskazanych zeszytów testowych oraz kwestionariuszy i stworzy bazy danych w formacie csv, odpowiadające strukturze opisanej przez poszczególne książki kodowe.
- Wykonawca przekaże bazy danych Zamawiającemu.
- Po otrzymaniu baz danych od Wykonawcy, Zamawiający przekaże Wykonawcy bazę danych w formacie csv przygotowaną przez firmę realizującą badanie i odpowiadającą strukturze opisanej przez książki kodowe.
- Wykonawca dokona porównania wprowadzonej przez siebie bazy danych z bazą danych przygotowaną przez firmę realizującą badanie, przesłaną przez Zamawiającego.
- Wykonawca przedstawi Zamawiającemu wykaz rozbieżności pomiędzy bazą przygotowaną w ramach kontroli, a bazą przygotowaną przez firmę badawczą.
5. Terminy realizacji zamówienia
Kontrola dokumentacji z badania oraz baz danych będzie przebiegała dwuetapowo. W ramach pierwszego etapu zostanie przeprowadzona kontrola dokumentacji, raportu realizacyjnego oraz baz danych z badania z użyciem Testu 1, Testu 2 oraz Testu 3 (kontrola 1). W ramach drugiego etapu zostanie przeprowadzona kontrola dokumentacji, raportu realizacyjnego oraz baz danych z badania z użyciem Testu 4 oraz z badania kwestionariuszowego uczniów (kontrola 2).
5.1 Terminy realizacji kontroli 1
W dniu podpisania umowy Wykonawca odbierze od Zamawiającego wszystkie materiały, raport realizacyjny (w formie elektronicznej), pełną dokumentację dotyczącą realizacji badania z użyciem testów: Test 1, Test 2 oraz Test 3. W dniu podpisania umowy zostaną ustalone terminy przekazania baz, o których jest mowa w pkt. 4.2 powyżej.
Wykonawca przeprowadzi kontrolę wskazanej przez Zamawiającego dokumentacji, raportu realizacyjnego oraz kontrolę baz danych.
W terminie ustalonym z Zamawiającym najpóźniej do 23.05.2014 Wykonawca zwróci do siedziby Zamawiającego wszystkie przekazane do kontroli 1 materiały badawcze i dokumentację oraz przedstawi Zamawiającemu raport podsumowujący kontrolę 1 do akceptacji. Wykonawca zgłosi swoje uwagi do raportu w ciągu 3 dni roboczych. Wykonawca każdorazowo w ciągu jednego dnia wprowadzi poprawki do raportu. Wykonawca przedstawi Zamawiającemu raport bez wad w terminie do 30.05.
5.2. Terminy realizacji kontroli 2
W terminie ustalonym z Zamawiającym najpóźniej do 13.06.2014 Wykonawca odbierze od Zamawiającego wszystkie materiały oraz pełną dokumentację dotyczącą realizacji badania z użyciem testów (Test 4) oraz badania kwestionariuszowego uczniów.
W terminie do 18.06.2014 Zamawiający przekaże Wykonawcy raport realizacyjny (w formie elektronicznej) z badania z użyciem Testu 4 oraz badania kwestionariuszowego uczniów.
Wykonawca przeprowadzi kontrolę wskazanej przez Zamawiającego dokumentacji, kontrolę baz danych oraz kontrolę raportu realizacyjnego.
W terminie ustalonym z Zamawiającym najpóźniej do 27.06.2014 Wykonawca zwróci do siedziby Zamawiającego wszystkie przekazane do kontroli 2 materiały badawcze oraz dokumentację oraz przedstawi Zamawiającemu raport z kontroli 2 do akceptacji. Zamawiający zgłosi swoje uwagi do raportu w ciągu 3 dni roboczych. Wykonawca każdorazowo w ciągu jednego dnia wprowadzi poprawki do raportu. Wykonawca przedstawi Zamawiającemu raport bez wad w terminie do 04.07.2014.
W przypadku wykazania przez Wykonawcę błędów w dokumentacji, materiałach z badania lub w bazach danych Zamawiający, w porozumieniu z firmą realizującą badanie, zweryfikuje wyniki przeprowadzonej kontroli.
Ostatecznym terminem realizacji zamówienia jest 25.07.2014.
6.Raport z przeprowadzonej kontroli
Po przeprowadzeniu kontroli 1 oraz po przeprowadzeniu kontroli 2 Wykonawca każdorazowo przedstawia Zamawiającemu raport z kontroli zawierający następujące informacje:
- opis wszystkich elementów kontroli
- zestawienie skontrolowanych dokumentów i rekordów wraz z wykazem stwierdzonych wad
- wykaz błędów w raporcie realizacyjnym
- podsumowanie – statystyka błędów, opis popełnionych błędów etc.
W przypadku stwierdzonych wad w dokumentacji i materiałach z badania w raporcie zostanie zamieszczone podsumowanie stwierdzonych błędów, wypunktowanie wszelkich zauważonych niezgodności wraz z danymi identyfikującymi konkretną niespójność (np. ID szkoły, klasy, nr rekordu w bazie, informacja o zmiennej, której problem dotyczy). W przypadku niezgodności pomiędzy bazami danych, wykaz powinien mieć charakter załącznika w postaci pliku o formacie .xlsx, .xls lub csv. Błędy powinny zostać szczegółowo opisane oraz oznaczone zmienną numeryczną oznaczającą typ błędu według typologii opracowanej w wyniku procesu kontroli.
Wykonawca przekaże Zamawiającemu raport w postaci papierowej (z wyłączeniem załączników w postaci pliku o formacie .xlsx, .xls lub csv) i elektronicznej.
Liczba Wykonawców: 1
Termin realizacji zamówienia: od daty zawarcia umowy do dnia 25.07.2014
Wymagania stawiane wykonawcy w zakresie posiadanego doświadczenia oraz dysponowania osobami o określonych kwalifikacjach:
Wymagania wobec wykonawcy:
Posiadania odpowiedniej wiedzy i doświadczenia tj. wykazanie się wykonaniem, a w przypadku świadczeń okresowych lub ciągłych również wykonywaniem z należytą starannością, w okresie ostatnich 3 lat przed upływem terminu składania ofert – a jeżeli okres prowadzenia działalności jest krótszy – w tym okresie co najmniej:
- 1 usługi polegającej na przeprowadzeniu przynajmniej jednej kontroli dokumentacji badawczej z badania społecznego przeprowadzonego na próbie co najmniej 2000 respondentów, którego wartość była nie mniejsza niż 100 000,00 zł brutto (a w przypadku, jeżeli wartość zamówienia została w umowie wyrażona w walucie obcej – równowartość 100 000,00 zł wg średniego kursu NBP z dnia zawarcia umowy o wykonanie zamówienia);
- 1 usługi polegającej na wprowadzeniu danych z badania zrealizowanego przy pomocy narzędzia badawczego zawierającego zarówno zmienne numeryczne, jak i tekstowe, które było prowadzone na próbie co najmniej 2000 respondentów oraz którego wartość była nie mniejsza niż 100 000,00 zł brutto (a w przypadku, jeżeli wartość zamówienia została w umowie wyrażona w walucie obcej – równowartość 100 000,00 zł wg średniego kursu NBP z dnia zawarcia umowy o wykonanie zamówienia).
Kontrolę musi cechować bezstronność przez co Zamawiający rozumie, że kontrola będzie przeprowadzona przez Wykonawcę niezależnego od podmiotu realizującego badanie będące przedmiotem kontroli. W szczególności Wykonawca realizujący kontrolę lub inna osoba uczestnicząca w czynnościach kontrolnych jemu zleconych narusza zasadę bezstronności, jeżeli:
- posiada udziały i akcje lub inne tytuły własności w podmiocie realizującym badanie będące przedmiotem kontroli lub w jednostce z nim stowarzyszonej, dominującej, zależnej lub współzależnej;
- jest lub była w ostatnich 3 latach przedstawicielem prawnym (pełnomocnikiem), członkiem organów nadzorczych bądź zarządzających podmiotu realizującego badanie będące przedmiotem kontroli lub pracownikiem jednostki z nią stowarzyszonej, dominującej, zależnej lub współzależnej;
- uczestniczył bądź uczestniczy w realizacji umowy nr 20/2014 z dnia 27.01.2014 r. w sprawie badania będącego przedmiotem kontroli zawartej z Wykonawcą (konsorcjum Firm Millward Brown S.A. oraz Realizacja sp. z o.o. jako wykonawca, podwykonawca itp.;
- pozostaje w związku małżeńskim, stosunku pokrewieństwa, lub powinowactwa w linii prostej, pokrewieństwa lub powinowactwa w linii bocznej do drugiego stopnia lub jest związany z tytułu przysposobienia, opieki lub kurateli z podmiotami realizującymi badanie będące przedmiotem kontroli, ich zastępcą prawnym lub członkami organów zarządzających lub organów nadzorczych; był lub jest w okresie ostatnich 3 lat pracownikiem lub współpracownikiem firmy Millward Brown S.A. lub firmy Realizacja sp. z o.o., choćby w sposób pośredni, tzn. wykonywała czynności na rzecz firmy Millward Brown S.A. lub firmy Realizacja sp. z o.o. za pośrednictwem innego podmiotu lub podmiotów; zachodzą okoliczności tego rodzaju, które mogą wywołać uzasadnioną wątpliwość co do jej bezstronności.
Termin składania ofert
14.05.2014 do godz.13.00
Informację o kryteriach oceny ofert:
Oferty będą oceniane z uwzględnieniem dwóch kryteriów:
• doświadczenie Wykonawcy (50 punktów)
Doświadczenie potwierdzone przez Wykonawcę na poziomie opisanym przez Zamawiającego. Zamawiający przyzna 5 pkt. za każdą wykazaną usługę odpowiadającą opisowi podanemu w warunku. Każdy wykonawca, który wykaże się większą ilością usług, niż wymagana minimalna, otrzyma kolejne 5 pkt. za każdą wykazaną usługę poświadczoną dokumentem potwierdzającym jej należyte Wykonanie. Maksymalnie można otrzymać jednak w tym kryterium 50 pkt (czyli Wykonawcy powinni wykazać maksymalnie 10 usług odpowiadających opisowi wskazanemu w warunku udział w postępowaniu).
• cena (50 punktów),
W kryterium „Cena” najwyższą liczbę punktów (50) otrzyma oferta zawierająca najniższą cenę brutto, a każda następna odpowiednio zgodnie ze wzorem:
cena oferty najniżej skalkulowanej
liczba punktów oferty ocenianej = ------------------------------- x 50pkt
cena oferty ocenianej
Zamawiający udzieli zamówienia Wykonawcy, który uzyska największa liczbę punktów.
Waluta, w jakiej będą prowadzone rozliczenia związane z realizacją niniejszego zapytania ofertowego
Cena oferty zostanie podana przez Wykonawcę w PLN.
Opis sposobu przygotowania oferty
- Każdy Wykonawca może złożyć tylko jedną ofertę
- Wzory dokumentów dołączonych do niniejszego zapytania powinny zostać wypełnione przez Wykonawcę i dołączone do oferty bądź też przygotowane przez Wykonawcę w formie zgodnej z niniejszym zapytaniem.
- Wykonawca ponosi wszelkie koszty związane z przygotowaniem i złożeniem oferty.
Forma oferty
- Oferta powinna być złożona wg wyboru Wykonawcy: w formie pisemnej (w siedzibie Zamawiającego), faksowej (na nr +48 22 241 71 00, faks 22 241 71 11.) lub e-mail (skany) (na adres: Ten adres pocztowy jest chroniony przed spamowaniem. Aby go zobaczyć, konieczne jest włączenie obsługi. );
- Dokumenty wchodzące w skład oferty mogą być przedstawione w formie oryginałów lub poświadczonych przez Wykonawcę za zgodność z oryginałem kopii.
Zawartość oferty
Kompletna oferta musi zawierać:
- Wypełniony Formularz Oferty - sporządzony wg wzoru stanowiącego załącznik nr 1 do niniejszego zapytania.
- Wykaz usług poświadczający posiadanie wymaganej wiedzy i doświadczenia zrealizowanych w okresie ostatnich trzech lat wraz z dokumentami potwierdzającymi ich należyte wykonanie.
Informacje dodatkowe:
Zamawiający nie wymaga wniesienia wadium
Zamawiający podpisze z Wykonawcą umowę cywilnoprawną.
Oferty nie mogą przewyższać kwoty 50 591zł brutto.
Ogłoszenia opublikowane na niniejszej stronie internetowej mają charakter wyłącznie informacyjny i nie stanowią oferty w rozumieniu przepisów prawa cywilnego. Stanowią wyłącznie zaproszenie do rokowań.