Badania astrologii przeprowadzone w latach 80. przez Carlsona częstokroć podawane są jako argument obalający astrologię. Takie też właśnie były wnioski Carlsona. Bliższe przyjrzenie się jednak badaniom pokazuje, że wnioski te były błędne.

Na wstępie zaznaczyć też należy, że celem tego opracowania nie jest dyskredytowanie omawianych badań. W rzeczywistości uznać je należy za bardzo wartościowe, bardziej wartościowe nawet aniżeli sądził sam autor, choć jak to zostanie przedstawione w dalszej części, badania te są przy tym dalekie od doskonałości. Jednocześnie zauważyć należy, że jest wręcz niemożliwością przeprowadzanie badania idealnych w jakiejkolwiek dziedzinie, wolnych od jakichkolwiek wad. Nawet w fizyce, modelowym przykładzie jednej z nauk przyrodniczych, konieczne jest nieraz podczas badań przyjmowanie pewnych uproszczeń, pomijanie niektórych czynników. Zjawisko tak zwanej idealizacji, dokonywanej podczas przeprowadzania eksperymentów, znane jest już od czasów Galileusza. Idealizacja polega na wyodrębnieniu tego, co kluczowe dla danego zjawiska przy równoczesnym pomijaniu tego, co odgrywa drugorzędną rolę. Jest ona wręcz nie czymś w rodzaju zła koniecznego, ale pełnoprawną, jak najbardziej właściwą metodą podczas prowadzenia eksperymentów. Swego rodzaju taka właśnie niedoskonałość jest wręcz nieodłącznie wpisana w metodę naukową, o ile badacze są takiego stanu rzeczy są świadomi i biorą pod uwagę wynikające z tego konsekwencje. Znacznie poważniejszego kalibru są błędy metodologiczne. I te jednak się zdarzają. Wydaje się, że jedynym właściwym rozwiązaniem jest kontynuowanie badań w już ulepszonej formule, w której bierze się pod uwagę krytyczne spostrzeżenie wyniesione z badań prowadzonych wcześniej. Na tej właśnie chociażby zasadzie, każde badania, czy to obserwacje czy też eksperymenty, są wartościowe, niezależnie od przyjętej metodologii i osiąganych rezultatów. Badania mogą być wartościowe tym bardziej, jeśli wpisują się w cały ciąg prac badawczych. By proces ów mógł być efektywny, konieczna jest dokładna analiza prac dotychczasowych, by w przyszłości nie powielać ewentualnych błędów, czy drobnych choćby nawet niedociągnięć.

Pierwsze prace nad badaniami Carlsona rozpoczęte zostały w roku 1980. Ich wyniki opublikowane zostały w Nature w grudniu 1985 roku. Badania składały się z trzech testów.

Test 1.

W części tej zadaniem astrologów było dopasowanie do losowo wybranego kosmogramu urodzeniowego testu osobowości CPI (California Personality Inventory) sporządzonego dla danego właściciela kosmogramu wybieranego spośród przedstawionych trzech. Astrolodzy mieli także wybrać drugi co do trafności test, jak również ocenić trafność wszystkich trzech porównywanych z danym kosmogramem testów w skali od 1 do 10.

Test CPI obejmuje analizę 18 aspektów osobowości, takich jak m.in. dominacja, towarzyskość, samoakceptacja, tolerancja, niezależność, empatia, odpowiedzialność, samokontrola, sprawność intelektualna itp.

W teście wzięło udział mniej nić 28 astrologów (dokładna liczba nie została podana), 116 uczestników w grupie testowej i nieznana liczba uczestników w grupie kontrolnej.

Test 2.

W części tej zadaniem astrologów było sporządzenie interpretacji horoskopów uczestników badań, tj. osób, które się zgłosiły do badań, udostępniając przy tym swoje dane urodzeniowe. Uczestnicy otrzymali po trzy interpretacje, jedną sporządzoną w oparciu o ich dane urodzeniowe, oraz dwie inne wybrane losowo. Następnie uczestnicy wybrać mieli spośród trzech interpretację jedną, tę, która według nich najlepiej opisuje ich osobowość. Mieli też wskazać interpretację drugą co do trafności. Każda z interpretacji była też przez nich oceniana pod względem trafności w skali od 1 do 10.

Interpretacje horoskopów sporządzone przez astrologów były ograniczone objętościowo do 1000 słów i dotyczyć miały takich kategorii jak: osobowość/temperament, relacje, edukacja, kariera/cele, obecna sytuacja. Osobno była też oceniana każda z kategorii.

Test przeprowadzono na grupie testowej liczącej  83 uczestników, dla której jedna na trzy interpretacje sporządzona była na podstawie kosmogramu danego uczestnika; oraz na grupie kontrolnej liczącej 94 osoby, w której wszystkie trzy interpretacje sporządzone były na wybranych losowo kosmogramach, spośród których żaden nie był kosmogramem danego uczestnika.

Test 3.

56 uczestników w grupie testowej i 50 w grupie kontrolnej miało wybrać po jednym spośród trzech im przedstawionych testów osobowości CPI, który według nich miał najlepiej ich opisywać. Wskazać mieli także drugi co do trafności test CPI. W tym przypadku uczestnicy nie dokonywali oceny testów w skali od 1 do 10.

Postarano się o rzetelność badań stosując przeróżne sprzyjające temu zabiegi. Kwestią zasadniczą jest to, że badanie te spełniały warunki podwójnej ślepej próby, czyli zarówno uczestnicy oraz astrolodzy, jak też osoby prowadzące eksperyment nie mieli wglądu do danych uczestników badań i przyporządkowania do nich kosmogramów. Uczestnikom przypisano pięciocyfrowe numery, a lista, która to przyporządkowanie zawierała, była pod nadzorem tylko jednej osoby, profesora Richarda Mullera.

Astrolodzy zaangażowani w badania zostali rekomendowani przez Krajową Radę Badań Geokosmicznych (National Council for Geocosmic Research), organizację, która zajmowała się już badaniami astrologii i która miała mieć dostateczne rozeznanie w środowisku astrologów, ciesząc się przy tym ich uznaniem. Astrolodzy mieli też mieć pewne doświadczenie w zakresie psychologii, jak również zapoznani byli z testami CPI. Otrzymali też podręcznik (15 stron) dotyczący interpretacji testu CPI. Astrolodzy uznali ten test za najbliższy temu, co może być wyrażone w ramach astrologii.

 Badania prowadzone były na dwóch grupach, testowej oraz kontrolnej. Ponadto każda trójka analizowanych horoskopów miała Słońce w tym samym znaku Zodiaku. Różnica wieku uczestników wynosiła przynajmniej 3 lata. Wszyscy uczestnicy musieli ukończone przynajmniej 17 lat.

Zanim zakwalifikowano uczestników do badań, poproszono osoby, które do badań się zgłosiły o wyrażenie swojego stosunku do astrologii dzieląc je na 5 grup: 1) wierzę w astrologię, 2) nieco wierzę, 3) nie mam zdania, 4) nie wierzę, 5) mocno nie wierzę. Padło też pytanie, czy kiedykolwiek mieli wyliczany horoskop. Z badań zostali wyeliminowani ci, którzy zaznaczyli punkt 5) mocno nie wierzę, gdyż uznano, że mogą sabotować wyniki badań. Wyeliminowano także tych, dla których wcześniej wyliczano horoskop. Wyeliminowano także 2 osoby, które okazały się astrologami. Niektóre osoby same się wycofały. Ostatecznie w pierwszej fazie eksperymentu wzięło udział 177osób (83 w grupie testowej i 94 w kontrolnej). W części drugiej 224 koperty przesłano do 28 astrologów. Niektórzy astrolodzy jednak zrezygnowali i ostatecznie poddano analizie wybór dla 116 uczestników.

Uczestnicy zobowiązani byli udokumentować wiarygodność przedstawianych danych urodzeniowych. Nie stosowano terminów astrologicznych. Astrolodzy nie znali także płci uczestników.

Błędy metodologiczne

1)      Interpretowanie wyników testu CPI wymaga dobrego przygotowania ze strony wykwalifikowanego psychologa w posługiwaniu się takim narzędziem jak wspomniany test. Ani astrolodzy, ani także Carlson takich kompetencji nie mieli. Carslon, który urodził się w roku 1960, kiedy rozpoczynał prace nad badaniami, miał ledwie 19 lat. Był wówczas jeszcze w trakcie studiów, które ukończył w roku 1983. Przy czym nie studiował on bynajmniej psychologii, ale fizykę. Zapewnienia Carlsona, jakoby astrolodzy mieli pewną znajomość psychologii, jak też testu CPI nie ma w istocie żadnej wartości, a jest jedynie próbą formalnego dopełnienia oczekiwanych wymogów. Nawet jednak faktyczne spełnienie wymogów formalnych w postaci przedstawienia poświadczenia stosownego kursu lub innej formy edukacji dotyczącej psychologii i/lub testu CPI nie zastąpi dopełnienia wymogów materialnych, tj. rzeczywistej znajomości tematu, która to musiałaby wynikać z pewnej praktyki i związanego z nią doświadczenia w przedmiotowym temacie.

2)      Test CPI został przez Carlsona określony jako najbardziej zbieżny z tym, co może być wyrażone na w ramach astrologii. Najbardziej jednak zbieżny test wcale nie musi być testem właściwym, bo może być na przykład jedynie zbliżony, mniej lub bardziej, do hipotetycznego testu właściwego. Rozmieć należy, że Carlson miał oczywiście na myśli testy istniejące, nie zaś te, które dopiero można stworzyć na przykład na potrzeby takich badań. To tym bardziej ogranicza wybór hipotetycznego testu optymalnego.

3)      Pomijając już nawet kwestię interpretacji CPI, test ten mógł nie zawierać takich informacji, które byłyby dostatecznie czytelne i zrozumiałe dla astrologów, by ci mogli podołać zadaniu. W szczególności takie terminy, jak brane pod uwagę w teście kategorie osobowości, mogą być różnie rozumiane na gruncie psychologii i astrologii. Chodzi na przykład o kategorie z testu CPI jak: dominacja, towarzyskość, samoakceptacja, tolerancja, niezależność, empatia, odpowiedzialność, samokontrola, sprawność intelektualna itp. Każda z tych kategorii może być rozpatrywana w aspekcie ilościowym oraz jakościowym. W tym pierwszym przypadku sprawa przedstawia się dosyć prosto. Powiedzmy, że ustalamy skalę od 1 do 10, gdzie 1 oznacza osobą skrajnie nietowarzyską, zaś 10 skrajnie towarzyską. Bardziej złożony jest aspekt jakościowy. Na gruncie astrologii nie da się tak po prostu powiedzieć, że dana osoba jest towarzyska lub nie. Stwierdzenie takie mogłoby być wprawdzie do pewnego stopnia w takim potocznym rozumieniu towarzyskości prawdziwe lub fałszywe, ale w rzeczywistości kwestia ta jest bardziej złożona. W odniesieniu na przykład do znaków Zodiaku można wyróżnić 12 typów towarzyskości. Archetypowe Bliźnięta będą zapewne najbardziej towarzyskie w takim popularnym znaczeniu. Jednak na przykład archetypowy Lew także może być uznany za towarzyskiego, jeśli tylko będzie miał możliwość w jakimś otoczeniu olśnić innych, skupić na sobie ich uwagę. Archetypowy Byk, często mrukliwy, może okazać się całkiem towarzyski, jeśli tylko wiązać się to mogłoby z możliwością delektowania się smacznym i sycącym jedzeniem lub stanowiło okazję do pomyślnej transakcji. W istocie zatem o każdym znaku Zodiaku powiedzieć można, że na swój sposób może być mniej lub bardziej towarzyski, choć w każdym przypadku wygląda to inaczej. Nie chodzi zatem do końca o to, czy ktoś jest towarzyski, ale w jaki w sposób jest towarzyski, czyli jak może wyglądać jego życie towarzyskie. Gdy weźmie się pod uwagę inne jeszcze elementy horoskopu (domy, planety, Słońce i Księżyc), całe zagadnienie staje się jeszcze bardziej złożone. Aby test psychologiczny ujmował to w taki sam lub choćby wysoce podobne sposób, model psychologiczny danego testu osobowości musiałby być niemalże takie lub dokładnie taki sam, jak model astrologiczny. W innym przypadku zawsze będą różnice.

4)      Problem wyrażony w punkcie 3) ma znacznie szerszy charakter, z czego osoby zajmujące się badaniami powinny sobie zdawać sprawę. Jest to zagadnienie znane zarówno w filozofii nauki, filozofii języka, czy także logice, czy choćby, jak w przypadku Carlsona, w fizyce. Dane wyrażenie ma określone znaczenie w danym paradygmacie myślowym lub języku. Takie samo wyrażenie w innym paradygmacie myślowym lub języku może mieć inne znaczenie. To problem metodologiczny i jeśli ktoś decyduje się w badaniach łączyć różne paradygmaty (systemy) myślowe, to powinien wskazać, jak rozwiązany został problem różnego rozumienia tak samo brzmiących i zarazem bliskoznacznych wyrażeń. Weźmy za przykład takie pojęcia jak masa. Od czasów Newtona masa określała bezwładność (masa bezwładna w II zasadzie dynamiki Newtona: ) lub oddziaływanie grawitacyjne (masa grawitacyjna w prawie powszechnego ciążenia: ). Tak wyrażana masa jest wielkością niezmienną i powiedzieć można, że określa ona ilość materii. U Einsteina, zgodnie z wzorem  , masa staje się już równoważną energii. Nie jest też wielkością stałą, bo zgodnie z wzorem  , wraz ze wzrostem prędkości, zwiększa się także masa, by przy prędkościach dążących do prędkości światła, zbliżać się do nieskończoności. Posłużyłem się przykładami z zakresu fizyki, bo choć astrologia, psychologia, filozofia nauki i języka mogły być dla Carlsona dziedzinami nieznanymi, to już choćby w oparciu o jego znajomość fizyki, tj. przedmiotu jego studiów, powinien był wiedzieć, że dane wyrażenie ma określone sens w danym systemie myślowym (paradygmacie, języku). Nie twierdzę przy tym bynajmniej, że łączenie w ramach badań różnych dziedzin, zawsze musi być błędem. Jednak należy sobie zdawać sprawę z różnic w terminologii i rozumieniu danych pojęć, a też i danego całościowego systemu myślowego. Wówczas można dopiero problem rozumienia i przekładalności wyrażeń próbować rozwiązać. Carlson zdaje się problemu tego zupełnie nie dostrzegać.

5)      Astrolodzy nie znali płci uczestników, która to jednak kwestia jest istotna w testach CPI.

6)      Wybór 1 z 3 powinien być zastąpiony wyborem 1 z 2. To drugie rozwiązanie jest łatwiejsze do wykonania zarówno dla astrologów, jak też i uczestników. Daje przy tym bardziej jednoznaczne, a przez to bardziej dokładne wyniki. Łatwiej też hipotezy formułowane w oparciu o taki wybór 1 z 2 obalać, co zgodnie z wykładnią Karla Poppera czyni je bardziej naukowymi. Jeśli bowiem przy opcji 1 z 3 padnie wybór błędnego horoskopu lub testu, to fałsz dotyczy tylko 1/3 czyli 33,3%; zaś przy wyborze 1 z 2 fałsz dotyczy 1/2 czyli 50%. Uwagę na to zwrócił prof. Ertel i trudno jest mu odmówić pewnych racji, choć zarazem zauważyć należy, że powoływanie się na regułę falsyfikacjonizmu Karla Poppera nie do końca jest tu uzasadnione, bo reguły tej nie stosuje się (rozumiejąc ją ściśle) do zjawisk o charakterze probabilistycznym.

7)      Nie zapewniono dostatecznego skontrastowania między przedstawionymi do wyboru horoskopami i testami CPI. Dobór losowy mógł dawać osobowości bardzo podobne. Jeśli reguły astrologii nie mają żadnych odniesień do rzeczywistości, maksymalizowanie różnic byłoby bez znaczenia, ale zarazem ułatwiałoby dokonywanie wyboru uczestnikom. Jeśli zaś reguły astrologii mają odniesienie do rzeczywistości, test w sposób bardziej jednoznaczny pokazywałby ich prawomocność.

8)      Horoskopy miały, zgodnie z założeniami badań Carlsona, opisywać osobowość uczestników, podczas gdy w istocie powinny być tak napisane, by uczestnicy badań w stopniu możliwie wysokim identyfikowali się z nimi. Może wydawać się, że to subtelna różnica, ale w rzeczywistości jest ona kwestią kluczową. Horoskop w zwykłej praktyce astrologicznej ma stanowić możliwie wierny opis osobowości właściciela horoskopu. Ale dany właściciel horoskopu wcale nie musi w taki właśnie sposób, jak to opisuje horoskop, samego siebie postrzegać. Na potrzeby badań astrolog powinien spojrzeć na właściciela horoskopu jego oczami. Zabieg taki wymaga nie tylko uświadomienia sobie jego konieczności na potrzeby rzetelnych badań, ale również i pewnej wprawy.

9)      Carlson zapewniał, że kierował się radami i sugestiami astrologów i że formuła badań została przez astrologów zaakceptowana. Jednak astrolog Teresa Hamilton twierdziła coś zupełnie innego, mówiąc wręcz, że według niej, badania te trudno z perspektywy wykładni astrologicznej uznać za prawidłowe. Carlson nie wiedzieć czemu, o żadnych uwagach astrologów nie wspomina. Carlson, mimo iż pierwotnie dawał do zrozumienia uczestniczącym w badaniach astrologom, że jest do astrologii nastawiony pozytywnie, w rzeczywistości, jak można sądzić, najprawdopodobniej miał do niej stosunek nie tyle nawet sceptycznym, co raczej niechętny. Był powiązany z organizacją noszącą obecnie nazwę CSI (The Committee for Skeptical Inquiry) oraz James Randi Educational Foundation. To samo w sobie wprawdzie nie musi wskazywać na stronniczość, ale gdyby faktycznie był stronniczy, to bardziej zrozumiałe stają się niektóre niedociągnięcia w deklarowanej rzetelności, a nade wszystko błędna interpretację wyników badań.

10)   Nie określono dokładnie jaki system astrologiczny był testowany, jakie uwzględniano obiekty w kosmogramie, jakie reguły brano pod uwagę. W rzeczywistości testowano zatem być może nie astrologię jako taką, ale astrologów, którzy być może uwzględniali różne elementy horoskopowe i stosowali różne reguły.

Błędy analizy wyników.

1)      Carlson odrzucił ocenę trafności wyników (1-10) w teście 2. (83 uczestników wybiera 1 z 3 horoskopów) ponieważ w kilku pierwszych kopertach w horoskopach typowanych jako pierwszy wybór, także prawie wszystkie aspekty osobowości typowane były jako najbardziej trafne (pierwszy wybór).

2)      W teście 3. (56 uczestników wybierało 1 z 3 CPI) uczestnicy wskazali własny test na poziomie, który nie przekraczał  pułapu wyboru przypadkowego. Na tej podstawie Carlson uznał, że uczestnicy nie są w stanie właściwie ocenić charakterystyki swojej osobowości i w oparciu o taką konkluzję ocenił, że także i test 2. (83 uczestników wybiera 1 z 3 horoskopów) nie może być miarodajny. Tu dodać należy, że test CPI nie jest testem na inteligencję lub sprawdzającym umiejętność czytania ze zrozumieniem, lub innym testem, który pozwalałby na tak daleko idące uogólnienie, że skoro w jednym teście wyniki nie są takie, jakich Carslon zapewne oczekiwała, to można odrzucić wyniki innego testu, w którym to uczestnicy mieli wprawdzie podobne, ale jednak nie identyczne zadanie.

3)      Carlson przyjął poziom istotności o wartości 0,006, która to wartość stosowana jest w dziedzinach opierających się raczej na prawach jednoznacznych, jak na przykład fizyka. W przypadku dziedzin o charakterze probabilistycznym, jak na przykład psychologia, stosowany jest próg istotności o wartości 0,05.

4)      Ostatecznie Carlson zaakceptował jedynie wyniki testu 1. (dopasowanie kosmogramu do 1 z 3 testów CPI).

5)      Carlson skupił się na pierwszym i trzecim wyborze, pomijając drugi co do trafności wybór. W przypadku dużych podobieństw między horoskopami lub testami CPI, lekceważenie drugiego wyboru zaniżało uzyskiwane wyniki.

6)      Biorąc pod uwagę punkt 5), zauważyć należy, że 73,5% z 83 uczestników określiło jako swój horoskop w wyborze pierwszym lub drugim, na co szansa wynosi 66,6%. W teście 2. astrolodzy uzyskali wynik dla wyboru pierwszego i drugiego 74,8%. Szansa na to także wynosi 66,6%. W świetle tych faktów wnioski Carlsona, jakoby astrolodzy nie byli w stanie dokonać właściwych wyborów na znaczącym poziomie i tym samym stanowiłoby to silny argument przeciw wiarygodności astrologii, wydają się błędne. Profesor Hans Eysenck jednoznacznie stwierdził, że wniosek taki nie wynika z danych. Przyjąć za to należy wniosek, jaki sformułował profesor psychologii i statystyk, Suitbert Ertel. Stwierdził on mianowicie, że uzyskany przez astrologów wynik w teście 2. jest istotny statystycznie. Wprawdzie na podstawie tych tylko testów nie można uznać astrologii za dziedzinę zweryfikowaną empirycznie i tym bardziej nie można postulować tego, iżby astrologia miała być nauką, niemniej jednak fakty są takie, że testy te wypadły na korzyść astrologii. Zatem pomimo licznych niedociągnięć, być może nawet pomimo świadomych i celowych błędów, astrologia w badań Schawna Carlsona wyszła obronną ręką.

Bibliografia:

Shawn Carlson, Nature, Vol. 318, 5 grudnia 1985

Shawn Carlson, Submitted to Nature DOUBLE-BLIND TEST OF ASTROLOGY, Lawrence Berkeley Laboratory University of California, kwiecień 1983

Suitbert Ertel, Journal of Scientific Exploration, Vol. 23, No. 2, pp. 125-137, 2009

Robert Currey, U-turn In Carlson’s astrology test?, Correlation 27(2), lipiec 2011