Według Reutera narzędzie analizowało dokumenty przesyłane przez ubiegające się o pracę osoby, a następnie przyznawało im punkty w pięciostopniowej skali. Źródła agencji stwierdziły, że system punktacji kandydatów przypominał ten stosowany w sklepie internetowym Amazona do oceny nabywanych produktów. Algorytmy firmy posiłkowały się przy tym powtarzalnymi wzorami rozpoznanymi w CV, które trafiały do firmy przez 10 lat.

"Oczekiwania wobec systemu były takie, że spośród CV stu kandydatów algorytm odsieje pięcioro najlepszych, którzy następnie zostaną zatrudnieni" - powiedziała Reuterowi jedna z osób zbliżonych do sprawy.

Koncern miał zrozumieć, że nowy system nie ocenia aplikantów w sposób neutralny, już w 2015 roku. Miało to związek ze znacznie większą liczbą mężczyzn wśród osób zgłaszających się do pracy w sektorze technologicznym. Wskutek tej dysproporcji system nauczył się, że to osoby płci męskiej są preferowanymi kandydatami do pracy na stanowiskach inżynierów oprogramowania bądź menedżerów produktu. Dokumenty, w których znalazły się słowa częściej stosowane przez mężczyzn, uzyskiwały wyższą ocenę, a te wskazujące na płeć żeńską - pojawiające się np. w kontekście "żeńskiej szkoły średniej" - niższą.

Amazon wielokrotnie starał się poprawić działanie algorytmów. Źródła Reutera stwierdziły jednak, że wprowadzane zmiany nie gwarantowały neutralności działania maszyn i nie chroniły przed wystąpieniem dyskryminacji innego rodzaju. Ostatecznie Amazon rozwiązał pracujący nad nimi zespół inżynierów na początku 2017 roku. Źródła Reutera stwierdziły, że od tego czasu firma powołała w Edynburgu nowy zespół do prac nad podobnym projektem, tym razem z naciskiem na promowanie różnorodności wśród rekrutowanych pracowników.

Osoby znające szczegóły sprawy podkreśliły, że rekruterzy Amazona posiłkowali się w swojej pracy sugestiami dostarczanymi przez narzędzie, jednak nie polegali wyłącznie na działaniu sztucznej inteligencji. Obecnie okrojona wersja oryginalnego systemu wciąz jest wykorzystywana do prostych zadań w rodzaju odsiewania duplikatów zgłoszeń.

Zgodnie z przytaczanym przez Reutera ubiegłorocznym badaniem firmy CareerBuilder około 55 proc. menedżerów ds. rekrutacji z USA przewiduje, że sztuczna inteligencja i algorytmy w ciągu następnych pięciu lat staną się narzędziem codziennie wykorzystywanym w ich pracy.