Banyak hal yang mempengaruhi kita dalam kehidupan sehari-hari tidak lagi ditentukan oleh diri kita sendiri atau orang lain, namun oleh algoritma. Ini bukan hanya tentang mengajukan pinjaman ke bank atau Schufa, tetapi juga tentang penawaran yang ditawarkan kepada konsumen saat mereka berbelanja online – termasuk harga terkait. Algoritme mungkin akan segera memengaruhi seberapa cepat polisi menghubungi Anda dalam keadaan darurat.

Ini adalah perkembangan yang semakin dikhawatirkan oleh para pendukung konsumen. Karena seiring dengan kemajuan teknologi, ketidakadilan pun semakin meningkat. Oleh karena itu, konsumen harus memiliki lebih banyak hak di masa depan.

Pengajuan pinjaman di bank adalah contoh yang menonjol

“Algoritma dan kecerdasan buatan kini berperan dalam banyak bidang kehidupan sehari-hari,” kata Miika Blinn, konsultan di tim digital dan media di Asosiasi Federal Organisasi Konsumen (VZBV), kata Business Insider. Contoh yang paling menonjol adalah pengajuan pinjaman dari bank. “Bank menggunakan algoritma yang menghitung kemungkinan gagal bayar pinjaman berdasarkan berbagai kriteria.” Hasilnya adalah nilai kredit yang tidak selalu positif bagi pelanggan dan terkadang tidak dapat dibenarkan sama sekali.

Nasabah biasanya tidak mengetahui kriteria apa yang sebenarnya digunakan bank untuk mengklasifikasikannya. Dan: “Secara formal, keputusan tentu ada di tangan pegawai bank apakah pinjaman itu disetujui atau tidak. Tapi apa yang ingin ditanyakan pegawai bank nanti, ketika timbul masalah, mengapa dia bertindak bertentangan dengan rekomendasi komputer. Itu hanya ilusi,” kata Blinn. Situasinya biasanya serupa pada banyak kontrak asuransi. Di sini juga, tidak ada orang yang duduk di depan komputer dan memperhitungkan risikonya.

Google dan lainnya memutuskan apa yang Anda beli

Asisten suara seperti Alexa atau Google Assistant juga menggunakan algoritma dan kecerdasan buatan. Teknologi ini kini menjadi bagian dari kehidupan sehari-hari banyak konsumen, namun tidak semua orang menyadari seberapa besar pengaruh teknologi ini terhadap keputusan mereka sendiri.

“Misalnya, Amazon yang menjalankan asisten Alexa, mencoba mengenali preferensi konsumen untuk menggunakannya ketika seseorang ingin membeli sesuatu,” jelas Blinn. “Jika algoritme melakukan pra-seleksi terhadap produk, secara alami produk tersebut memiliki peluang lebih besar untuk benar-benar dibeli.” Sebaliknya, produk dan pemasok yang kurang diperhatikan oleh algoritme memiliki peluang buruk. Kedengarannya tidak adil. Ini bisa menjadi masalah bagi pengecer online kecil.

Algoritma memilih siapa yang mendapat tempat di universitas

Di masa depan, algoritme juga dapat menentukan berapa banyak mobil patroli yang ada di jalan di lingkungan Anda. “Di Bavaria dan Hesse, polisi menggunakan sistem analisis yang menggunakan database polisi untuk menghitung kemungkinan perampokan di sel jaringan,” kata Blinn. Hal ini tidak hanya berdampak pada jumlah mobil polisi yang melintas, tetapi mungkin juga berdampak pada rasa aman bahkan harga sewa.

Di Prancis, mahasiswa harus menghadapi algoritma yang menentukan apakah mereka dapat diterima di universitas. “Sebuah asosiasi mahasiswa mengajukan gugatan di Prancis karena mereka ingin mengetahui kriteria apa yang digunakan algoritma untuk mengalokasikan tempat belajar,” jelas sang ahli. Kesadaran yang menakutkan bagi banyak orang: “Ternyata tempat tinggal Anda mempunyai peranan. Mereka yang tinggal jauh dari Paris mempunyai peluang lebih kecil untuk mendapatkan tempat belajar di sana.”

“Algoritma memiliki dampak besar pada kehidupan kita”

Contoh-contoh tersebut menunjukkan bahwa algoritma telah memberikan dampak besar pada kehidupan kita, kata Blinn. Namun, seringkali banyak orang yang tidak menyadarinya.

Resikonya tidak kecil. “Risiko perlakuan tidak adil dan diskriminasi meningkat,” Blinn memperingatkan. Misalnya, pengecer dilarang menentukan harga suatu produk berdasarkan usia, jenis kelamin, orientasi seksual, atau agama orang yang memesannya. “Ada juga aspek sosial yang terkait dengan hal ini.” Anggota parlemen Partai Hijau Renate Künast juga berpendapat: “Larangan diskriminasi di dunia analog juga harus berlaku di dunia algoritma.” Dia mengatakan ini pada akhir tahun lalu “Berlin Zeitung“.

“Kami mengungkapkan banyak informasi melalui perilaku pengguna kami”

“Melalui perilaku pengguna di Internet, misalnya di Google atau Amazon dan di media sosial, kita mungkin secara tidak sadar mengungkapkan berbagai macam informasi tentang diri kita, yang dimasukkan ke dalam profil pengguna perusahaan melalui algoritma,” kata ahli matematika Philipp Schade kepada The Verge. “Dunia“. Konsumen menerima informasi yang disaring yang diyakini oleh pihak ketiga atau algoritme relevan bagi mereka. Hal ini tidak selalu benar.

Di sisi lain, teknologi semacam itu juga memberikan keuntungan, demikian keyakinan pakar digital Blinn. “Teknologi ini memungkinkan personalisasi yang belum pernah ada sebelumnya dengan harga sebesar ini.” Saat ini sudah ada startup yang mengelola portofolio keuangan meski dalam jumlah kecil. “Di masa lalu, hal seperti ini tidak ada, karena seorang konsultan tidak akan berguna.” Di masa depan, algoritma dan kecerdasan buatan kemungkinan akan menguasai lebih banyak bidang. Pakar melihat fokusnya terutama pada mengemudi otonom dan teknologi medis.

Para pendukung konsumen menyerukan transparansi yang lebih besar

Namun: “Hal ini tidak akan berhasil tanpa transparansi. Kita memerlukan sistem kendali“Misalnya, standar untuk merancang proses berbasis algoritma dan badan yang dapat melihat dan meninjaunya,” klaim Blinn. Konsumen terbukti memiliki kebutuhan yang tinggi akan informasi terkait kecerdasan buatan dan algoritma.

Baca juga: Sebuah startup Jerman telah mengembangkan algoritma yang diharapkan dapat mengubah industri real estat

“Tentu saja, pada awalnya tidak ada konsumen yang mendapat manfaat dari kode algoritme yang sangat kompleks yang diungkapkan kepada mereka. Tapi harus jelas kriteria mana yang digunakan untuk mengambil keputusan,” lanjut pakar tersebut. Penting untuk diketahui bahwa jika Anda tinggal jauh, Anda mungkin tidak bisa mendapatkan tempat di universitas atau mungkin tidak bisa mendapatkan pinjaman karena Anda terlalu sering berpindah-pindah. Permasalahannya masih sama: “Algoritmenya sering kali berupa kotak hitam.”