drpontus

By Pontus Wärnestål

Generative AI has been deployed at scale before societies had time to understand its consequences. In only a few years, experimental models have rapidly become embedded in education, healthcare, media, public services, and daily communication. The dominating narrative calls this progress. In reality, it is a transfer of influence and control over information and decision-making to a handful of Silicon Valley-based technology companies.

That is why AI governance is the most pressing issue of the AI era. Without it, we are not shaping this technology. We are allowing a handful of private actors to shape our economies, institutions, and public discourse.

What AI Governance Actually Means

AI governance is often misunderstood as simple regulation or compliance. It is neither bureaucratic overhead nor a brake on innovation. AI governance is the system of rules, institutions, technical safeguards, and accountability structures that determine how AI is designed, deployed, evaluated, and controlled.

It includes:

• Legal frameworks defining responsibility and liability
• Technical standards for safety, robustness, and transparency
• Independent oversight and auditing mechanisms
• Ethical and democratic accountability structures
• Public infrastructure for trustworthy and sovereign AI development
• Labor, environmental, and cultural protections related to AI supply chains

In short, governance determines whether AI serves society — or whether society becomes a testing ground for tech companies.

The Governance Gap

The latest LLM-powered AI technology has advanced at a pace that far outstrips our ability to regulate it. Companies release increasingly powerful models into public and institutional use while the systems that should verify safety, evaluate societal risks, and assign responsibility remain fragmented or nonexistent.

This gap is structural. The current economic incentives of the AI industry reward rapid deployment, market capture, and scale. Safety, transparency, and accountability are viewed as slowing down that process. As a result, governance is treated as a secondary concern – something to be added after technologies are widely adopted and dependencies are already established.

History suggests this is the most dangerous phase of technological development. Industrialization, pharmaceuticals, aviation, and nuclear power all demonstrate the same pattern: early expansion without oversight creates systemic risk that later requires costly and reactive regulation. AI is following that trajectory, but at unprecedented speed and scale.

AI development has been driven by impressive demonstrations rather than proven reliability or societal readiness. The risk is not that AI exists, but that it is deployed in complex social systems before we understand how to control it.

AI Is Not Just Software. It Is Power Infrastructure.

Generative AI is often described as a productivity tool. That framing obscures its real impact. AI systems increasingly shape information flows, language use, economic opportunities, and decision-making processes. They are becoming a layer of societal infrastructure.

Infrastructure carries power. Whoever controls it influences communication, knowledge production, and public services. When AI infrastructure is controlled by a small number of private actors, governance is no longer just about technology. It becomes a question of democracy, sovereignty, and institutional resilience.

For smaller countries like Sweden, the issue is particularly acute. Reliance on external AI systems creates strategic dependency. If AI becomes foundational to education, public administration, healthcare, and communication, access and control over these systems becomes as critical as energy or telecommunications infrastructure.

AI sovereignty is therefore basic risk management and a resilience issue. It ensures that democratic societies retain the capacity to govern technologies that shape their citizens’ lives.

Alignment Is a Governance Problem

The concept of AI alignment is often framed as a technical challenge: how to make AI systems follow human values. But this framing avoids a fundamental question – whose values?

Alignment cannot be solved inside corporate research labs alone. Human values are negotiated through democratic processes, legal systems, and cultural institutions. Without governance, alignment becomes an internal corporate policy rather than a societal decision.

True alignment requires enforceable standards. It requires transparency about training data, model behavior, and deployment contexts. It requires independent evaluation and public accountability. Without these mechanisms, alignment becomes marketing language rather than a measurable outcome.

The Hidden Costs of Ungoverned AI

The urgency of AI governance is not hypothetical. The consequences of insufficient oversight are already visible across multiple dimensions.

Creative industries face structural disruption as AI models are trained on copyrighted work without consent or compensation. Creative workers lose income as their work trains models without compensation. Invisible global labor markets support AI systems through data annotation and content moderation, often under poor working conditions. Content moderators in Kenya and the Philippines develop PTSD filtering training data for poverty wages. The environmental footprint of large-scale AI – including energy consumption and water use – remains opaque and largely unregulated.

Linguistic and cultural diversity erodes as English-centric models dominate. The legal costs of deepfakes, defamation, and disinformation fall on individuals and governments while tech companies invoke terms of service to shield themselves from liability. These companies increasingly operate as publishers and information intermediaries while avoiding the accountability traditionally required of those roles.

These issues are systemic outcomes of technological scaling without governance frameworks capable of distributing risks and benefits fairly.

Governance Enables Responsible Innovation

Current AI development exemplifies what happens when technological capability outpaces social wisdom about appropriate use. We have created powerful tools for mass content generation without considering whether replacing human creativity with statistical pattern matching serves any purpose beyond reducing labor costs. We have built systems that can mimic human reasoning without addressing whether mimicry advances understanding. We have enabled unprecedented surveillance and manipulation capabilities without establishing boundaries around acceptable applications.

The halo effect that surrounds AI makes these questions difficult to raise. Skepticism about specific deployments gets conflated with opposition to progress. Calls for oversight get framed as obstacles to innovation. Concerns about harms get dismissed as “luddism”. This rhetorical strategy benefits those who profit from unconstrained development while silencing those who bear its costs.

The dominant narrative suggests that governance slows innovation. Evidence from other sectors suggests the opposite. Aviation safety regulations made commercial flight trustworthy. Pharmaceutical oversight made medicine reliable. Environmental regulation drove cleaner industrial technologies.

We would never allow the pharmaceutical industry to self-regulate, yet we permit AI companies to deploy systems affecting hundreds of millions of users without independent oversight, safety testing, or liability frameworks. The comparison is apt. Both industries produce products with significant potential for societal harm. Both require expert evaluation before mass deployment. Yet only one operates under a regulatory regime designed to protect the public.

Governance creates stable conditions for innovation by building trust, ensuring safety, and distributing benefits more broadly. Without governance, technological progress becomes fragile. Public backlash, legal uncertainty, and systemic failures eventually undermine the technology itself.

Responsible AI innovation depends on governance structures that are credible, transparent, and enforceable.

What Rigorous AI Governance Should Look Like – And What Organizations Can Do Today

AI governance is often discussed as something governments or regulators must solve. But governance is not only a legal framework. It is also a design discipline and an operational responsibility. Every organization that develops, deploys, or procures AI systems becomes part of the governance ecosystem.

For small and medium-sized enterprises (SMEs), public organizations, and design teams, responsible AI governance is not about building large compliance departments. It is about embedding accountability, transparency, and human oversight directly into how services are designed and delivered.

Six practical pillars can guide that work.

1. Independent Evaluation and Continuous Testing

Governance begins with knowing how AI systems behave in real conditions.

What SMEs and organizations can do:

• Test AI systems with real-world scenarios before deployment, including edge cases and failure situations.
• Involve diverse users in testing to identify bias, accessibility barriers, or unexpected outcomes.
• Document known limitations and communicate them clearly to users and employees.
• Establish internal review checkpoints when AI systems are updated or retrained.

What designers can do:

• Design services that anticipate AI mistakes and allow users to correct or override automated outputs.
• Include clear signals that show when content or decisions are AI-generated.
• Create interfaces that encourage verification rather than blind trust.

Good AI design assumes systems will fail sometimes – and ensures those failures are visible, understandable, and recoverable.

2. Transparency and Impact Awareness

Responsible AI requires openness about what the system does, what data it uses, and what risks it carries.

What SMEs and organizations can do:

• Inform customers and employees when AI is being used in products or decision processes.
• Map what data is being used and ensure it is collected and processed legally and ethically.
• Conduct simple internal impact assessments before launching AI-powered services:
  • Who benefits?
  • Who might be harmed?
  • What could go wrong at scale?

What designers can do:

• Design user journeys that clearly explain when AI is involved and what role it plays.
• Use plain language explanations rather than technical disclaimers.
• Provide users with meaningful consent and choice when AI is used.
• Contribute to standards by documenting and sharing your ML-driven design patterns.

Transparency builds trust. Hidden automation erodes it.

3. Accountability and Responsibility Structures

AI systems often blur responsibility between developers, vendors, and organizations. Governance requires clarity about who is accountable when things go wrong.

What SMEs and organizations can do:

• Assign internal ownership for AI systems — someone must be responsible for oversight and risk management.
• Create escalation procedures for reporting AI errors, bias, or harmful outputs.
• Carefully evaluate third-party AI providers and demand documentation of safety and performance practices.

What designers can do:

• Build feedback loops that allow users to report harmful or incorrect AI outputs.
• Design services that preserve human review for high-impact decisions such as hiring, lending, or healthcare recommendations.

Accountability means AI systems are never allowed to operate without human responsibility attached.

4. Public and Ethical Procurement Choices

Many organizations do not build AI – they buy it. Procurement is therefore one of the most powerful governance tools available.

What SMEs and organizations can do:

• Choose AI vendors that provide transparency about training data, model limitations, and environmental impact.
• Prefer providers that support open standards and data portability to avoid long-term dependency.
• Include ethical and sustainability criteria in procurement decisions, not just price and performance.

What designers can do:

• Advocate internally for selecting tools that support responsible data practices and user safety.
• Ensure service designs do not create unnecessary reliance on opaque AI outputs.
• Make sure you understand enough of the technological aspects of ML and genAI to be a part of the professional conversation around how “AI” actually works.

Every procurement decision shapes the AI ecosystem.

5. Labor and Creative Supply Chain Responsibility

AI systems rely on large amounts of human labor and creative content. Governance requires recognizing and respecting that human foundation.

What SMEs and organizations can do:

• Avoid using AI systems that clearly exploit copyrighted or ethically questionable training data when possible.
• Credit and compensate human creators when AI tools incorporate identifiable creative contributions.
• Ensure employees understand how AI affects their roles and provide training that empowers rather than replaces them.

What designers can do:

• Design workflows where AI supports human creativity instead of replacing human authorship.
• Highlight and preserve human contribution in AI-assisted services.

Responsible AI should augment human work, not erase its value.

6. Continuous Monitoring and Adaptive Governance

AI systems evolve over time. Governance must evolve with them.

What SMEs and organizations can do:

• Regularly audit AI performance, user feedback, and unintended consequences.
• Track how AI affects customer trust, employee workflows, and decision quality.
• Update internal policies and service design based on real-world outcomes.

What designers can do:

• Treat AI-enabled services as living systems that require iteration and monitoring.
• Design dashboards and reporting tools that help organizations observe AI behavior over time.

Governance is not a one-time checklist. It is an ongoing responsibility.

Governance as a Design Opportunity

For SMEs and designers, AI governance is not simply risk management. It is a competitive and ethical advantage. Organizations that design transparent, accountable, and trustworthy AI services build stronger customer relationships, reduce legal risk, and create more resilient products.

Responsible AI design also aligns with long-term innovation. Systems that users understand, trust, and control are more likely to be adopted sustainably.

Governance is therefore not only about avoiding harm. It is about designing technology that earns trust and creates lasting societal value.

Choosing Responsibility and Direction over Speed

Every major technological shift forces societies to decide what kind of future they are willing to build. Generative AI is no exception. It carries enormous potential: it can strengthen public services, accelerate scientific discovery, and expand access to knowledge. But it also carries the capacity to concentrate power, erode cultural diversity, destabilize labor markets, and weaken trust in information systems.

Governance determines which of these futures becomes reality.

Too often, the debate around AI is framed as a race – a competition between nations, companies, and institutions to develop more powerful systems faster than everyone else. But the real race is not technological. It is moral and institutional. It is the race between capability and responsibility.

Right now, technological capability is accelerating rapidly. Responsibility is not.

Dutch historian and author Rutger Bregman describes moral ambition as the willingness to dedicate talent, resources, and political will to solving humanity’s most urgent and complex problems. Moral ambition rejects the idea that the most capable actors should simply pursue profit, prestige, or technological dominance. Instead, it asks what those actors owe to society.

Artificial intelligence demands precisely this kind of ambition.

Developing systems that shape language, information flows, education, public administration, and democratic discourse is not a neutral technical exercise. It is an act that redistributes power across society. And power, when left ungoverned, rarely distributes itself fairly.

The question is no longer whether AI will influence our future. It already does. The question is whether we will take responsibility for guiding that influence.

Responsibility means acknowledging that technological progress does not automatically produce social progress. It means accepting that safety, fairness, sustainability, and democratic accountability must be designed into AI systems deliberately. It means building institutions capable of auditing, regulating, and shaping technologies that are increasingly embedded in everyday life.

Most importantly, responsibility means rejecting the idea that governance is an obstacle to innovation. Governance is what makes innovation legitimate, sustainable, and worthy of public trust.

History offers a clear lesson. The Industrial Revolution created unprecedented wealth and productivity – but it also produced exploitation, inequality, and social upheaval. The benefits society now associates with industrialization did not emerge from technology alone. They emerged from labor movements, democratic reform, public regulation, and collective demands for fairness and safety.

The same is true for AI.

If we want artificial intelligence to strengthen democracy, improve working life, preserve cultural and linguistic diversity, and contribute to a sustainable future, then governance cannot remain reactive or symbolic. It must be proactive, evidence-based, and democratically grounded. It must be built with the same seriousness and ambition that currently drives technological development itself.

Artificial intelligence may shape the future. But responsibility will decide whether that future is worth living in.

Machine Learning (ML) is not something designers “add” to products. It is something products are increasingly made of. Across contemporary digital systems – productivity environments, decision-support software, operational platforms, and public-sector infrastructure –machine learning drafts content, ranks options, predicts outcomes, monitors conditions, and sometimes executes actions. These systems increasingly shape not just interfaces, but workflows, attention, responsibility, and judgment.

Yet many ML-based systems remain difficult to trust, difficult to understand, and difficult to contest. Users often cannot tell what the system is doing, why it is doing it, or how much authority it actually has.

This is frequently framed as a problem of model quality or explainability. In practice, it is more often a human–machine interaction and design problem.

Before discussing the specific patterns, two distinctions need to be made explicit, because current AI discourse routinely obscures them.

Clearing the ground: agency without anthropomorphism

First, referring to computational systems as a proper agent (e.g. by using languages like “I”, “he/she”, etc.) is a category error.

Machine Learning systems do not possess intention, judgment, or responsibility. Treating them as “agents” in any meaningful deep sense is not only inaccurate – it actively damages design thinking by masking where power and accountability actually reside. Anthropomorphic language invites misplaced trust, emotional attachment, and false expectations, all of which are well-documented failure modes in human–”AI” interaction.

When this article discusses agency, it does so in an interactional and operational sense: what entity initiates actions, “who” constrains options, and where responsibility is located within a system of systems.

Agency here is not a property of the machine. It is a design outcome – produced by interfaces, defaults, workflows, and institutional choices. Any apparent “initiative” of a system is ultimately the result of human decisions embedded upstream.

That being said; sometimes anthropomorphic language may occur in this text in order to make it readable. Since we don’t have an adequate vocabulary for all ML-specific characteristics, we sometimes shortcut to words reserved for human cognition, like “hallucination”, “learn”, “infer”, or even “intend”. But never forget that “intelligence” is a highly problematic word. In fact, statistical pattern recognition would be better understood and assessed if we stayed away from anthropomorphic language altogether.

Tools versus services: a design distinction with ethical consequences

Second, there is a critical distinction between tools and services, and it is often ignored in discussions of the latest generation of large language models (LLMs).

A tool expands user capability while remaining subordinate to user intent. It exposes its controls, allows misuse, and does not enforce values beyond basic technical constraints. A text editor, a compiler, or even a locally run model falls into this category.

A service, by contrast, governs interaction. It dictates allowable actions, decorates or rewrites user input, filters outputs, enforces the service vendor’s values, and reserves the right to change behavior unilaterally. Commercial LLMs, like ChatGPT and Gemini, are services, not tools. They operate within corporate, legal, and economic constraints that shape every interaction – often invisibly.

This distinction matters for design.

Service-based ML systems redistribute agency away from users by default. They constrain exploration, enforce alignment policies, and collapse accountability into terms of service. They are not neutral substrates for design patterns; they are already opinionated systems.

This article advocates for tool-oriented ML design: local models, open-weights systems, or constrained deployments where designers and users can meaningfully inspect, adapt, and contest system behavior. The patterns described below are framed with tools in mind – not opaque, centrally governed services built on unlicensed data extraction.

From deterministic tools to probabilistic interaction materials

Traditional software tools respond to direct manipulation. They wait for instruction, execute deterministically, and stop when the user stops.

Machine learning systems can behave differently.

They “infer” intent from incomplete signals, operate probabilistically, and may continue producing outputs without explicit triggers. They generate results that appear coherent and authoritative even when uncertainty is high.

From a human–machine interaction perspective, this changes how control is exercised and experienced. Interfaces designed for deterministic tools often misrepresent probabilistic systems, creating illusions of certainty or control where neither exists.

Designers working with ML are therefore not just shaping interfaces. They are shaping how decision-making authority is distributed, how uncertainty is surfaced or suppressed, and how responsibility is assigned when outcomes fail.

The three patterns that follow describe recurring configurations of these dynamics. They are not roles played by machines, but design patterns for structuring interaction between humans and computational systems.

The Drafter: supporting exploration without collapsing authorship

A Drafter is a pattern designed to support exploration.

It expands the space of possibilities by generating alternatives, variations, or partial structures. This pattern appears in early-stage ideation, text generation, exploratory analysis, and prototyping – contexts where the primary goal is sense-making rather than selection.

Well-designed Drafters feel provisional. Their outputs are interruptible and incomplete. They are clearly framed as material to think with, not answers to accept. Authorship remains with the human, not because the system is weak, but because the design deliberately resists closure.

The value of a Drafter is productive divergence. It is not the job of the Drafter to be factually correct. (Machine Learning is probabilistic – for factchecking you’re better off using regular information retrieval anyway.)

Design failure occurs when a Drafter is presented as authoritative. When exploratory outputs are polished into final form too early, users stop interrogating them. What began as a thinking aid quietly becomes a judgment proxy. Do not outsource the user’s judgment to the Drafter – instead; enhance the problem space for the user.

A Drafter should make users feel more capable, not merely faster. If interaction rewards acceptance over reflection, the pattern has failed.

The Decider: compressing complexity without displacing judgment

Deciders are systems designed to support convergence.

They rank, score, predict, or recommend. They are used where complexity must be reduced in order to act: prioritization, forecasting, risk assessment, planning.

Deciders inevitably encode assumptions. Every ranking reflects value trade-offs. Every prediction carries uncertainty. The design challenge is not eliminating uncertainty, but making it visible and negotiable.

Responsible Deciders support human judgment rather than replacing it. They expose why a recommendation exists, surface confidence or disagreement, and allow users to explore alternatives. Crucially, they preserve the human’s role as the final decision-maker.

Failure arises when outputs are framed as objective truth, when context is stripped away for the sake of simplicity, or when ignoring a recommendation feels like misuse. In these cases, responsibility shifts silently from human to system.

Deciders do not remove responsibility. They help users making decisions. Design determines whether that help is explicit or hidden.

The Deputy: delegation, boundaries, and accountability

Deputies are systems that execute actions on a user’s behalf.

They monitor conditions, trigger responses, and manage workflows over time. This is where ML systems most clearly reshape responsibility, because actions may occur when the user is absent.

The central design problem of Deputies is not capability, but scope.

Trustworthy Deputies have explicit boundaries, reversible actions, and visible audit trails. They escalate rather than decide when stakes increase. Their behavior is inspectable after the fact, not just configurable beforehand.

Design failures include silent background execution, blurred lines between suggestion and action, and the absence of meaningful shutdown mechanisms. Delegation without legibility is not assistance—it is abdication.

Once a system can act without asking, ethics is no longer abstract. It is embedded in thresholds, defaults, and escalation rules. These are design choices that truly matter.

Hybrid systems and pattern drift

In practice, real ML-based services may combine all three patterns.

A system may generate options, rank them, and then execute the result – with continuous human intervention. Hybrid designs are not inherently problematic. The risk lies in unmarked transitions between patterns.

When exploratory drafting turns into implicit judgment, or recommendations turn into automatic execution, users lose agency without noticing. These shifts are rarely intentional; they emerge as systems evolve and defaults harden.

Without a clear pattern language, this drift is difficult to detect and harder to resist.

Designing interactional power, not intelligence

These patterns are – like all technology – not neutral. They encode both explicit and implicit decisions about authority, responsibility, and accountability.

For designers working in human–machine interaction, this is not an abstract ethical debate. It is everyday design work. Patterns provide a way to reason about ML systems without anthropomorphism or hype, and without hiding behind model complexity.

They also make it easier to say no – to inappropriate automation, premature delegation, or false certainty – while still designing systems that are genuinely useful.

Before deploying any ML-based system, it is worth asking a simple question:

If this system produces a harmful or incorrect outcome, does the interface make it clear where control actually resided?

If the answer is unclear, the design is unfinished.

As machine learning becomes infrastructural, design remains one of the few places where human values can be concretely enforced – not through slogans or alignment rhetoric, but through careful, explicit interaction patterns.

By Pontus Wärnestål

1. INTRODUCTION

When we talk about “design tools,” we often mean software: Figma, Miro, prototyping platforms, and now AI-powered assistants. These tools promise efficiency and speed. But as Ivan Illich (1973) and Marshall McLuhan (1964) argue, tools are never neutral. They extend us – but also reshape us. They amplify capability – but can also amputate forms of thinking we no longer practice.

Modern designers sit inside a tool ecosystem that subtly determines how they think, not just what they produce. Recognizing this is the first step toward reclaiming agency and imagination.

2. ILLICH: WHEN TOOLS CROSS A THRESHOLD

Ivan Illich, in the essay book Tools for Conviviality (1973), makes a powerful distinction between tools that amplify human autonomy and tools that invert control – becoming systems that the user must adapt to. Illich argues tools have a threshold:

• Below the threshold, tools enhance freedom, skill, and creativity.
• Above the threshold, tools reorganize society around their own requirements.

At that point, tools become radical monopolies: infrastructures you must use because opting out means professional or social exile. Illich’s concern was not convenience, but autonomy:

• Does a tool leave room for personal initiative?
• Does it support diversity of approaches?
• Does it demand expert maintenance or corporate centralization?
• Does it enhance competence – or replace it?

Today’s proprietary LLM services (in fact, not “tools” per se) and closed design ecosystems exhibit the traits Illich warned about:

• They require designers to work inside their assumptions.
• They centralize power in proprietary infrastructures.
• They encourage homogenized outputs and “best practice templates.”
• They replace certain forms of judgment, not by supporting them, but by overriding them.

The speed is seductive, but Illich would say: “speed becomes a trap if it funnels us toward mediocrity.”

A convivial tool on the other hand, in Illich’s language, is one that:

• Is transparent
• Is user-controlled
• Supports skill rather than deskills
• Expands imaginative freedom
• Does not demand conformity to an external system

Pen and paper are convivial. A local sketching tool or a customizable design system may be convivial. A proprietary black-box AI? Mostly not.

3. McLUHAN: EVERY TECHNOLOGY EXTENDS – AND AMPUTATES

Marshall McLuhan’s media theory (McLuhan, 1964) strengthens Illich’s warning. McLuhan famously wrote:

”Every technology is an extension of ourselves.”

The car extends the foot. The phone extends the voice. Figma extends the designer’s hand.

But less often quoted is McLuhan’s complement:

”Every extension also amputates part of ourselves.”

When we extend memory into cloud storage, we atrophy the ability to recall. When design tools automate layout, we risk dulling the intuition of composition. McLuhan invites us to ask:

• What capacities are extended?

• What capacities quietly shrink?

• What becomes unthinkable inside a given medium?

When a tool becomes ubiquitous, it becomes the environment. And when something becomes the environment, we stop noticing it — but it continues shaping us.

For today’s designers a number of questions need answering:

• What does tools like Figma make easy?
• What does it make invisible?
• What does an AI assistant normalize as “the right answer”?
• What forms of thinking are lost when starting with a template?

McLuhan’s insight:

”The logic of the medium becomes the logic of the mind.”

When LLM services set the default style, tone, and structure of design reasoning, the designer’s imagination risks becoming an echo of the system.

4. PALLASMAA: THINKING WITH THE HAND

Juhani Pallasmaa expands this in The Thinking Hand. He argues that embodied cognition – thinking through gesture, pressure, texture, speed – is not primitive but foundational:

• Sketching produces ambiguity, which fuels discovery.
• The resistance of materials slows thinking into deeper awareness.
• Physical marks reveal the mind’s hesitations and possibilities.

Digital tools erase resistance. They flatten differences. They tidy too quickly.

Pallasmaa says that the hand “thinks” in ways the conscious mind cannot.

When design begins in high-fidelity tools:

• Ambiguity collapses.
• The premature clarity limits imagination.
• Exploration is replaced by refinement.

This is why early-stage ideas should emerge from tools that introduce friction, not ones that algorithmically smooth it away.

5. NIGEL CROSS: DESIGN AS A WAY OF KNOWING

Nigel Cross (2001) reminds us that design is not just visual production — it is a mode of inquiry. Designers generate knowledge by:

• externalizing ideas
• iterating through representations
• constructing and reframing problems
• engaging in reflective dialogue with the materials at hand

But if the “material at hand” is a software environment that:

• prescribes structure,
• assumes best practices,
• autofills patterns,
• or suggests solutions before the designer thinks…

…then the mode of inquiry itself is altered.

Cross emphasizes that designers must maintain intentionality – choosing representations that allow them to think, not representations that tell them what to think.

6. SUMMARY

When Illich, McLuhan, Pallasmaa, and Cross are placed together, a clear picture emerges:

1. Illich: Tools must remain within human scale and control — or they reshape us.

2. McLuhan: Every tool subtly rewires our cognitio — extending and amputating.

3. Pallasmaa: Embodied, physical making produces deeper imagination than screen-first workflows.

4. Cross: Design knowledge emerges from intentional, exploratory representation — not templates.

Together, they form the intellectual backbone for the aware design professional:

Speed-driven tools funnel designers toward the average. Convivial, human-scale tools expand imagination and autonomy.

Choosing pen and paper, sketching, tangible prototyping, local tools, or open toolchains is not conservative nostalgia. It is convivial resistance — deliberately designing the conditions in which original thinking can occur.

As you reflect on your current tools, ask:

1. What aspect of my thinking is this tool extending?

2. What aspect is it amputating?

3. What assumptions does it normalize?

4. Does it encourage diversity or conformity?

5. Does it amplify my competence — or replace it?

6. Can I alter the tool — or must I adapt to it?

7. Does using this tool make me feel more autonomous — or more dependent?

Your goal is of course not to abandon digital tools — but to see them clearly, and to choose intentionally rather than habitually.

References

• Cross, N. (2001). Designerly ways of knowing: design discipline versus design science. Design Issues, 17(3) pp. 49–55.
• Illich, I. (1973). Tools for conviviality. Calder and Boyars, London.
• McLuhan, M. (1964). Understanding Media. https://mcluhan.org/understanding-media/
• Pallasmaa, J. The Thinking Hand: Existential and Embodied Wisdom in Architecture (2009). Wiley. https://www.wiley.com/en-us/The+Thinking+Hand%3A+Existential+and+Embodied+Wisdom+in+Architecture-p-9780470779293

Varje stor teknologisk epok börjar med överdrivna löften, centralisering och en bubbla – och slutar med standarder, fragmentering och institutionalisering. Internet, elnätet, järnvägen och mobilnätet såg alla likadana ut i sin tidiga fas: ett fåtal dominerande aktörer, extrema värderingar och en berättelse om att just deras lösning var liktydig med framtiden.

LLM-eran (“AI” i folkmun) befinner sig nu i precis den brytpunkten. Samtidigt som Big Tech börjar tala om “avtagande skalningseffekter” och justerar ned sina AGI-ambitioner, blir det allt tydligare att dagens “AI” inte är vare sig verktyg eller infrastruktur i egentlig mening – utan privata, snabbt skiftande tjänster med extrem maktkoncentration.

Vi ser en avtagande avkastning på ”större modell, mer data, mer GPU”. De allmänt tillgängliga AI-modellerna blir inte bättre för varje dag, snarare tvärtom pga ”scaling wall” samt tak för tillgänglig data. Nu är i princip hela nätet skrapat, och framöver får vi dessutom en ökande andel LLM-genererat innehåll, vilket kommer sänka kvaliteten på den data som nya modeller kommer att bygga på.

Det faktiska värdet är ofta lokalt och taktiskt  –  och inte den breda, ”Internet-nivå” som utlovades av techbolagen initialt. (”Feel the AGI”, som Sam Altman sa. Idag hävdar även han att begreppet ”AGI” inte är användbart.)

Problemet är inte bara vad LLM:er kan, utan hur de levereras — som slutna tjänster, inte som öppen infrastruktur.

Vi närmar oss gränserna för fysik, data och ekonomi samtidigt. Det blir en stor utmaning för övervärderade bolag. Därför pratar man alltmer om en bubbla. Märk väl: precis som med IT-kraschen 2001/2002 så är detta en ekonomisk bubbla. Transformerteknologin kommer att finnas tillgänglig, fast antagligen inte på det viset som OpenAI, Google och de andra techjättarna har gjort gällande.

Det finns så klart också en stor trötthet på hypen  – och det påverkar också investeringsvilja, intresse och retorik.

Vissa tror att LLM:er bara är en övergångsteknik som snart ersätts av mer strukturerade system; andra tror att LLM-familjen fortsatt kommer vara ett centralt gränssnitt, men att värdet sitter i hur den kopplas till annan AI, data och verktyg. Den som lever får se.

Att kalla ChatGPT, Claude, Grok, Gemini etc. för ”verktyg” eller ”infrastruktur” är dock gravt missvisande både i ekonomisk och semantisk mening. Låt oss börja med begreppet verktyg:

Verktyg eller tjänst?

LLM:erna säljs som ”verktyg”, men är i själva verket ”tjänster”. Här ligger en enormt viktig distinktion. Många tror att de ”skapar” något med hjälp av AI. Det gör de så klart inte: de beställer bild/text/film av en tjänst. Användarna sitter helt i händerna på privata leverantören.

Det är alltså en maktfråga.

Ett verktyg är något du som användare äger eller kontrollerar: en hammare, en kamera, ett textredigeringsprogram. Du kan använda det offline. Du kan uppgradera när du vill. Du kan ta ansvar för resultatet, eftersom beteendet är stabilt och förutsägbart.

En tjänst fungerar i princip tvärtom. Den förändras kontinuerligt, utan ditt medgivande. Den kan försämras, begränsas, behäftas med ny prismodell eller dras tillbaka helt. Den kan börja servera annonser. Den kan börja prioritera andra kundgrupper än dig. Den kan få nya regler för vad som är “tillåten användning”. Och när något går fel kan leverantören alltid hänvisa till att du har “använt tjänsten fel”.

När LLM-tjänsterna marknadsförs som verktyg skapas en illusion av användarmakt som inte existerar.

Du skapar inte med en LLM på samma sätt som du skapar med en kamera eller ett ritprogram. Du lägger snarare en beställning hos en svart låda, vars inre logik, träningsdata, säkerhetsfilter, optimeringsmål och affärsintressen är helt utanför din kontroll. Resultatet är inte ditt hantverk – det är ett levererat svar från en privat aktör med kommersiell agenda.

Det betyder inte att tekniken är värdelös. Men det betyder att relationen mellan användare och leverantör är fundamentalt asymmetrisk.

I praktiken sitter användaren i händerna på leverantören på minst fem sätt:

1. Teknisk kontroll – modellen ändras löpande, ibland drastiskt, utan transparens.

2. Affärskontroll – prissättning, kvoter, annonser och abonnemangsvillkor kan ändras över en natt.

3. Juridisk kontroll – användningsregler och ansvarsförskjutning skrivs ensidigt av leverantören.

4. Epistemisk kontroll – du kan inte verifiera hur eller varför ett svar genereras.

5. Produktkontroll – tjänsten kan stängas ner, degraderas eller regionbegränsas när som helst.

Detta är alltså hur en tjänst beter sig. Verktyg har andra brukskvaliteter.

Det vi har i dag är ett fåtal privata tjänster med extrem koncentration av makt, minimal insyn och snabbt skiftande affärsmodeller. Att kalla dem verktyg gör dem oförtjänt stabila, neutrala och oskyldiga i människors föreställningsvärld.

Språket vi använder formar hur vi förstår ansvar, makt och beroende.

Så länge vi kallar LLM-baserade tjänster för verktyg kommer vi att fortsätta låtsas att användaren har kontroll. Det har hen inte.

Och i OpenAIs fall blir det extra tydligt hur skör hela metaforen är. Deras tjänst ChatGPT har i skrivande stund existerat i ungefär tre år. Det är ingenting i infrastrukturella termer. Det går inte att jämföra med internet, elnätet eller mobilnätet, som byggts upp under decennier, reglerats, standardiserats och distribuerats mellan många aktörer.

Att redan nu tala om “AI som ett allmänt verktyg” eller “grundläggande infrastruktur” är att gravt förväxla hype med mognad.

Infrastruktur?

Internet bygger på öppna protokoll (TCP/IP, HTTP, SMTP …). Ingen äger ”internet” som infrastruktur. Likaså vilar mobilvärlden på standardiserade nät (GSM, LTE, 5G) och hårdvara där flera aktörer kan konkurrera på varje lager. Tack vare reglering och standardisering (som en kommentar på det tröttsamma feltänket att ”reglering hindrar innovation”) kan vi konsumenter byta: webbläsare, operatör, hårdvara och till och med OS och ändå vara på samma nät. Detta sporrar innovation. Det innebär interoperabilitet, mångfald av leverantörer och stabilitet (protokoll överlever vanligtvis bolag). Google, Apple och Microsoft är gamla i gamet, men har inte funnits alls lika länge som infrastrukturen för deras produkter.

Dagens LLM:er är tränade på hemliga dataset, med hemliga metoder, hostade på leverantörens egna moln (OpenAI, Google, Anthropic m.fl.) och endast nåbara via API:er och appar där hela stacken ägs, drivs och kan ändras ensidigt av leverantören. Dvs, de är extremt proprietära, vilket leder till lock-in och “kunskapsinfrastruktur som privat produkt”. Därav den stora faran då t ex Google går in så aggressivt mot lärandesektorn med Gemini och NotebookLM och försöker bli den centrala kontrollerande noden i vetenskaplig kunskapsproduktion och lärande.

Så hur blir det då?

Ponera att techbolagen och deras “AI”-tjänster förminskas/försvinner. Då säger historien att teknologin (transformer-baserade LLM:er i det här fallet) blir en öppen arkitektur, snarare än privata tjänster. Då skulle de kunna hamna i samma kategori som databas-motorer eller TCP/IP: ett grundlager som nästan ingen ”ser”, men som allt bygger på. Då skulle det kunna handla om:

• Öppna, standardiserade protokoll för hur modeller nås och används
• Flera kompatibla implementationer (olika modeller, olika optimeringar)
• En tydlig separation mellan modell, hårdvara, data och applikation

Transformern blir då mer som ”standardiserad maskinell språklogik” än en företagsprodukt. De stora skillnaderna mot idag skulle vara: färre monolitiska chatt-tjänster, däremot fler osynliga LLM-komponenter inbäddade i operativsystem, databaser, utvecklingsmiljöer, webbläsare och domänspecifika system.

Om/när dagens LLM-jättar kollapsar som aktörer, så försvinner inte teknologin ;  den ”degraderas” från centraliserad tjänst till allmän kunskap. Det här mönstret ser man om och om igen i teknikhistorien:

• IBM, DEC och Sun föll eller krympte, men idéerna de utvecklade (timesharing, RISC, UNIX-filosofin) lever kvar i Linux och andra moderna operativsystem.
• Tidiga nät- och telekomjättar förlorade till slut sin dominans, men protokollen standardiserades och flyttade in i öppna organ som W3C.
• Många proprietära databaser tappade mark, men SQL som idé standardiserades och frodas i öppna implementationer.

Slutet på en era

Vilda västern-eran når sitt slut och vi får mer fokus på standarder och “governance”. Tekniker som överlevt sina första generation (internet, elnät, järnväg, flyg) har alltid behövt standardiseringsorgan, normer och ibland mellanstatliga avtal för att fungera långsiktigt. Om LLM:er blir infrastruktur i samma mening kommer vi förr eller senare landa i öppna standarder för modellformat, träning, certifiering/reglering av vissa användningsområden (likt luftfart, läkemedel), samt separation mellan den som definierar standard, den som implementerar och den som driver tjänsterna.

Och när den här omställningen väl sker – från vilda västern till standardiserad infrastruktur – då vill man inte stå där med hela sin AI-strategi inlåst i en enskild, privat, blackboxad tjänst. Då är det för sent att upptäcka att det man trodde var ett ”verktyg” i själva verket var ett tillfälligt abonnemang på någon annans affärsmodell.

Den som i dag outsourcar sin kompetens, sina arbetsflöden och sitt kunskapskapital till en monopoliserad AI-tjänst gör inte en teknisk investering. Hen gör ett beroendeval.

Generativ AI säljs in som lösningen på allt från sjukvård till skolkris — men används i praktiken för att massproducera meningslöshet. Bakom löftena om innovation döljer sig en teknologi som exploaterar arbetare, utarmar kulturen, dränerar språket och centraliserar makt. Ändå vågar få säga emot — för ingen vill vara den som står i vägen för ”framtiden”. Men just därför måste vi börja ifrågasätta vad det är vi håller på att bygga. Och för vems skull.

Generativ artificiell intelligens (genAI) — det senaste begreppet inom det mer generella AI-fältet — lyfts fram som en revolutionerande teknologi med enorm potential. De flesta associerar i praktiken begreppet med tjänster som ChatGPT, DeepSeek, Claude, DALL·E och Midjourney — tjänster som kan “skapa” text, bilder och musik med en precision som för bara några år sedan var otänkbar. Även en rad andra förmågor tillskrivs genAI och berättar historien om en teknik-driven samhällsförbättrande revolution.

Halo-effekten, även kallad Thorndike-effekten, är ett psykologiskt fenomen där vår helhetsbedömning av något påverkas oproportionerligt mycket av en enda positiv egenskap eller association. Termen myntades av psykologen Edward Thorndike i början av 1900-talet, efter att han observerat att soldaters fysiska utseende påverkade hur deras övriga egenskaper bedömdes av officerare. Om en soldat uppfattades som attraktiv eller vältränad, ansågs han också vara mer intelligent, kompetent och disciplinerad — trots att det inte fanns några belägg för det.

Inom teknikområdet uppstår halo-effekten ofta när en ny innovation associeras med framtid, förbättring, intelligens eller förlösande potential — vilket gör att vi tenderar att överse med dess brister eller ignorera dess negativa konsekvenser. Generativ AI omges av en kraftfull halo-effekt. GenAI lyfts fram som nyckeln till framtidens sjukvård, skräddarsydd undervisning, effektiv välfärd och vetenskapliga genombrott. Eftersom tekniken potentiellt kan förbättra sjukvård, undervisning och vetenskap — antas det underförstått att alla tillämpningar är värdefulla. Men i praktiken används tekniken i första hand till att massproducera texter, bilder och kod som ofta är snabb och billig — men sällan meningsfull eller värdeskapande i längden.

Halo-effekten i kombination med en allmän sense of urgency — att vi alla snabbt måste anamma genAI för att inte “förlora AI-racet” eller “halka efter” — gör att kritik blir svår. Den som ifrågasätter tekniken riskerar att framstå som bakåtsträvande, teknikfientlig eller likgiltig inför samhällets behov. Och just därför krävs ett kritiskt förhållningssätt.

För under den glänsande fernissan finns en baksida som sällan diskuteras, en verklighet där ekologiska, sociala och ekonomiska hållbarhetsproblem samverkar med geopolitiska och kulturella frågor — och förvärras i skuggan av en i dagsläget okritisk teknikutveckling.

Ekonomisk ohållbarhet — en attack på “kreativa” yrken

Författare, konstnärer, fotografer och musiker har under lång tid byggt sina yrken på kreativitet och upphovsrätt. Men generativ AI utmanar detta fundament genom att träna på data insamlad från internet — oftast helt utan tillstånd eller ersättning till de ursprungliga skaparna som nu ser sina verk bli råmaterial i AI-träning. Generativa AI-tjänster baserade på språkmodeller och GPT-arkitekturen kan nu generera konst, musik och texter som imiterar existerande kreatörers stilar, vilket ytterligare väcker frågor om upphovsrätt och rättvis ersättning.

Lagstiftningen släpar efter, och i många länder är det fortfarande i en juridisk gråzon att använda kreatörers verk för AI-träning utan samtycke. Det finns många slags metoder för text- och datautvinning som innebär att material samlas in (“skrapas”) från internet av mjukvarurobotar. För författare, konstnärer och kreatörer innebär detta att deras verk exploateras utan att de får någon kompensation — en utveckling som hotar hela den kreativa sektorn.

Den kulturella skadan är redan omfattande. Redan år 2023 uppskattades det att AI-tjänster genererat fler bilder än vad som fotograferats under hela mänsklighetens historia. Mer än hälften av internettrafiken utgörs i dag av robotar, och en växande andel av allt innehåll online bär spår av att vara maskinellt genererat. Resultatet är en medie- och informationsmiljö som snabbt förlorar sin mänskliga kvalitet, där originalitet ersätts av variationer på statistiska sannolikheter.

Utvecklingen riskerar att avskräcka en ny generation kreatörer. Varför investera tid, pengar och liv i att bli författare, illustratör eller fotograf, om ens verk utan samtycke kan skrapas, användas, och sedan imiteras av en AI-modell som snabbt tar över ens marknad? I stället för att stimulera kreativitet, bygger generativ AI en industri där den som matar in en prompt — en kort textbeskrivning — får resultatet, medan hela den visuella, språkliga eller musikaliska skapandeprocessen outsourcas till en kommersiell statistisk prediktionsmaskin. Den “kreativa” insatsen reduceras till beställning, och vi får en alltmer AI-fierad mediaverklighet — präglad av likriktning, reproduktion och kommersiell optimering.

I förlängningen riskerar detta att leda till en form av kulturell modellkollaps: när AI-modeller i allt högre grad tränas på sitt eget, redan genererade material, utarmas kvaliteten, variationen och djupet. Samhället står då inte bara inför en ekonomisk och rättslig kris i den kreativa sektorn — utan inför en mer grundläggande fråga: hur bevarar vi mänsklig kultur, språk och uttryckskraft i en värld där maskinen tillåts härma människan utan gränser, ansvar eller motstånd?

🔍 Om du är författare kan du själv undersöka om din text är skrapad och använd i Metas senaste modeller. Du kan också använda tjänsten haveibeentrained.com för att undersöka om dina bilder använts som träningsdata.

Social ohållbarhet — det dolda arbetet bakom AI

För att de generativa AI-modellerna ska fungera krävs å andra sidan en stor mängd mänskligt arbete för att kurera den insamlade datan. Bakom varje välformulerad text och varje genererad bild döljer sig tusentals timmars lågavlönat arbete. I det tysta har en global skuggarbetsmarknad vuxit fram, där människor i länder som Kenya, Filippinerna och Venezuela manuellt märker upp, städar och modererar innehåll i den brokiga skrapade datan. Lönerna är låga, skyddsnäten obefintliga, och det psykologiska priset för dem som dagligen tvingas exponeras för våldsamt eller exploaterande material är högt. AI-industrins framgångar vilar bokstavligen på dessa människors skuldror, men arbetet i dessa ”digitala sweatshops” förblir osynlig för de flesta slutanvändare.

Innehållsmoderatorer (“content moderators”, “clickworkers”, “taggers”), som arbetar med att rensa bort olämpligt material från sociala medier och AI-system, har rapporterat om PTSD, depression och ångest till följd av sitt arbete. Techbolagen, som skördar miljardvinster, ger ofta minimalt stöd till dessa arbetare.

📕 Boken “Feeding the Machine” (Cant et al., 2024) går grundligt igenom problemen med det osynliga arbetet och lidandet hos innehållsmoderatorer.

Ekologisk ohållbarhet — en energislukande industri

Utvecklingen och driften av storskaliga AI-modeller kräver stora mängder energi och vatten. För att träna en enda modell, som OpenAIs GPT-4, krävs elförbrukning motsvarande tusentals hushålls årliga energibehov. De datacenter som driver AI-systemen är energislukande kolosser, där processorkraften genererar en enorm värme som i sin tur kräver kylning — en process som förbrukar stora mängder färskvatten. Vattenbrist är redan ett akut problem i många delar av världen, men AI-industrins vattenförbrukning är dåligt dokumenterad, vilket gör det svårt att bedöma den faktiska påverkan.

Därtill kommer koldioxidutsläpp. Träningen av storskaliga AI-modeller (“foundation models”) kan producera lika mycket utsläpp som flera långdistansflygningar, och även den dagliga användningen av AI kräver betydande energi. Detta är en aspekt som ofta glöms bort när man pratar om AI:s klimatpåverkan — det handlar inte bara om träning, utan också om varje enskild gång någon beställer en text eller bild. Den generativa AI:ns miljöpåverkan utgör ett växande problem som vi ännu inte fullt ut förstår konsekvenserna av. Problemet är att det är svårt att få ut korrekt data kring energi, koldioxid och vattenåtgång. Detta faktum gör att det går att nedprioritera frågan, vilket i förlängningen gör att så länge techbolagen lyckas undanhålla dessa siffror så adresseras inte miljöproblemen.

📕 Boken “Atlas of AI” av Kate Crawford (2021) beskriver den ekologiskt miljömässiga baksidan av AI.

Geopolitisk osäkerhet — AI som resiliens och infrastruktur

Hypen kring AI har börjat påverka den globala geopolitiken på ett sätt som tidigare teknologiskiften inte gjort på samma snabba sätt. Ett allvarligt problem är Europas och Sveriges ökande beroende av amerikanska techjättar för AI-tjänster. Företag som OpenAI, Google och Meta dominerar utvecklingen av generativ AI, och deras modeller används i allt större utsträckning inom både offentlig förvaltning och näringsliv. Detta skapar en sårbarhet i en värld där geopolitiska konflikter och ekonomiska sanktioner kan förändra spelplanen snabbt.

Om AI betraktas som en central del av framtidens infrastruktur — vilket den i allt högre grad blir — måste vi fråga oss vilka risker som följer av att en så viktig teknologi kontrolleras av enskilda företag i exempelvis USA. I ett framtida krisläge skulle Sverige och EU kunna hamna i en situation där tillgången till AI-tjänster begränsas eller påverkas av beslut fattade utanför vår kontroll. Det gör att vi måste se AI inte bara som en kommersiell innovation, utan som en fråga om digital suveränitet och resiliens.

📕 Carl Heath har skrivit en artikel om digital resiliens utifrån ett svenskt perspektiv (2025).

Språklig påverkan — Sveriges språkpalett

Ett underskattat men långsiktigt problem med generativ AI är dess påverkan på språkanvändning. De största språkmodellerna är optimerade för amerikansk engelska och har ett implicit anglocentriskt perspektiv som riskerar att påverka hur svenskan används och utvecklas. AI blir i allt högre grad en del av vårt dagliga språkbruk — i textgenerering, kundservice, utbildning och offentliga sammanhang. Om den svenska AI-utvecklingen släpar efter och vi blir beroende av anglosaxiska modeller, kan det leda till en urvattning av svenskan både som kommunikativt och kulturellt verktyg.

Detta handlar alltså inte första hand om korrekt syntax och grammatik, utan om språkets roll som tankemönster och identitetsbärare. Språk formar hur vi ser på världen, och om AI domineras av en viss kulturell kontext riskerar det att förändra hur vi uttrycker oss och vilka perspektiv vi tar med oss in i våra resonemang.

Särskilt allvarligt är detta för Sveriges minoritetsspråk, såsom samiska, meänkieli och romani chib, som redan kämpar för sin överlevnad. Dessa språk är obefintligt representerade i dagens AI-modeller och riskerar att ytterligare marginaliseras om inte särskilda insatser görs för att inkludera dem i en nationell språkmodellsutveckling.

Om vi ser AI som språkmodellering och en del av vårt samhälles digitala operativsystem måste vi också förstå vikten av att bevara språklig mångfald och säkerställa att framtida AI-modeller stärker, snarare än underminerar, våra egna språkliga och kulturella identiteter.

AI och informationspåverkan — en ny arena för manipulation

En växande risk med generativ AI är dess sårbarhet för informationspåverkan och manipulation från antagonistiska aktörer. Utländska propaganda- och desinformationsnätverk har redan börjat infiltrera språkmodeller genom en strategi som kallas ”LLM grooming”. Genom att massproducera falska nyheter och använda sökmotoroptimering lyckas dessa aktörer få AI-modeller att upprepa och legitimera främmande makts narrativ, även i fall där modellerna försöker motbevisa dem. Ryska Pravda driver 50+ domäner som producerade 3,6 miljoner skräddarsydda artiklar bara under 2024. Dessa artiklar skrapas som innehåll och flyter sedan fritt in i chattbotar och AI-genererade nyhetsartiklar.

Detta är en allvarlig säkerhetsfråga för Sverige och Europa. Om vi förlitar oss på AI-modeller som tränats på data manipulerad av främmande makter, riskerar vi att skapa digitala ekosystem där desinformation sprids på ett sätt som är svårt att upptäcka och motverka. Det gör det brådskande att utveckla inhemska språkmodeller med robusta mekanismer för att identifiera och motstå informationspåverkan. Sverige måste ta fram processer för att testa och granska AI-modeller som används i samhällskritiska funktioner, och samtidigt investera i öppna, transparenta språkmodeller för det svenska språket och dess minoritetsspråk.

Juridiken — rättslöshet som affärsmodell?

Generativ AI har gjort det möjligt för teknikföretag att kliva rakt in i medie-, kultur- och underhållningssektorerna, utan att ta det ansvar som traditionella aktörer i dessa branscher länge burit. När AI-modeller producerar text, bild och video blir teknikbolagen inte bara plattformsleverantörer — de blir i praktiken publicister. Men till skillnad från förlag, nyhetsredaktioner eller TV-kanaler har dessa aktörer inget utgivaransvar. Detta är ett känt mönster från sociala media-bolagen. Det är en systemisk frikoppling mellan innehåll och ansvar, och den får redan allvarliga konsekvenser.

I dag används generativa AI-tjänster för att producera förtal, deepfake-porr, falska nyheter och utpressningsmaterial. Fall där AI genererat barnpornografiskt innehåll har avslöjats, liksom händelser där människor oskyldigt pekats ut som mördare av språkmodeller. I inget av dessa fall har företagen bakom modellerna burit något rättsligt ansvar. Att distribuera övergreppsbilder via zip-filer är (med rätta) olagligt — men att träna och distribuera en AI-modell som möjliggör samma handlingar möts ofta med axelryckning och en länk till ett “användaravtal”.

Samtidigt är det i praktiken svårt för användare att skydda sig. Initiativ som haveibeentrained.com har möjliggjort att över 1,5 miljarder bilder optats ut från träning — men dessa val har ignorerats av bolag som OpenAI och Stability AI i senare versioner av DALL·E 3 och Flux. Samma gäller text: databasen Books3, som bland annat använts av DeepSeek och OpenAI, innehåller upphovsrättsskyddade verk från tusentals författare utan tillstånd. The Atlantics söktjänst för att hjälpa författare hitta sina egna verk i databasen hjälper föga, när ingen mekanism för ersättning eller opt-out finns.

ℹ️ The Authors’ Guild har en informationssida med tips på vad du som författare kan vidta för åtgärder om dina verk använts utan tillåtelse.

I praktiken har vi fått en situation där kostnaderna — juridiska, sociala och samhälleliga — skjuts över på användare, kreatörer, offer och myndigheter, medan vinsterna koncentreras hos ett fåtal globala aktörer. Om vi menar allvar med att AI ska användas för samhällsnytta kan vi inte fortsätta tolerera ett ekosystem där ansvarsfrihet är inbyggd i affärsmodellen.

Vem tjänar på AI?

Den avgörande frågan är: vem gynnas egentligen av nuvarande genAI-utveckling? Techbolagen bakom generativ AI gör enorma vinster, medan samhällskostnaderna fördelas på resten av världen. AI-industrin slukar energi, utarmar naturresurser, exploaterar arbetskraft i den globala södern, skiftar geopolitisk maktbalans och hotar framtiden för kreativa yrken. Samtidigt är transparensen från dessa företag nästintill obefintlig.

Varför springer vi?

Vem tjänar egentligen på dagens AI? Det är den centrala frågan vi måste ställa oss. Vi har tydligen gått med på att delta i ett “AI-race” där målet verkar vara snabbare, större och mer integrerad teknologi — men till vilken nytta, och för vem? Har vi ens valt den här vägen, eller har vi bara accepterat att den är oundviklig (“adapt or die”)?

Vi har en tendens att alltid se effektivisering och teknologisk innovation som synonymt med framsteg för samhället, men är det verkligen så? Innovation kan vara en nödvändig pusselbit, men den är inte tillräcklig i sig själv. Vad händer när tempot ökar, men riktningen förblir oklar? Generativ AI lovar mycket, men skapar också nya sårbarheter, nya beroenden och nya former av exploatering. Istället för att fråga hur vi kan springa snabbare borde vi kanske fråga varför vi springer överhuvudtaget — och vart denna diffusa språngmarsch egentligen skall leda.

En annan väg — AI för samhällsnytta

Om man studerar teknologisk utveckling historiskt, så gynnar den initialt och primärt en ekonomisk elit snarare än samhället i stort. Det är först när policy och regelverk modererar och distribuerar effekten av den nya teknologin som den börjar gynna resten av samhället. Detta glöms ofta bort när det målas med breda penslar om exempelvis förra sekelskiftets industrialisering. Det var först då arbetarna organiserade sig och lagar om arbetstid och minimilön etc. kom på plats som de positiva effekter som vi idag förknippar med industrialiseringen infann sig för samhället i stort. Ångmaskinen i sig skapade inte lagstadgade semesterdagar, så att säga. Fackföreningar, politik och lagar var viktiga styrmedel för att förflytta teknologin till det vi idag förknippar med industrialismens innovation (om vi med innovation verkligen menar värde för samhället). Var finns dessa mekanismer i dagens AI-race?

Det är alltså möjligt att dra en annan slutsats än de ensidigt utopiska AI-förespråkare som hävdar att vi måste delta i “AI-racet” för att inte bli omsprungna. Istället för att blint acceptera genAI-utvecklingen som en naturlag skulle man istället kunna fråga: Hur kan vi styra teknologin för att tjäna demokratin, arbetarna och den breda befolkningen — snarare än några få företagsintressen?

Generativ AI, precis som ångmaskinen, elektriciteten och datoriseringen, är inte en neutral kraft. Den formas av de regler vi sätter upp, av de incitament vi bygger in, av de aktörer som väljer att agera, och av de prioriteringar vi gör. Thorndikes halo-effekt berättar en ensidigt positiv och optimistisk historia om demokratiserande generativ AI, även om den just nu utvecklas i en riktning som påminner om den tidiga industrialiseringen där den istället ökar ojämlikhet, underminerar arbetstillfällen och koncentrerar makt hos några få aktörer.

Men så behöver det inte fortsätta.

Vi kan välja en väg där AI förbättrar arbetslivet snarare än förstör jobb, där den hjälper oss att skapa en mer hållbar värld snarare än att sluka resurser, och där den förstärker vårt språk, vår kultur och vårt samhälle snarare än att urvattna dem. Poängen är att detta inte kommer att ske automatiskt. Det är inte en inneboende egenskap hos teknologi att göra det. Det krävs regler, policy och lagar för att uppnå detta.

Den verkliga frågan är alltså inte om vi ska ha generativ AI eller inte. Det är hur vi vill att den ska fungera — och för vems skull. Att blint rusa framåt är inget framsteg. Ett verkligt framsteg vore att stanna upp och fråga: Vilken framtid vill vi egentligen ha?

Neil Postman, mediateoretiker och författare, formulerade sju centrala frågor vi alltid bör ställa oss när vi står på tröskeln inför ett nytt teknologiskifte:

1. Vilket problem påstår teknologin sig vara en lösning på?

2. Vems problem är det?

3. Vilka nya problem kommer att skapas genom att lösa ett gammalt?

4. Vilka människor och institutioner kommer att drabbas hårdast?

5. Vilka förändringar i språket främjas?

6. Vilka skiften i ekonomisk och politisk makt är troliga som följd?

7. Vilka alternativa medier skulle kunna skapas utifrån teknologin?

En seriös och eftertänksam genomgång av dessa frågor när det gäller generativ AI skulle vara bra att göra – innan man tar på sig löparskorna och ställer sig i startblocken.

Jag heter Pontus Wärnestål och är forskare, designer och författare. Jag arbetar, forskar och undervisar inom artificiell intelligens, design och digitalisering. Inte bara med generativ AI, utan bredare tillämpningar av digital teknologi i företag, samhälle, infrastruktur och kultur. Det kan verka motsägelsefullt att jag i min yrkesroll är så kritisk till något jag själv är en del av. Men det är just skälet! Jag vill att det vi bygger ska bli bra; hållbart, rättvist och klokt. Vi har bara en chans att göra det här på rätt sätt. För att det ska ske behöver vi fler perspektiv, inte färre. Teknik är aldrig neutral, och det är upp till oss att styra den i den riktning vi tror på.

Tack till Oskar Broberg och Johan Cedmar-Brandstedt för feedback och bidrag till den här texten.