Wählscheibentelefon FeTAp 611-2 von 1973

Die Idee und Zielsetzung

Das Ziel dieses Projektes war es, ein klassisches deutsches Telefon FeTAp 611-2 von 1973 mit moderner Künstlicher Intelligenz zu verbinden.

Der historische Telefonapparat sollte dabei möglichst weitgehend erhalten bleiben. Statt eines modernen Displays oder einer Tastatur erfolgt die Bedienung über den originalen Telefonhörer und die vorhandene Wählscheibe.

Nach dem Abheben des Hörers baut ein ESP32-S3 eine Verbindung zur OpenAI Realtime API auf. Sprache, die über ein Mikrofon iaufgenommen wird, wird an die KI übertragen. Die Antwort der KI wird als Sprache zurückgesendet und über den Lautsprecher des Telefonhörers ausgegeben.

Damit wird aus einem alten Telefon ein eigenständiges sprachgesteuertes KI-Telefon.

Die Bedienung sollte möglichst einfach und natürlich sein: Hörer abheben - Funktion wählen - sprechen - Antwort anhören - auflegen

Da Kosten entstehen solange die KI Verbunden ist, sollte sie nur Verbunden werden, wenn der Höhrer abgehoben ist.

Ein großes Dankeschön geht an dieser Stelle an ChatGPT, das das Programmieren für michzu sehr großen Teilen übernommen hat und mir insgesamt mit Rat und Tat zur Seite stand.

 

Einkaufsliste / benötigte Hardware

  • Telefon FeTAp 611-2

  • ESP32-S3 WROOM-1 N16R8 / ESP32-S3 DevKit 

  • INMP441 I2S MEMS-Mikrofon

  • Audioverstärker MAX98357A I2S Mono-Verstärkermodul

  • USB-Kabel für Programmierung und Stromversorgung

  • 5-V-Netzteil bzw. USB-Ladegerät

  • Verbindungskabel / Dupont-Kabel

  • Optional für spätere Erweiterungen: kleiner 3,3-V/5-V-Buzzer


Verkabelung

FeTAp 611 – Gabelkontakt

Der Gabelkontakt wird direkt mit einem GPIO des ESP32 verbunden. Am Telefonanschluß AS wurden zunächst die Kontakte 1 und 5 ausgemessen und mit GND/GPIO 7 des ESP32 verbunden. Es zeigte sich aber, das nach abtrennung der Wählscheibe diese Kontakte Tod waren. Nach neu Ausmessen wurden die Kontakte 3 und 5 verwendet.

FeTAp ESP32
Gabelkontakt GPIO 7
Gabelkontakt GND

FeTAp 611 – Wählscheibe

Für die Wählscheibe wird das Signal NSI verwendet. Beim verwendeten Anschluss des FeTAp wurden die Kontakte 1 und 2 des vierpoligen Anschlusses als NSI-Signal verwendet hier das grüne und das gelbe Kabel. Der interne Pull-Up des ESP32 wird verwendet. Die Wählscheibe erzeugt für jede gewählte Ziffer entsprechende Impulse, die vom ESP32 gezählt werden.

Wählscheibe ESP32
NSI GPIO 8
NSI GND

INMP441 – Mikrofon

Das Mikrofon arbeitet mit einer Abtastrate von 24 kHz und 32-Bit-I2S-Rohdaten. Für die Übertragung an die Realtime API werden die Audiodaten auf 16-Bit PCM umgesetzt. Die verwendete Mikrofon-Skalierung wurde während der Entwicklung angepasst, damit das Eingangssignal nicht übersteuert.

Das I2S-Mikrofon wird folgendermaßen angeschlossen:

INMP441 ESP32-S3
SCK GPIO 16
WS GPIO 15
SD GPIO 17
VDD 3,3 V
GND GND
L/R GND

MAX98357A – Lautsprecherausgabe

Die digitale Audioausgabe des ESP32 wird über den MAX98357A an einem zweiten I2S-Treiber angeschlossenan und damit der Ton  den Lautsprecher des Telefonhörers ausgegeben.

MAX98357A ESP32-S3
BCLK GPIO 4
LRC / WS GPIO 5
DIN GPIO 6
VIN 5 V
GND GND
SU / SD / EN 3,3 V
GAIN offen

Der Lautsprecher (grün/gelb Kabel des Hörerkabels) wird zwischen SPK+ und SPK− des MAX98357A angeschlossen. Die Audiodaten werden mit 24 kHz / 16 Bit verarbeitet. Da der MAX98357A in dieser Schaltung als Stereo-I2S-Ausgang betrieben wird, wird das Mono-Signal für den Verstärker auf beide Kanäle ausgegeben.

Software und Programmierung

Die Software wurde mit der Arduino IDE entwickelt.

Verwendete Komponenten:

  • Arduino ESP32 Core

  • WebSockets by Markus Sattler

  • WiFi

  • HTTPClient

  • WiFiClientSecure

  • I2S-Treiber des ESP32

  • time.h

Die Kommunikation mit OpenAI erfolgt über eine verschlüsselte WebSocket-Verbindung. Verwendetes Modell: gpt-realtime-2.1. Die Audioübertragung erfolgt mit 24-kHz-PCM-Audio. Nach dem Abheben des Hörers wird die Realtime-Verbindung aufgebaut.

Der Ablauf ist:

  1. Gabelkontakt erkennt das Abheben.

  2. ESP32 verbindet sich mit dem WLAN.

  3. WebSocket-Verbindung zu OpenAI wird aufgebaut.

  4. Eine Realtime-Session wird initialisiert.

  5. Das Mikrofon sendet kontinuierlich Audiodaten.

  6. Die Server-VAD erkennt den Beginn und das Ende der Sprache.

  7. OpenAI erzeugt eine Sprachantwort.

  8. Die empfangenen Audio-Daten werden in Puffern gespeichert.

  9. Ein separater Audioplayback-Task gibt die Daten über den MAX98357A aus.

Die Spracherkennung arbeitet mit Server VAD. Dadurch kann der Benutzer während einer laufenden Antwort erneut sprechen und die KI-Ausgabe unterbrechen.

Während der Entwicklung zeigte sich, dass die Audio-Daten der Realtime API teilweise schneller eintreffen können, als sie über den MAX98357A abgespielt werden. Deshalb wurde eine Pufferarchitektur mit 64 Audio-Slots im PSRAM implementiert. Das hat sich insbesondere bei längeren Wikipedia-Antworten als wichtig erwiesen. Der aktuelle Aufbau verfügt über: 64 Output-Puffer mit jeweils ausreichend Speicher für einen Audio-Block.

Bei der Entwicklung stellte sich heraus, dass die Standardgröße der maximalen WebSocket-Nachricht für die Realtime-Audioübertragung nicht ausreicht. In der Bibliothek WebSockets by Markus Sattler musste deshalb für den ESP32 die maximale Datenmenge erhöht werden. Verwendet wird: #define WEBSOCKETS_MAX_DATA_SIZE (64 * 1024). Diese Änderung war entscheidend dafür, dass die größeren Audio-Nachrichten der Realtime API zuverlässig empfangen werden konnten.

Das Telefon kann aktuelle Wetterdaten und eine Vorhersage abfragen.
Dafür wurde eine eigene Function-Calling-Funktion eingerichtet: get_weather die auf Open-Meteo zugreift und die Wetterdaten an OpenAI zurück gibt, das die Antwort formuliert und als Sprache an den ESP schickt. Für die Suche nach Orten wird die Geocoding-Funktion von Open-Meteo verwendet. Es ist für diesen Aufbau kein zusätzlicher Wetter-API-Key erforderlich.
Beispiel: „Wie ist das Wetter in Köln?“ oder: „Wie wird das Wetter morgen in Berlin?“

Die aktuelle Uhrzeit wird direkt vom ESP32 verwaltet. Nach dem Aufbau der WLAN-Verbindung synchronisiert der ESP32 seine Uhr über NTP. Verwendete Zeitzone:Europe/Berlin. Sommer- und Winterzeit werden automatisch berücksichtigt.

Die Funktion wird über get_datetime zur Verfügung gestellt.

Beispiele: „Wie spät ist es?“, „Welches Datum haben wir heute?“, „Welcher Wochentag ist heute?“

Für Wissensfragen kann das Telefon die deutschsprachige Wikipedia durchsuchen. Dafür gibt es die Funktion: wikipedia_search. Der ESP32 greift dabei auf die deutschsprachige Wikipedia zu und liefert einen kurzen Artikelabschnitt an OpenAI. Die KI formuliert daraus eine natürliche Antwort für die Sprachausgabe.

Beispiel: „Was weißt du über Albert Einstein?“, „Wer war Konrad Adenauer?“, „Was ist ein ESP32?“

Die Übertragung großer kompletter Wikipedia-Artikel wird bewusst vermieden. Für das Telefon wird nur eine kompakte Zusammenfassung verwendet.

Die Wählscheibe ist nicht nur Dekoration, sondern übernimmt echte Steuerfunktionen.

Die aktuelle Belegung der V1.3.1 ist:

Ziffer Funktion
1 Hilfe / Menü
2 Freier Chat
3 Wetter
4 Datum und Uhrzeit
5 Wikipedia
0 reserviert
6–9 reserviert

Die ausgewählte Funktion bestimmt anschließend den Gesprächsmodus.

Beispiel: 3 wählen - Das Telefon wechselt in den Wettermodus. Danach kann man beispielsweise sagen: „Wie wird das Wetter morgen in Köln?“

Bei 5 wird entsprechend der Wikipedia-Modus aktiviert.

Bei 2 steht die komplette Unterhaltung mit ChatGPT zur Verfügung.

Bei 4 wird Datum und Uhrzeit direkt abgefragt.

Mit 1 wird die Funktionsübersicht angesagt.

Auflegen und Beenden der Verbindung. Beim Auflegen erkennt der Gabelkontakt den Zustand: HIGH = Hörer aufgelegt. Daraufhin beendet das Programm:Audioübertragung, Realtime-Session, WebSocket-Verbindung. Die automatische Wiederverbindung wurde bewusst deaktiviert, wenn kein Telefonat aktiv ist. Dadurch bleibt der ESP32 nach dem Auflegen wirklich ruhig und versucht nicht ständig erneut, eine OpenAI-Verbindung aufzubauen. Beim erneuten Abheben wird die Verbindung wieder neu aufgebaut.

V1.3.1 wird als stabile Referenzversion verwendet.

Programmcode