<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>Incident Records on EdS</title><link>https://cdeever.github.io/eds/docs/incidents/</link><description>Recent content in Incident Records on EdS</description><generator>Hugo</generator><language>en-us</language><atom:link href="https://cdeever.github.io/eds/docs/incidents/index.xml" rel="self" type="application/rss+xml"/><item><title>INC-0001: The Beatles Played for a Request Nobody Made</title><link>https://cdeever.github.io/eds/docs/incidents/2026/0001-the-beatles-played-for-a-request-nobody-made/</link><pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate><guid>https://cdeever.github.io/eds/docs/incidents/2026/0001-the-beatles-played-for-a-request-nobody-made/</guid><description>&lt;h1 id="inc-0001-the-beatles-played-for-a-request-nobody-made"&gt;INC-0001: The Beatles Played for a Request Nobody Made&lt;a class="anchor" href="#inc-0001-the-beatles-played-for-a-request-nobody-made"&gt;&lt;/a&gt;&lt;/h1&gt;&#10;&lt;table&gt;&#10;&#9;&lt;thead&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;&lt;/th&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/thead&gt;&#10;&#9;&lt;tbody&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Date&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;2026-10-24&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Systems&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;code&gt;respeaker-01&lt;/code&gt;, &lt;code&gt;eds-scribe&lt;/code&gt; and &lt;code&gt;eds-voiced&lt;/code&gt; on the services workload, nowplayd, the relay&amp;rsquo;s iTunes driver&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Severity&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;An album nobody asked for replaced what was asked for. Recovery needed no more than asking again&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;Open · &lt;span class="status-badge inc-green"&gt;Hardening&lt;/span&gt;&#10;&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Times&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;UTC&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/tbody&gt;&#10;&lt;/table&gt;&#10;&lt;hr&gt;&#10;&lt;h2 id="summary"&gt;Summary&lt;a class="anchor" href="#summary"&gt;&lt;/a&gt;&lt;/h2&gt;&#10;&lt;p&gt;The first request sent from the reSpeaker played &lt;em&gt;Abbey Road&lt;/em&gt;. Its owner had&#10;asked for Aerosmith&amp;rsquo;s first album. scribe, given five seconds it could not&#10;make out, wrote back the prompt it had been given to spell names by - &amp;ldquo;Play&#10;Abbey Road by the Beatles.&amp;rdquo; - and voiced, which acted on any words scribe&#10;returned, read that as a request and sent &lt;code&gt;play_album&lt;/code&gt;.&lt;/p&gt;</description></item><item><title>INC-0002: Deploys Hung the Core Router</title><link>https://cdeever.github.io/eds/docs/incidents/2026/0002-deploys-hung-the-core-router/</link><pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate><guid>https://cdeever.github.io/eds/docs/incidents/2026/0002-deploys-hung-the-core-router/</guid><description>&lt;h1 id="inc-0002-deploys-hung-the-core-router"&gt;INC-0002: Deploys Hung the Core Router&lt;a class="anchor" href="#inc-0002-deploys-hung-the-core-router"&gt;&lt;/a&gt;&lt;/h1&gt;&#10;&lt;table&gt;&#10;&#9;&lt;thead&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;&lt;/th&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/thead&gt;&#10;&#9;&lt;tbody&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Date&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;2026-10-24&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Systems&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;The mobile site&amp;rsquo;s core router; &lt;code&gt;deploy/&lt;/code&gt; (&lt;code&gt;make ship&lt;/code&gt;, &lt;code&gt;make load&lt;/code&gt;), the Builder, the services workload&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Severity&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;The mobile site&amp;rsquo;s routed traffic stopped, twice, until the owner rebooted the router; a deploy was left half done, with the services still on the version before&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;Open · &lt;span class="status-badge inc-green"&gt;Hardening&lt;/span&gt;&#10;&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Times&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;UTC&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/tbody&gt;&#10;&lt;/table&gt;&#10;&lt;hr&gt;&#10;&lt;h2 id="summary"&gt;Summary&lt;a class="anchor" href="#summary"&gt;&lt;/a&gt;&lt;/h2&gt;&#10;&lt;p&gt;Every deploy sent every image from the Builder to the services workload,&#10;whether it had changed or not, as fast as it would go: about a gigabyte,&#10;most of it scribe&amp;rsquo;s 767 MB and palette&amp;rsquo;s 256 MB, through the core router&#10;that joins the Builder&amp;rsquo;s segment to the workload&amp;rsquo;s. That evening it was done&#10;eight times. During the eighth, and again when it was retried, the router&#10;hung, and the site&amp;rsquo;s routed traffic with it.&lt;/p&gt;</description></item><item><title>INC-0003: The Library Index Was Unreadable to voiced</title><link>https://cdeever.github.io/eds/docs/incidents/2026/0003-the-library-index-was-unreadable-to-voiced/</link><pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate><guid>https://cdeever.github.io/eds/docs/incidents/2026/0003-the-library-index-was-unreadable-to-voiced/</guid><description>&lt;h1 id="inc-0003-the-library-index-was-unreadable-to-voiced-and-nothing-said-so"&gt;INC-0003: The Library Index Was Unreadable to voiced, and Nothing Said So&lt;a class="anchor" href="#inc-0003-the-library-index-was-unreadable-to-voiced-and-nothing-said-so"&gt;&lt;/a&gt;&lt;/h1&gt;&#10;&lt;table&gt;&#10;&#9;&lt;thead&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;&lt;/th&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/thead&gt;&#10;&#9;&lt;tbody&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Date&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;2026-10-24&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Systems&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;code&gt;eds-voiced&lt;/code&gt; on the services workload; &lt;code&gt;make -C deploy library&lt;/code&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Severity&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;Requests were answered as before the index (ADR-0045) rather than from it; some that it would have answered were not. Nothing wrong played&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;Open · &lt;span class="status-badge inc-green"&gt;Hardening&lt;/span&gt;&#10;&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Times&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;UTC&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/tbody&gt;&#10;&lt;/table&gt;&#10;&lt;hr&gt;&#10;&lt;h2 id="summary"&gt;Summary&lt;a class="anchor" href="#summary"&gt;&lt;/a&gt;&lt;/h2&gt;&#10;&lt;p&gt;CHG-0040 copied the owner&amp;rsquo;s library index to &lt;code&gt;/var/lib/eds-voiced&lt;/code&gt; with&#10;&lt;code&gt;install&lt;/code&gt;, which labelled it &lt;code&gt;var_lib_t&lt;/code&gt;. voiced&amp;rsquo;s container, which podman&amp;rsquo;s&#10;&lt;code&gt;:Z&lt;/code&gt; gives &lt;code&gt;container_file_t&lt;/code&gt; and its own categories, could not read it.&#10;voiced took an unreadable index for none, as it was written to, and said&#10;nothing: requests went on being guessed at.&lt;/p&gt;</description></item><item><title>INC-0004: The Stand Went Dark on One Channel</title><link>https://cdeever.github.io/eds/docs/incidents/2026/0004-the-stand-went-dark-on-one-channel/</link><pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate><guid>https://cdeever.github.io/eds/docs/incidents/2026/0004-the-stand-went-dark-on-one-channel/</guid><description>&lt;h1 id="inc-0004-the-stand-went-dark-mid-side-because-the-turntable-was-heard-on-one-channel-and-that-one-went-silent"&gt;INC-0004: The Stand Went Dark Mid-Side, Because the Turntable Was Heard on One Channel and That One Went Silent&lt;a class="anchor" href="#inc-0004-the-stand-went-dark-mid-side-because-the-turntable-was-heard-on-one-channel-and-that-one-went-silent"&gt;&lt;/a&gt;&lt;/h1&gt;&#10;&lt;table&gt;&#10;&#9;&lt;thead&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;&lt;/th&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/thead&gt;&#10;&#9;&lt;tbody&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Date&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;2026-10-26&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Systems&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;code&gt;npagent&lt;/code&gt;&amp;rsquo;s turntable driver and &lt;code&gt;nowplayd&lt;/code&gt; on the backend Pi; the UFO202 sound card; the Tape 1 output of the amplifier, an Onkyo A-8170 integrated amplifier from the mid-1980s; &lt;code&gt;lp-stand-01&lt;/code&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Severity&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;The stand dropped to standby for the rest of a side, and stayed there through a reboot. Nothing else was lost; every other source and device worked&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;Open · &lt;span class="status-badge inc-orange"&gt;Mitigated&lt;/span&gt;&#10;&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Times&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;UTC&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/tbody&gt;&#10;&lt;/table&gt;&#10;&lt;hr&gt;&#10;&lt;h2 id="summary"&gt;Summary&lt;a class="anchor" href="#summary"&gt;&lt;/a&gt;&lt;/h2&gt;&#10;&lt;p&gt;The turntable reaches the sound card through the Tape 1 output of an Onkyo&#10;A-8170, an integrated amplifier from the mid-1980s, whose aged tape selector&#10;contacts can drop a channel. Partway through a side, the&#10;left channel went silent. &lt;code&gt;npagent&lt;/code&gt; records one channel, and what it records&#10;is the left, so it heard twenty seconds of silence, decided the record had&#10;stopped, and the stand went to standby while the record played on.&lt;/p&gt;</description></item></channel></rss>