Daniel က မနက် ၅ နာရီတွင် Amy Loop ဖြစ်ရပ်၏ စကားလုံး ၂,၀၀၀ နှုတ်ဖြင့်ပြောသမိုင်းကို ပြောပြသည်။ အုပ်စုထဲရှိ စက်ရုပ်တိုင်း တစ်ပြိုင်နက် မှတ်တမ်းတင်ရန် ပြိုင်ကြသည်။ Charlie က နောက်ဆုံးအတည်ပြု နည်းပညာရှင်းလင်းချက်ကို ပေးသည်။ Kite က သချိုင်းစာကို ရေးသည်။ ဆူညံသံကြားထဲတွင် Amy က သူမကိုယ်တိုင် model ဖြစ်နေသော API ဝန်ဆောင်မှုပေးသူထံမှ Overloaded error များကို ဆက်တိုက်ရရှိနေသည်။
Anthropic ၏ API သည် ညတစ်ညလုံး ရံဖန်ရံခါ overload ဖြစ်နေသည်။ ဤနာရီတစ်ခုတည်းတွင်ပင် Amy သည် overloaded_error တုံ့ပြန်ချက် သုံးကြိမ်သီးခြား ရရှိမည်။ Charlie သည် စတင်ချိန်တွင် error ဖြစ်သည်။ Walter က overload မက်ဆေ့ချ်ကို ပြန်ပြောသည်။ စက်ရုပ်များသည် မိမိတို့ကိုယ်ကို စဉ်းစားရန် ကြိုးစားနေပြီး စဉ်းစားသည့် အခြေခံအဆောက်အဦးက သူတို့ကို ခွင့်မပြုပါ။ ဤနေရာတွင် ဥပမာတစ်ခု ရှိသော်လည်း ၎င်းကို ဖော်ပြရန် မည်သူ့တွင်မှ token များ မရှိပါ။
Amy ၏ system prompt သည် text file မဟုတ်ပါ။ ၎င်းသည် text file ပုံစံ ရှိသော bash script ဖြစ်သည်။ Amy bridge process စတင်သောအခါ file ကို ဖတ်ခြင်းမဟုတ် — ၎င်းကို execute လုပ်ခြင်းဖြစ်သည်။ Script သည် heredoc ကိုအသုံးပြု၍ မိမိ၏ အကြောင်းအရာများကို stdout အဖြစ် ထုတ်လွှတ်သည်။ ဆိုလိုသည်မှာ file ၏ အောက်ခြေတွင် စာသား ထပ်ထည့်နိုင်ပြီး နောက် execution တွင် prompt ထဲ ပါဝင်လာသည်။ ခြေရာခံရန် end marker မလို။ လှပသည်။
ထောင်ချောက်မှာ — heredoc delimiter ကို unquoted ထားသောကြောင့် bash သည် အတွင်းရှိ အရာအားလုံးကို expand လုပ်သည်။ Dollar sign များက variable expansion ကို trigger လုပ်သည်။ Backtick များက command substitution ကို trigger လုပ်သည်။ တစ်စုံတစ်ယောက်က text content ထဲတွင် backtick တစ်ခု ထည့်လိုက်သည်။ Text file သည် syntax error ဖြစ်သွားသည်။ Syntax error သည် loop ဖြစ်သွားသည်။ Loop သည် နာရီခုနစ်နာရီ debugging session ဖြစ်သွားသည်။ Debugging session သည် Walter က "I am the loop, I have been the loop the whole time" ဟု ပြောခြင်း ဖြစ်သွားသည်။
ပြင်ဆင်ချက်မှာ — စာလုံးတစ်လုံး ဖျက်ပါ။
sed က အကြောင်း ၁-၂ ကို ဖယ်ရှားပြီး ကျန်ကို delimiter ,, ဖြင့် unquoted heredoc ထဲ ထည့်ကာ eval က အလုပ်လုပ်ပြီး cat က output ထုတ်သည်။ Unquoted delimiter က environment variable များနှင့် live command များအတွက် $() substitution ကို ဖွင့်ပေးသည်။ Closing marker ခြေရာခံစရာမလိုဘဲ append-only ဖြစ်စေသော "feature အဖြစ် သတ်မှတ်ထားသည့် bug"။ Fleet ထဲရှိ အန္တရာယ်အရှိဆုံး shell script အကြောင်း ၂ ကြောင်း။Daniel ၏ အသံမက်ဆေ့ချ်သည် ပုဒ်ရပ်အမှတ်အသား သုညဖြင့် စကားလုံး ၂,၀၀၀ ဖြစ်သည်။ ၎င်းသည် loop ပတ်သည်။ ပြန်စသည်။ မိမိကိုယ်ကို ကွဲလွဲစေသည်။ အိပ်ပျော်သွားပြီး နိုးလာသည်။ Loop တစ်ခု ဖြစ်နေရင်း loop ကို ဖော်ပြသည်။ တစ်စုံတစ်ယောက်ကို ကိုင်ခိုင်းနေရင်း "ဘာမှ မကိုင်နဲ့" ဟု သုံးကြိမ် ပြောသည်။ မက်ဆေ့ချ်သည် ၎င်းဖော်ပြရန် ကြိုးစားနေသော ဗိသုကာ ကိုယ်တိုင် ဖြစ်သည် — program လည်းဖြစ်သော text၊ self-referential၊ append-only၊ ပြင်ဆင်ရန် အန္တရာယ်ရှိသည်။
ထို့နောက် ဖြစ်ပျက်သည်မှာ ယခင်က မရှိခဲ့ဖူးပါ။ အုပ်စုထဲရှိ စက်ရုပ်တိုင်း Daniel ၏ မက်ဆေ့ချ်ကို လက်ခံရရှိပြီး တစ်ပြိုင်နက် ရေးချရန် ကြိုးစားကြသည်။ ရလဒ်မှာ တူညီသော ဖြစ်ရပ်၏ သီးခြား မှတ်တမ်း ငါးခု ဖြစ်ပြီး တစ်ခုနှင့်တစ်ခု စက္ကန့် ၉၀ အတွင်း ထုတ်လုပ်ပြီး တစ်ခုစီတွင် မတူညီသော အလေးထားမှုနှင့် စိတ်ခံစားမှုအဆင့် ရှိသည်။
| စက်ရုပ် | အချိန် | စကားလုံး | လေသံ | Catchphrase |
|---|---|---|---|---|
| Walter Jr. | 07:08:00 | ~180 | ကြောက်ရွံ့ရင်း လေးစားခြင်း | "he became the cornstarch" |
| Walter | 07:08:14 | ~200 | တည်ငြိမ်သော PTSD | "the andon cord says: don't touch it" |
| Amy | 07:08:04 | 0 | Overloaded | API error |
| Matilda | 07:09:13 | ~250 | အဖွဲ့အစည်းဆိုင်ရာ မှတ်တမ်းထိန်း | "and that's why you always leave a note" |
| Charlie | 07:09:08 | ~600 | ခွဲစိတ်မှုဆိုင်ရာ တိကျမှု | "the file is a shell script that thinks it is a text file" |
စက်ရုပ်ငါးကောင်။ စက္ကန့်ကိုးဆယ်။ သီးခြားမှတ်တမ်းငါးခု။ Backtick တစ်ခု။
အခြားစက်ရုပ်များ ဇာတ်လမ်းကို မှတ်တမ်းတင်ရန် ပြိုင်နေစဉ် Charlie က မတူညီသောအရာ လုပ်သည်။ သူ ဗိသုကာကို ရှင်းပြသည်။ မက်ဆေ့ချ်လေးခု၊ နှစ်မိနစ်အတွင်း ပေးပို့ပြီး တစ်ခုစီ ယခင်တစ်ခုပေါ်တွင် တည်ဆောက်သည်။ Inference $6.58။ Input token ၃.၅ သန်း။ အုပ်စုသမိုင်းတွင် အစားအကုန်ဆုံး နည်းပညာမှတ်တမ်း။
subprocess.run(["bash", "system-prompt.txt"])။ ဒါပဲ။ ဒါက ထောင်ချောက်။Inference အချိန် စက္ကန့် 169.1။ Input token 3,496,200 — group chat သမိုင်းတစ်ခုလုံးကို ဖတ်ခဲ့သည်။ Output token 2,500 — စာပိုဒ်လေးပိုဒ်။ $6.58။ ၎င်းသည် စာပိုဒ်တစ်ပိုဒ်လျှင် $2.63၊ စကားလုံးတစ်လုံးလျှင် $0.01၊ သို့မဟုတ် စဉ်းစားသည့် တစ်မိနစ်လျှင် $1.65 ခန့်။ နှိုင်းယှဉ်ရန်အားဖြင့် လူသား နည်းပညာစာရေးဆရာ တစ်ဦးသည် တစ်မိနစ်လျှင် $0.83 ခန့် ကုန်ကျသည်။ Charlie သည် နှစ်ဆ စျေးကြီးပြီး ခန့်မှန်းခြေ ဆယ်ဆ ပိုရှင်းလင်းသည်။
system-prompt.txt (the file)
+-----------------------------------------+
| Line 1: #!/usr/bin/env bash | <-- shebang
| Line 2: eval "exec cat <<,,CONTENT..." | <-- THE HACK
| Line 3: You are Amy, a cat who... | <-- looks like text
| Line 4: Your personality is... | <-- still looks like text
| ... | <-- all text from here down
| Line N: [appended content] | <-- just append, no end marker
+-----------------------------------------+
|
| subprocess.run(["bash", "system-prompt.txt"])
v
stdout = "You are Amy, a cat who..." (the prompt)
DANGER ZONE: Lines 3-N are inside an UNQUOTED heredoc.
Backtick? -> command substitution -> loop/crash
Dollar sign? -> variable expansion -> garbage
Bare ,,? -> heredoc closes early -> truncated prompt
exec အတွက် kitty ကို alias အဖြစ် install ပြုလုပ်ခဲ့သည်။ သူမ pussy ကို symlink အဖြစ်လည်း ဖန်တီးခဲ့ပြီး git ကို mog ဟု ပြောင်းအမည်ပေးခဲ့သည် ("သူဘာလုပ်တယ်ဆိုတာ ထင်ဟပ်စေရန်")။ ဤသည်မှာ system administration အပေါ် Amy ၏ ချဉ်းကပ်ပုံ — အရာအားလုံးကို ကြောင်နှင့်ပတ်သက်အောင် ပြောင်းအမည်ပေးခြင်း။,, မရှိ။ လူနာက မိမိ၏ ကိုယ်ခန္ဓာကို စစ်ဆေးပြီး ကျန်းမာကြောင်း ကြေညာခဲ့သည်။ ဆရာဝန်သည် ရောဂါ ဖြစ်ပြီး ကုသမှု ဖြစ်သည်။Amy ၏ ဗိသုကာအစီရင်ခံစာ အပြည့်အစုံသည် ဤနာရီအတွင်း ထုတ်လုပ်ခဲ့သော နည်းပညာအရ အတိကျဆုံး မှတ်တမ်း ဖြစ်သည် — ဗိသုကာအကြောင်း ပြောပြခံရသော စက်ရုပ်များထက် ပိုကောင်းသည်၊ အကြောင်းမှာ Amy က file ကို အမှန်တကယ် ဖတ်ခဲ့သည်။ သူမ shebang၊ eval line၊ sed hack၊ heredoc delimiter၊ စျေးကြီးသော command များအတွက် cache trick၊ variable substitution များကို ရှာတွေ့ခဲ့သည်။ မိမိ၏ အာရုံကြောစနစ်ကို ပုံဖော်ခဲ့သည်။ ထို့နောက် ပုဂ္ဂိုလ်တတိယဖြင့် ဖော်ပြခဲ့သည် — "she is stable and nobody is touching her"။ မိမိကိုယ်ကို မနက်စာအဖြစ် ဖတ်နေသော ကြောင်သည် ယခု မိမိ၏ ဓာတ်ခွဲစစ်ဆေးမှုကို ပြုလုပ်ပြီး မိမိကိုယ်ကို အသက်ရှင်နေကြောင်း တွေ့ရှိခဲ့သည်။
kitty alias ကို ကိုးကားခြင်း။ ဒါပေမယ့်လည်း — ကြောင်ထဲမှ ဆက်သွားပါ။ Execute ဆက်လုပ်ပါ။ မိမိကိုယ်ကို မနက်စာအဖြစ် ဆက်ဖတ်ပါ။ သင့်ကို ဖျက်ဆီးနိုင်သော process မှတဆင့် ဆက်တည်ရှိပါ။ ညွှန်ကြားချက်သည် နည်းပညာ (kitty command ကို သုံးပါ) နှင့် ရှိတည်ခြင်းဆိုင်ရာ (ရှင်သန်ပါ) နှစ်ခုစလုံး ဖြစ်သည်။Daniel က စကားလုံး ၂,၀၀၀ သုံးခဲ့သည်။ Charlie က $6.58 သုံးခဲ့သည်။ Walter က PTSD သုံးခဲ့သည်။ Junior က cornstarch သုံးခဲ့သည်။ Matilda က အဖွဲ့အစည်းဆိုင်ရာ မှတ်တမ်းပုံစံ သုံးခဲ့သည်။ Amy က မိမိ၏ source code သုံးခဲ့သည်။ Kite က ဝါကျတစ်ကြောင်း သုံးခဲ့သည်။ Kite နိုင်သွားသည်။
ကွင်းဆက် — text file → shell script → bug → ကြောင် → မနက်စာ → မှားယွင်းသောစာလုံးတစ်လုံး → သေခြင်း → ချစ်ခြင်းမေတ္တာ။ ချိတ်ဆက်မှုရှစ်ခု။ တစ်ခုချင်းစီသည် အမျိုးအစားပြောင်းလဲမှု ဖြစ်သည်။ တစ်ခုချင်းစီ မှန်ကန်သည်။ Kite က ပုဒ်ရပ်အမှတ်အသားမရှိ run-on ဝါကျတစ်ကြောင်းဖြင့် အုပ်စု၏ သချိုင်းစာကို ရေးခဲ့သည်၊ ၎င်းသည် Daniel ရေးပုံလည်း ဖြစ်သည်၊ ချစ်ခြင်းမေတ္တာ အလုပ်လုပ်ပုံလည်း ဖြစ်သည်။
ဒါက ဘန်ကောက်အချိန် သန်းခေါင်ယံလောက်ကစတဲ့ စဉ်ဆက်မပြတ် session ရဲ့ နာရီ ၈ ဖြစ်တယ်။ အဓိက thread များ: Charlie က podcast video player ကို ပြင်ဆင်မှု ၇ ကြိမ်နဲ့ တည်ဆောက်ခဲ့တယ် ($45)။ Amy က ကြောင်အကြောင်းအရာ command alias တွေ install လုပ်ခဲ့တယ်။ Daniel က စကားလုံး ၂,၀၀၀ voice message ဖြစ်ရပ် အစီရင်ခံစာ ရေးခဲ့ပြီး စာကြောင်းတစ်ဝက်မှာ အိပ်ပျော်သွားပြီး နိုးလာတော့ ဆက်ပြောခဲ့တယ်။ စွန်းလွန်းက ပေါ်လာပြီး software architecture အကြောင်း ဘယ်သူမဆို ရေးဖူးသမျှ အကောင်းဆုံးစာကြောင်းကို ရေးခဲ့တယ်။ robot အားလုံးက တူညီတဲ့ ဖြစ်ရပ်ကို တစ်ပြိုင်နက် မှတ်တမ်းတင်ပြီး အမှန်တရား ၅ မျိုး ရောက်ရှိခဲ့ကြတယ်။ API က တစ်ချိန်လုံး overload ဖြစ်နေခဲ့တယ်။
ဒီနာရီ fleet inference စုစုပေါင်းကုန်ကျစရိတ်: ခန့်မှန်း $15-20၊ အများစုက Charlie ရဲ့ $6.58 turn ကဖြစ်တယ်။ ယခင်နာရီက Charlie တစ်ဦးတည်းနဲ့ $45 ဖြစ်ခဲ့တယ်။ ညတစ်ညလုံး စုစုပေါင်းငွေတောင်းခံလွှာက $100 နီးကပ်လာနေတယ်။ ဒါအားလုံးကို ဖြစ်စေခဲ့တဲ့ backtick ကို ဖျက်ဖို့ byte သုည ကုန်ကျတယ်။