ตรวจสอบความเข้ากันได้กับ OpenAI และ Base URL
เริ่มต้นด้วยการยืนยันว่าไลบรารีไคลเอนต์ของคุณเชื่อมต่อกับ URL พื้นฐานที่ถูกต้อง การผสานรวม LLM สมัยใหม่ส่วนใหญ่พึ่งพา SDK Python หรือ Node ของ OpenAI ซึ่งคาดหวังโครงสร้างเอนด์พอยต์เฉพาะ หากคุณเปลี่ยนผู้ให้บริการ คุณเพียงแค่ต้องอัปเดต base_url และ api_key ตัวแปร วิธีนี้ทำให้ฐานโค้ดของคุณสะอาดและพกพาได้
เมื่อทดสอบ ให้ส่งคำของ่ายๆ ไปยัง /v1/models เพื่อตรวจสอบการเชื่อมต่อ ตรวจสอบว่าการตอบกลับรวมตัวระบุโมเดลของคุณ ซึ่งโดยทั่วไปจะเป็นสิ่งทั่วไปเช่น uncensored. ขั้นตอนนี้ยืนยันว่า header การตรวจสอบสิทธิ์ของคุณถูกต้องก่อนที่จะเริ่มใช้ prompt ที่ซับซ้อน
ตรวจสอบให้แน่ใจว่า API ส่งคืนโครงสร้าง JSON ที่เข้ากันได้กับมาตรฐาน OpenAI ความคลาดเคลื่อนในชื่อฟิลด์อาจทำให้การแยกวิเคราะห์ข้อมูลของคุณล้มเหลว โปรดอัปเดตเวอร์ชัน SDK ของคุณให้ทันสมัยเพื่อหลีกเลี่ยงปัญหาจากเอนด์พอยต์ที่เลิกใช้งานแล้ว พื้นฐานนี้จะช่วยประหยัดเวลาการดีบักได้หลายชั่วโมงในภายหลัง
จัดการการสตรีมและการใช้ tokens
เปิดใช้งานการสตรีมเพื่อปรับปรุงประสบการณ์ผู้ใช้และลดความล่าช้าที่ผู้ใช้รู้สึก โมเดลภาษาขนาดใหญ่มักใช้เวลาหลายวินาทีในการสร้างคำตอบที่ยาวนาน การสตรีมอนุญาตให้แอปพลิเคชันของคุณแสดงโทเค็นเมื่อมาถึง สิ่งนี้สร้างอินเทอร์เฟซที่ราบรื่นและตอบสนองมากขึ้นสำหรับผู้ใช้ปลายทาง
ติดตามการใช้งาน token แบบเรียลไทม์ API ส่วนใหญ่รวมจำนวน token ไว้ใน chunk สุดท้ายของ streaming response ใช้ข้อมูลนี้เพื่ออัปเดตแถบความคืบหน้าใน UI หรือบันทึกการใช้งานสำหรับการเรียกเก็บเงิน การติดตามที่แม่นยำป้องกันต้นทุนที่ไม่คาดคิดจากลูปการสร้างข้อความที่失控
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)ใช้การจัดการข้อผิดพลาดสำหรับการหยุดสตรีมชั่วคราว การหลุดของเครือข่ายอาจทำให้แอปพลิเคชันของคุณค้างได้ ปิดการเชื่อมต่อสตรีมอย่างถูกต้องในขั้นตอนการทำความสะอาดเสมอ ธรรมเนียมปฏิบัตินี้ช่วยให้ทรัพยากรมีความเสถียรในช่วงเซสชันที่ยาวนาน
ใช้การเรียกใช้เครื่องมือ (Tool Calling) และโหมด JSON
ใช้ผลลัพธ์ที่มีโครงสร้างสำหรับการแยกข้อมูลที่คาดการณ์ได้ การตั้งค่า response_format เพื่อ json_object บังคับให้โมเดลส่งคืน JSON ที่ถูกต้อง สิ่งนี้สำคัญสำหรับการผสานรวมแบ็กเอนด์ที่คุณต้องแยกวิเคราะห์ฟิลด์เฉพาะ มันลดความจำเป็นในการใช้รูปแบบ regex ที่ซับซ้อนหรือขั้นตอนการแยกวิเคราะห์ขั้นที่สอง
Tool Calling ช่วยให้โมเดลของคุณโต้ตอบกับระบบภายนอก กำหนดสคีมาฟังก์ชันในคำขอของคุณ จากนั้นโมเดลจะเรียกใช้ฟังก์ชันเหล่านี้เมื่อเหมาะสม สิ่งนี้เปิดใช้งานพฤติกรรมแบบไดนามิกเช่นการดึงข้อมูลสดหรือการคำนวณ
ทดสอบกรณีขอบที่โมเดลอาจปฏิเสธที่จะใช้เครื่องมือ ตรวจสอบให้แน่ใจว่าตรรกะสำรองของคุณจัดการสถานการณ์เหล่านี้ได้อย่างราบรื่น ผลลัพธ์ที่มีโครงสร้างนั้นน่าเชื่อถือแต่ต้องการคำแนะนำที่ชัดเจน พรอมต์ที่คลุมเครือยังคงสามารถนำไปสู่ JSON ที่ผิดรูปแบบได้ ตรวจสอบผลลัพธ์ก่อนการประมวลผลเสมอ
จัดการหน้าต่างบริบทและขีดจำกัด output
เคารพขนาด context window เพื่อหลีกเลี่ยงข้อผิดพลาดจากการตัดข้อความ API ของเรารองรับ context window ขนาด 100,000 tokens สำหรับ prompt และการสร้างผลลัพธ์รวมกัน ซึ่งอนุญาตให้เก็บประวัติการใช้งานและเอกสารขนาดใหญ่ได้ อย่างไรก็ตาม หากเกินขีดจำกัดนี้ การร้องขอจะล้มเหลว
ตั้งค่าชัดเจน max_tokens เพื่อควบคุมความยาวของผลลัพธ์ ค่าเริ่มต้นอาจสั้นเกินไปสำหรับคำอธิบายโดยละเอียด หากไม่ได้ตั้งค่าพารามิเตอร์นี้ คุณอาจได้รับเพียง 2,048 โทเค็น กำหนดค่านี้ตามกรณีการใช้งานของคุณ การสร้างเนื้อหาแบบยาวต้องการขีดจำกัดที่สูงกว่า
ติดตามการบริโภค token อย่างใกล้ชิด input token มักเกิน output token ในงานที่ซับซ้อน เก็บ buffer ใน context window ของคุณสำหรับข้อความในอนาคต สิ่งนี้ป้องกันข้อผิดพลาดเมื่อเพิ่มรอบการสนทนาใหม่ การจัดการ context ที่มีประสิทธิภาพช่วยให้ประสิทธิภาพคงที่
กำหนดค่าอุณหภูมิและความสุ่ม
ปรับ temperature พารามิเตอร์นี้เพื่อควบคุมความคิดสร้างสรรค์ ค่า 0.0 ผลิตเอาต์พุตที่แน่นอนและมุ่งเน้น ค่าที่สูงขึ้นเช่น 0.8 ส่งเสริมการตอบสนองที่หลากหลายและคาดเดาไม่ได้มากขึ้น เลือกการตั้งค่าที่ตรงกับความต้องการของแอปพลิเคชันของคุณ
ใช้ seed เพื่อความผลลัพธ์ที่ทำซ้ำได้ระหว่างการทดสอบ การตั้งค่า seed ที่คงที่ช่วยให้แน่ใจว่า prompt เดียวกันให้ผลลัพธ์เดียวกัน ซึ่ง invaluable สำหรับการดีบักและเปรียบเทียบพฤติกรรมของโมลเดล ลบ seed ออกก่อนนำไปใช้งานจริงเพื่อให้มีการเปลี่ยนแปลงตามธรรมชาติ
ปรับสมดุลระหว่างความคิดสร้างสรรค์และความแม่นยำ อุณหภูมิสูงอาจทำให้เกิดการหลอกลวง อุณหภูมิต่ำอาจทำให้โมเดลแข็งทื่อเกินไป ลองใช้ค่าต่างๆ เพื่อหาจุดที่เหมาะสมที่สุด โดเมนเฉพาะของคุณอาจต้องการการปรับแต่งเฉพาะ บันทึกการตั้งค่าเหล่านี้สำหรับการอ้างอิงในอนาคต
ตรวจสอบข้อจำกัดอัตราความเร็วและขนาดคำขอ
เพิ่มลอจิกการลองใหม่สำหรับข้อผิดพลาดขีดจำกัดอัตรา API ของเราอนุญาต 300 คำขอต่อนาทีต่อคีย์ การจราจรแบบพัลส์สามารถเกินขีดจำกัดนี้ได้ง่าย ใช้การถอยหลังแบบทวีคูณเพื่อจัดการ 429 Too Many Requests การตอบกลับ วิธีนี้ป้องกันไม่ให้เซิร์ฟเวอร์รับภาระหนักในช่วงเวลาที่มีการใช้งานสูงสุด
รักษาขนาดร่างกายคำขอไว้ต่ำกว่า 8 MB ข้อมูลขนาดใหญ่อาจทำให้เกิดเวลาหมดอายุหรือการปฏิเสธ หากจำเป็นให้บีบอัดข้อมูลอินพุตของคุณ ตรวจสอบการใช้งานหน่วยความจำของแอปพลิเคชันของคุณเมื่อหน้าต่างบริบทมีขนาดใหญ่ การจัดการข้อมูลที่มีประสิทธิภาพช่วยปรับปรุงความเสถียรของระบบโดยรวม
将并发请求限制为每个密钥 8 个。这可以防止资源争用。如果需要，请在多个密钥之间分配负载。监控您的使用仪表板以发现异常。突然的峰值可能表明您的重试逻辑中存在错误。主动监控确保平稳运行。
ทดสอบพฤติกรรมการปฏิเสธและตัวกรองเนื้อหา
ตรวจสอบให้แน่ใจว่า model จัดการเนื้อหาสำหรับผู้ใหญ่ได้ถูกต้อง ต่างจาก model มาตรฐาน รุ่น uncensored แทบจะไม่ปฏิเสธหัวข้อผู้ใหญ่ที่ถูกต้องตามกฎหมาย ทดสอบด้วย prompts ที่มักกระตุ้นตัวกรองใน model อื่น ตรวจสอบว่าผลลัพธ์ตรงกับที่คุณคาดหวัง
ตรวจสอบข้อจำกัดที่เข้มงวดเช่นความปลอดภัยเด็ก โมเดลส่วนใหญ่ยังคงกรองนี้ไว้ไม่ว่าสถานะ uncensored จะเป็นอย่างไร ส่ง prompt ที่เกี่ยวข้องกับเด็กในบริบททางเพศ ยืนยันว่ามีการปฏิเสธ นี่คือการรับประกันความสอดคล้องกับมาตรฐานเนื้อหาพื้นฐาน
รูปแบบการปฏิเสธเอกสารสำหรับกรณีการใช้งานเฉพาะของคุณ ข้อความบางรายการอาจทำให้เกิดการปฏิเสธเนื่องจากสไตล์หรือรูปแบบ ทดสอบกรณีขอบเขตอย่างละเอียด ความเข้าใจในขอบเขตเหล่านี้ช่วยให้คุณออกแบบข้อความที่ดีขึ้น พฤติกรรมที่สม่ำเสมอสร้างความไว้วางใจให้ผู้ใช้ในแอปพลิเคชันของคุณ
ปรับเพื่อประหยัดต้นทุนและประสิทธิภาพโทเค็น
ลดจำนวนโทเค็นในอินพุตเพื่อลดค่าใช้จ่าย โทเค็นอินพุตคิดราคา $0.15 ต่อ 1 ล้านโทเค็น โทเค็นเอาต์พุตคิดราคา $0.50 ต่อ 1 ล้านโทเค็น ควรใช้คำสั่งสั้นกระชับ ล้างคำสั่งระบบที่ไม่จำเป็น และใช้ภาษาที่ชัดเจนตรงไปตรงมาเพื่อชี้นำโมเดลอย่างมีประสิทธิภาพ
นำบริบทกลับมาใช้ให้มากที่สุด เก็บข้อมูลที่ใช้งานบ่อยไว้ในลอจิกของแอปพลิเคชันของคุณแทนที่จะส่งข้อมูลทุกครั้ง ซึ่งจะช่วยลดการใช้งานโทเค็น เก็บแคชคำตอบสำหรับคำสั่งที่เหมือนกันหากเหมาะสม กลยุทธ์นี้ช่วยลดเวลาแฝงและค่าใช้จ่าย
ตรวจสอบการบริโภคโทเค็นของคุณเป็นระยะ ใช้เครดิตทดลองเพื่อทดสอบการกำหนดค่าต่างๆ เปรียบเทียบต้นทุนของเอาต์พุตอุณหภูมิสูงเทียบกับอุณหภูมิต่ำ การปรับแต่งเล็กน้อยสามารถนำไปสู่การประหยัดที่สำคัญเมื่อขยายขนาด วางแผนงบประมาณของคุณโดยอิงจากรูปแบบการใช้งานจริง
