OpenAI Uyumluluğunu ve Temel URL'yi Doğrula
Mevcut kütüphanenizin doğru temel URL'ye bağlandığını onaylayarak başlayın. Çoğu modern LLM entegrasyonu, belirli bir uç nokta yapısı bekleyen OpenAI Python veya Node SDK'larına dayanır. Sağlayıcı değiştirdiğinizde yalnızca base_url ve api_key değişkenler. Bu yaklaşım kod tabanınızı temiz ve taşınabilir tutar.
Test ederken, basit bir istek gönderin /v1/models bağlantıyı doğrulamak için. Yanıtın, genellikle uncensored. Bu adım, karmaşık istemlere başlamadan önce kimlik doğrulama başlıklarınızın doğru olduğunu doğrular.
API'nin standart OpenAI uyumlu JSON yapılarını döndürdüğünden emin olun. Alan adlarındaki sapmalar, ayrıştırma mantığınızı bozabilir. SDK sürümlerinizi güncel tutarak eski uç noktalarla ilgili sorunların önüne geçin. Bu temel adım, geliştirme döngüsünün ilerleyen aşamalarında saatlerce sürebilecek hata ayıklama işlemlerinden tasarruf sağlar.
Akış ve Token Kullanımını Yönetin
Kullanıcı deneyimini iyileştirmek ve algılanan gecikmeyi azaltmak için akış özelliğini etkinleştirin. Büyük dil modelleri genellikle uzun yanıtlar üretmek için saniyeler harcar. Akış özelliği, uygulamanızın tokenları geldikçe görüntülemesini sağlar. Bu, son kullanıcılar için daha akıcı ve duyarlı bir arayüz oluşturur.
Token kullanımını gerçek zamanlı izleyin. Çoğu API, akış yanıtının son parçasında token sayılarını içerir. Bu verileri UI ilerleme çubuklarınızı güncellemek veya faturalandırma için kullanımı günlüğe kaydetmek için kullanın. Doğru takip, koşan döngülerden kaynaklanan beklenmeyen maliyetleri önler.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Akış kesintileri için hata yönetimi uygulayın. Ağ kesintileri uygulamanızın takılıp kalmasına neden olabilir. Kaynak stabilitesini uzun süreli oturumlar sırasında sağlamak için akış bağlantısını temizleme rutinlerinizde her zaman düzgün şekilde kapatın.
Araç Çağrısı ve JSON Modu Uygulayın
Tahmin edilebilir veri çıkarma için yapılandırılmış çıktılardan yararlanın. Ayarlayın response_format için json_object modelin geçerli JSON döndürmesini sağlar. Belirli alanları ayrıştırmak gerektiği için arka uç entegrasyonunda hayati önem taşır. Karmaşık regex desenlerine veya ikincil ayrıştırma adımlarına olan ihtiyacı azaltır.
Araç çağırmak, modelinizin harici sistemlerle etkileşime girmesine olanak tanır. İşlev şemalarını isteğinizde tanımlayın. Model, uygun olduğunda bu işlevleri çağıracaktır. Bu, canlı veri getirme veya hesaplamalar gerçekleştirme gibi dinamik davranışları mümkün kılar.
Modelin bir aracı kullanmayı reddedebileceği kenar durumları. Yedek mantığınızın bu senaryoları zarif bir şekilde işlediğinden emin olun. Yapılandırılmış çıktılar güvenilirdir ancak net talimatlar gerektirir. Belirsiz istemler hala hatalı JSON'a yol açabilir. İşlemeden önce her zaman çıktıyı doğrulayın.
Bağlam Pencerelerini ve Çıktı Sınırlarını Yönetin
Kırpılma hatalarından kaçınmak için bağlam penceresi boyutuna dikkat edin. API'miz, birleşik istem ve tamamlama için 100,000 tokena kadar destekler. Bu, kapsamlı bir geçmiş ve büyük belgeler sağlar. Ancak, bu sınırı aşmak bir istek hatasına neden olur.
Açık belirle max_tokens çıktı uzunluğunu kontrol etmek için. Varsayılan değer, detaylı açıklamalar için çok kısa olabilir. Bu parametreyi ayarlamazsanız yalnızca 2.048 token alabilirsiniz. Bu değeri kullanım durumunuza göre belirleyin. Uzun form içerik üretimi daha yüksek limitler gerektirir.
Token tüketimini yakından izleyin. Karmaşık görevlerde giriş tokenları genellikle çıkış tokenlarını aşar. Gelecek mesajlar için konteks pencerenizde bir tampon bırakın. Bu, yeni konuşma adımları eklerken hataları önler. Verimli bağlam yönetimi tutarlı performans sağlar.
Sıcaklık ve Rastgeleliği Yapılandırın
Ayarlama temperature parametresi yaratıcılığı kontrol etmek için. 0,0 değeri deterministik, odaklı çıktılar üretir. 0,8 gibi daha yüksek değerler daha çeşitli ve öngörülemez yanıtlar teşvik eder. Uygulamanızın ihtiyaçlarına uygun ayarı seçin.
Kullan seed test sırasında tekrarlanabilir sonuçlar için. Sabit bir seed ayarlamak, aynı istemin aynı çıktıyı vermesini sağlar. Bu, hata ayıklama ve model davranışını karşılaştırma için çok değerlidir. Doğal varyasyona izin vermek için üretim aşamasına geçmeden önce seed değerini kaldırın.
Yaratıcılığı doğrulukla dengeleyin. Yüksek sıcaklıklar halüsinasyonlara yol açabilir. Düşük sıcaklıklar modeli çok katı hale getirebilir. Tatlı noktayı bulmak için farklı değerleri test edin. Belirli alanınız benzersiz ayarlar gerektirebilir. Bu ayarları gelecekteki referanslar için belgeleyin.
Hız Sınırlamalarını ve İstek Boyutunu İzle
Hız sınırı hataları için yeniden deneme mantığı uygulayın. API'miz anahtar başına dakikada 300 isteğe izin verir. Patlama trafiği bu limiti kolayca aşabilir. İşlemek için üstel geri çekilme kullanın 429 Too Many Requests yanıtlar. Bu, yoğun kullanım zamanlarında sunucuyu aşırı yüklemeyi önler.
İstek gövdelerini 8 MB altında tutun. Büyük yükler zaman aşımına veya reddedilmeye neden olabilir. Gerekirse giriş verilerinizi sıkıştırın. Büyük bağlam pencereleri sırasında uygulamanızın bellek kullanımını izleyin. Veri işleme verimliliği, genel sistem kararlılığını artırır.
Anahtar başına eşzamanlı istekleri 8'e kadar sınırlayın. Bu, kaynak rekabetini önler. Yükü birden fazla anahtar arasında dağıtın. Anomali için kullanım panonuzu izleyin. Ani artışlar, hata ayıklama mantığınızda bir hataya işaret edebilir. Proaktif izleme, sorunsuz çalışma sağlar.
Reddetme Davranışını ve İçerik Filtrelerini Test Edin
Modelin yetişkin içerikleri doğru şekilde işlediğini doğrulayın. Standart modellere kıyasla, sansürsüz varyantlar yasal yetişkin konuları nadiren reddeder. Diğer modellerde genellikle filtreleri tetikleyecek istemlerle test edin. Çıktının beklentilerinizle eşleştiğinden emin olun.
Çocuk güvenliği gibi katı sınırları kontrol edin. Çoğu model, sansürsüz statüsüne rağmen bu filtreyi korur. Cinsel bağlamda yaşlıları içeren bir istem gönderin. Reddedildiğinden emin olun. Bu, temel içerik standartlarına uyumu sağlar.
Belge reddetme desenleri belirli kullanım durumunuz için. Bazı promptlar stil veya format nedeniyle reddedmeleri tetikleyebilir. Kenar durumları (edge cases) üzerinde kapsamlı testler yapın. Bu sınırları anlamak daha iyi promptlar tasarlamanıza yardımcı olur. Tutarlı davranış, uygulamanızda kullanıcı güveni oluşturur.
Maliyet ve Token Verimliliği İçin Optimize Edin
Girdi token'larını azaltarak maliyetleri düşürün. Girdi token'ları milyon başına $0.15 ücretle faturalandırılır. Çıktı token'ları milyon başına $0.50'dir. İstemlerinizi kısa tutun. Gereksiz sistem talimatlarını kaldırın. Modeli verimli bir şekilde yönlendirmek için açık ve doğrudan dil kullanın.
Mümkün olduğunda bağlamı yeniden kullanın. Sık kullanılan verileri her seferinde göndermek yerine uygulama mantığınızda depolayın. Bu, token kullanımını azaltır. Uygun olduğunda aynı istemler için yanıtları önbelleğe alın. Bu strateji, gecikme süresini ve maliyeti düşürür.
Token tüketiminizi düzenli olarak izleyin. Farklı yapılandırmaları test etmek için deneme kredisini kullanın. Yüksek sıcaklık ile düşük sıcaklık çıktılarının maliyetini karşılaştırın. Küçük optimizasyonlar, ölçeklendirmede önemli tasarruflara yol açabilir. Bütçenizi gerçek kullanım kalıplarına göre planlayın.
