Odkryj potęgę LLM: Rozwiązanie dla trudnych łańcuchów danych

Ile wynosi wiek dziewczyny Leo DiCaprio podniesiony do 0,43 potęgi?

Jeśli chcesz uzyskać odpowiedź na to pytanie (i rozwiązać inne problemy pierwszego świata), możesz użyć łańcuchów podpowiedzi (narzędzi takich jak Lang Chain). Tj. uzyskiwanie informacji z różnych źródeł (Open AI używając promptu, a następnie źródeł internetowych - takich jak Wikipedia). Narzędziem, które obecnie badam, jest Comet.

Pozwala ono na:

• tworzenie łańcucha wizualnie
• zweryfikować wydajność łańcucha (jest to kluczowe; na przykład używamy teraz indeksowanych danych, których rozmiar jest mierzony w megabajtach lub gigabajtach)
• opublikować punkt końcowy API dla łańcucha, który może być używany przez oprogramowanie (i to jest całkiem fajna funkcja - pomyśl o możliwościach!).

Oczywiście Comet to coś więcej. To rejestr modeli, menedżer eksperymentów i optymalizator. Dopiero zaczynam rozumieć tę moc, ale wygląda to obiecująco.

Dla przykładu - w One2tribe testujemy obecnie rozwiązanie językowe, którego czas odpowiedzi jest nieakceptowalny. Istnieją proste rozwiązania optymalizacyjne (można je umieścić w kodzie - na przykład optymalizatory Llama Index). Ale nadal jest to bardzo trudne w przypadku dużych łańcuchów (zwłaszcza wykorzystujących wiele źródeł danych). Planuję popracować nad tym z Cometem (i opublikuję tutaj wyniki).