Zusammenfassung eines Artikels über LLMs in der Wissenschaft

Link zum Artikel: https://www.computerweekly.com/de/feature/Verstehen-Large-Language-Models-LLM-Wissenschaftler-richtig

LLMs (Large Language Models) werden zu einem immer größeren Bestandteil unserer Gesellschaft und dazugehörigen Entscheidungsprozessen. Ein Bereich, indem der Einsatz von LLMs immer häufiger vorkommt, ist die Identifizierung von wissenschaftlichen Experten. Wissenschaftler haben laut diesem Artikel ein Experiment durchgeführt, um die Experten-Identifizierungsfähigkeit von LLMs zu testen. Das Experiment bezieht sich vor allem auf Wissenschaftler, die vorher in der Zeitschrift ‚American Physical Society‘ veröffentlicht hatten. Es fehlte zwar an dieses Experiment die Grundwahrheit, beziehungsweise der absolute Einfluss eines Wissenschaftlers. Nichtdestotrotz wurden manche Ergebnisse zutage gebracht.

Es gäbe Problemen wegen Halluzinationen trotz detaillierter Anweisungen. Dies entschließen Namen von Wissenschaftlern, die gar nicht zu existieren scheinen. Es gab auch manche Fälle, wobei die LLMs Unterscheidungen zwischen bestimmten Fachgebieten nicht wahrnehmen konnten. Außerdem gab es eine Einschränkung bei dem Experiment. Die in der Studie eingeschlossene LLMs müssen zu Kategorie ‚Open-Weight-Modellen‘ gehören. Bei solchen Modellen entsteht es nämlich die Möglichkeit die Ergebnisse der Modellen nach Bedarf anzupassen, beziehungsweise durch Feinabstimmung von Parametern. Wichtig zu erwähnen ist, dass wahre Transparenz bei sowohl den alten Modellen als auch den neuen immer noch ein Problem ist. Niemand weiß konkret, wie die Trainingsprozess genau läuft oder wie ein Modell eine bestimmte Entscheidung trifft.

Darüber hinaus wenn es um Expertensuch geht, ‚verstehen‘ LLMs das Konzept von Ranking nicht. Als nicht deterministisch, sondern eher probabilistische Modellen, verlassen sich LLMs bei jedem neuen Fall den sie begegnen, auf Wahrscheinlichkeiten, die von der Trainingsdaten entstehen, um Vorhersagen zu machen.

Schlussendlich, LLM-Forschung ist noch nicht ausgereift. Aber darin besteht die Möglichkeit LLMs als bessere Suchmaschinen zu verwenden, wenn die Probleme im Bereich Halluzinationen und Bias zugunsten von bestimmten Gruppen gelöst werden können. Bemühungen, Fairness, Transparenz und Rechenschaftspflicht von Algorithmen zu fördern, sind teilweise behindert wobei, Wissenschaftler und Forscher nur noch die Ergebnisse von Modellen analysieren können.

Link to article: https://www.computerweekly.com/de/feature/Verstehen-Large-Language-Models-LLM-Wissenschaftler-richtig

LLMs (Large Language Models) are becoming an increasingly larger part of our society and our decision-making processes. In particular, LLMs are more frequently being used to identify scientific experts. According to this article, scientists carried out an experiment where they tested the ability of LLMs to search for experts. This experiment was related to scientists who had published in the journal 'American Physical Society'. The experiment was missing a ground-truth, that is, the absolute influence of particular scientists, however despite this a number of results came to light.

In spite of detailed instructions, there were a number of hallucinations. These included the names of scientists which did not exist. There were also some cases where the LLMs could not seem to differentiate between different subject areas. Furthermore, there was a constraint set for the experiment. The LLMs used in the study had to belong to the category of so-called 'open-weight' models. With such models, there is the option to adjust the outputs of the models by fine-tuning their parameters. It is important to mention that true transparency is a problem with both old and new models. Nobody knows the exact details of the training process or how a model comes to a particular decision.

Moreover, when it comes to searching for experts, LLMs do not quite understand the concept of 'ranking'. Being probabilistic rather than deterministic in nature, in order to make predictions LLMs rely on probabilities drawn from their training data whenever they come across new cases.

To conclude, research into LLMs is not yet mature. However, there exists the opportunity to use LLMs as better search engines, if problems related to hallucinations and bias towards certain groups can be solved. Attempts to further fairness, transparency, and accountability in algorithms are partially limited where scientists and researchers can only analyse the outputs of models.